JP2023157968A - Head-mounted display device, authentication method, and authentication program - Google Patents

Abstract

Translated fromJapanese

【課題】頭部装着ディスプレイを用いたよりセキュリィティ性の高い認証を行う、ことを目的とする。
【解決手段】ＨＭＤは、ユーザの顔の向きを検知する顔向き検知部、及びユーザの視線を検知する視線検知部を備え、顔向き検知部による検知結果に応じて、ディスプレイの画像表示領域に表示するオブジェクトを変化させる。そして、ＨＭＤは、認証用オブジェクトがユーザの動作に応じて画像表示領域に表示させ、ユーザが視線を認証用オブジェクトに合わせたことを視線検知部が検知した場合にユーザ認証を行う。
【選択図】図６

An object of the present invention is to perform authentication with higher security using a head-mounted display.
[Solution] The HMD includes a face direction detection section that detects the direction of the user's face, and a line of sight detection section that detects the user's line of sight. Change the displayed objects. Then, the HMD displays the authentication object in the image display area according to the user's motion, and performs user authentication when the line-of-sight detection unit detects that the user has aligned his line of sight with the authentication object.
[Selection diagram] Figure 6

Description

Translated fromJapanese

本発明は、頭部装着ディスプレイ装置、認証方法、及び認証プログラムに関するものである。 The present invention relates to a head-mounted display device, an authentication method, and an authentication program.

情報処理装置を起動する際やコンピュータネットワーク等にアクセスする際に、ユーザ認証が行われる場合がある。このユーザ認証が成功した場合にのみ、情報処理装置の使用やコンピュータネットワークへのアクセスが可能となる。 User authentication may be performed when starting up an information processing device or accessing a computer network. Only when this user authentication is successful, it is possible to use the information processing device and access the computer network.

ユーザ認証としては、例えば、キーボードを介したパスワードの入力が求められる。しかしながら、キーボードを用いることによるパスワードの漏えい等を防止するために、よりセキュリティ性の高いユーザ認証も開発されている。 For user authentication, for example, input of a password via a keyboard is required. However, in order to prevent password leakage due to the use of a keyboard, user authentication with higher security has been developed.

セキュリティ性の高いユーザ認証として、特許文献１には、画面上に表示される画像を注視するユーザの視線を検知し、前記視線に基づいてユーザが注視した画像を検知し、検知した画像を認証情報としてユーザ認証を行うディスプレイシステムが開示されている。 As a user authentication with high security, Patent Document 1 discloses a system that detects the line of sight of a user who is gazing at an image displayed on a screen, detects the image that the user is looking at based on the line of sight, and authenticates the detected image. A display system is disclosed that performs user authentication as information.

特開２００５－１４９３２６号公報Japanese Patent Application Publication No. 2005-149326

近年では、ユーザの頭部にディスプレイを装着する頭部装着ディスプレイ装置（Head Mount Display：ＨＭＤ）が普及し始めている。頭部装着ディスプレイ装置では、特許文献１に記載のようなユーザの視線を検知したユーザ認証が用いられることが想定されるものの、よりセキュリィティ性の高い認証が求められる。 In recent years, head mounted display devices (HMDs), in which a display is mounted on a user's head, have become popular. Although it is assumed that a head-mounted display device uses user authentication that detects the user's line of sight as described in Patent Document 1, authentication with higher security is required.

本発明は、このような事情に鑑みてなされたものであって、よりセキュリィティ性の高い認証を行える、頭部装着ディスプレイ装置、認証方法、及び認証プログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a head-mounted display device, an authentication method, and an authentication program that can perform authentication with higher security.

上記課題を解決するために、本発明の頭部装着ディスプレイ装置、認証方法、及び認証プログラムは以下の手段を採用する。 In order to solve the above problems, the head-mounted display device, authentication method, and authentication program of the present invention employ the following means.

上記課題を解決するため、本発明の一態様である「頭部装着ディスプレイ装置」は、ユーザが視認可能なように、前記ユーザの頭部にディスプレイが装着される頭部装着ディスプレイ装置であって、前記ユーザの顔の向きを検知する顔向き検知手段と、前記ユーザの視線を検知する視線検知手段と、前記顔向き検知手段による検知結果に応じて、前記ディスプレイの画像表示領域に表示するオブジェクトを変化させる画像表示制御手段と、認証に用いる認証用オブジェクトが前記ユーザの動作に応じて前記画像表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う認証手段と、を備える。 In order to solve the above problems, a "head-mounted display device" which is one aspect of the present invention is a head-mounted display device in which a display is mounted on the user's head so that the user can see it. , a face direction detection means for detecting the direction of the user's face, a line of sight detection means for detecting the line of sight of the user, and an object to be displayed in an image display area of the display according to a detection result by the face direction detection means. an image display control means for changing the authentication object; and an authentication object used for authentication is displayed in the image display area according to the user's movement, and the line of sight detection means detects that the user has aligned his line of sight with the authentication object. and an authentication means that performs authentication when detected.

上記課題を解決するため、本発明の一態様である「認証方法」は、ユーザが視認可能なように、前記ユーザの頭部にディスプレイが装着され、前記ユーザの顔の向きを検知する顔向き検知手段、及び前記ユーザの視線を検知する視線検知手段を備える頭部装着ディスプレイ装置の認証方法であって、前記顔向き検知手段による検知結果に応じて、前記ディスプレイの画像表示領域に表示するオブジェクトを変化させる第１工程と、認証に用いる認証用オブジェクトが前記ユーザの動作に応じて前記画像表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う第２工程と、を有する。 In order to solve the above problems, an "authentication method" which is an aspect of the present invention includes a face orientation in which a display is attached to the user's head so that the user can visually recognize the user's face orientation, and a display is attached to the user's head to detect the orientation of the user's face. An authentication method for a head-mounted display device comprising a detection means and a line-of-sight detection means for detecting the line of sight of the user, the object being displayed in an image display area of the display according to a detection result by the face orientation detection means. an authentication object used for authentication is displayed in the image display area according to the user's movement, and the line of sight detection means detects that the user has aligned his line of sight with the authentication object. and a second step of performing authentication when the authentication is performed.

上記課題を解決するため、本発明の一態様である「認証プログラム」は、ユーザが視認可能なように、前記ユーザの頭部にディスプレイが装着され、前記ユーザの顔の向きを検知する顔向き検知手段、及び前記ユーザの視線を検知する視線検知手段を備える頭部装着ディスプレイ装置が有するコンピュータを、前記顔向き検知手段による検知結果に応じて、前記ディスプレイの画像表示領域に表示するオブジェクトを変化させる画像表示制御手段と、認証に用いる認証用オブジェクトが前記ユーザの動作に応じて前記画像表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う認証手段と、して機能させる。 In order to solve the above problems, an "authentication program" that is one aspect of the present invention includes a display mounted on the user's head so that the user can visually recognize the user's face, and a face orientation that detects the user's face orientation. A computer included in a head-mounted display device comprising a detection means and a line-of-sight detection means for detecting the user's line-of-sight changes an object displayed in an image display area of the display according to a detection result by the face orientation detection means. an authentication object used for authentication is displayed in the image display area according to the user's action, and the line of sight detection means detects that the user has aligned his line of sight with the authentication object. It functions as an authentication means for performing authentication in various cases.

上記「頭部装着ディスプレイ装置」には、以下に例示するように、種々の技術的限定を加えてもよい。また、同趣旨の技術的限定を、「認証方法」が実行する処理ステップや「認証プログラム」の機能に加えてもよい。 Various technical limitations may be added to the above-mentioned "head-mounted display device" as exemplified below. Furthermore, technical limitations to the same effect may be added to the processing steps executed by the "authentication method" and the functions of the "authentication program."

前記認証用オブジェクトは、認証開始時には前記画像表示領域に表示されず、前記ユーザの動作によって前記画像表示領域に表示される。 The authentication object is not displayed in the image display area at the time of starting authentication, but is displayed in the image display area by an action of the user.

前記画像表示領域には、認証用表示領域が設定され、前記認証手段は、前記認証用オブジェクトが前記ユーザの動作に応じて前記認証用表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う。 An authentication display area is set in the image display area, and the authentication means displays the authentication object in the authentication display area according to the user's action, and the user directs his/her line of sight to the authentication object. Authentication is performed when the line-of-sight detecting means detects that the user's line of sight is aligned with the user's gaze.

前記ユーザの動作は、前記ユーザが顔の向きを変えること、又は前記認証用オブジェクトをユーザが移動させることである。 The user's action is that the user changes the direction of his or her face, or that the user moves the authentication object.

前記認証手段は、前記視線検知手段による検知結果及び前記顔向き検知手段による検知結果に基づいて認証を行う。 The authentication means performs authentication based on the detection result by the line of sight detection means and the detection result by the face orientation detection means.

実在する予め登録された識別体が前記ディスプレイに表示された場合に、前記認証用オブジェクトが前記ディスプレイに表示される。 When an existing, pre-registered identifier is displayed on the display, the authentication object is displayed on the display.

前記認証用オブジェクトは、前記ディスプレイに表示される実在する識別体である。 The authentication object is an actual identifier displayed on the display.

前記認証手段は、前記認証用オブジェクトに所定時間以上、視線を向けたことが検知された場合にユーザが認証操作を開始し、前記認証用オブジェクトから所定時間以上、視線を逸らしたことが検知された場合にユーザが認証操作を終了したとする。 The authentication means starts an authentication operation when it is detected that the user has turned his/her line of sight toward the authentication object for a predetermined period of time or more, and when it is detected that the user has averted his or her line of sight from the authentication object for a predetermined period of time or more. It is assumed that the user completes the authentication operation in this case.

前記認証手段は、所定時間内で所定回数以上のユーザの瞬きが検知された場合に、認証操作の開始又は終了とする。 The authentication means starts or ends the authentication operation when the user's blinks are detected a predetermined number of times or more within a predetermined time.

前記認証手段は、ユーザが頭部を所定動作させたことが検知された場合に、認証操作の開始又は終了とする。 The authentication means starts or ends the authentication operation when it is detected that the user has made a predetermined movement of the head.

本発明によれば、頭部装着ディスプレイを用いたよりセキュリィティ性の高い認証を行える、という効果を有する。 According to the present invention, it is possible to perform authentication with higher security using a head-mounted display.

本発明の第１実施形態に係るディスプレイシステムの構成図である。1 is a configuration diagram of a display system according to a first embodiment of the present invention.本発明の第１実施形態に係るＨＭＤによる画像表示領域を示す模式図である。FIG. 2 is a schematic diagram showing an image display area of the HMD according to the first embodiment of the present invention.本発明の第１実施形態に係るＨＭＤの電気的構成を示す機能ブロック図である。FIG. 1 is a functional block diagram showing the electrical configuration of the HMD according to the first embodiment of the present invention.本発明の第１実施形態に係るＨＭＤを用いたユーザ認証を示す模式図である。FIG. 2 is a schematic diagram showing user authentication using the HMD according to the first embodiment of the present invention.本発明の第１実施形態に係る認証用表示領域を示す模式図である。FIG. 3 is a schematic diagram showing an authentication display area according to the first embodiment of the present invention.本発明の第１実施形態に係るユーザ認証処理の流れを示すフローチャートである。3 is a flowchart showing the flow of user authentication processing according to the first embodiment of the present invention.本発明の第２実施形態に係るＨＭＤを用いたユーザ認証を示す模式図である。It is a schematic diagram which shows the user authentication using HMD based on 2nd Embodiment of this invention.本発明の第３実施形態に係るＨＭＤを用いたユーザ認証を示す模式図である。It is a schematic diagram which shows the user authentication using HMD based on 3rd Embodiment of this invention.本発明の第３実施形態に係るＨＭＤの電気的構成を示す機能ブロック図である。FIG. 3 is a functional block diagram showing the electrical configuration of an HMD according to a third embodiment of the present invention.本発明の第３実施形態に係るユーザ認証処理の流れを示すフローチャートである。It is a flowchart which shows the flow of user authentication processing concerning a 3rd embodiment of the present invention.

以下に、本発明に係る頭部装着ディスプレイ装置、認証方法、及び認証プログラムの一実施形態について、図面を参照して説明する。 DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of a head-mounted display device, an authentication method, and an authentication program according to the present invention will be described below with reference to the drawings.

［１．第１実施形態］
以下、本発明の第１実施形態について説明する。[1. First embodiment]
A first embodiment of the present invention will be described below.

［１－１．ディスプレイシステムの構成］
図１は、本実施形態に係るディスプレイシステム１０の構成図である。[1-1. Display system configuration]
FIG. 1 is a configuration diagram of adisplay system 10 according to this embodiment.

ディスプレイシステム１０は、頭部装着ディスプレイ装置（Head Mount Display、以下「ＨＭＤ」という。）１２及びサーバ１４を備える。 Thedisplay system 10 includes a head mounted display (Head Mount Display, hereinafter referred to as "HMD") 12 and aserver 14.

ＨＭＤ１２は、ユーザが視認可能なようにユーザの頭部にＬＣＤ（Liquid Crystal Display）等のディスプレイ１６が備えられる。ディスプレイ１６は、一例として、伸縮性のあるバンド１８によってユーザの頭部に固定される。 The HMD 12 is equipped with adisplay 16 such as an LCD (Liquid Crystal Display) on the user's head so that the user can view the display. Thedisplay 16 is fixed to the user's head by anelastic band 18, for example.

図１に示されるＨＭＤ１２の外形は一例であり、両眼の前方にディスプレイ１６が位置するが、これに限らず、メガネ型のようにメガネのレンズに画像を投影させるものでもよい。また、両眼で画像を視認させるものではなく、片眼で画像を視認させるものでもよい。また、ＨＭＤ１２は、ユーザが装着しても外界を視認できる透過型、外界を視認できない非透過型の何れであってもよい。また、ＨＭＤ１２がディスプレイ１６に表示させる画像は、仮想現実（ＶＲ : Virtual Reality）であってもよいし、拡張現実（ＡＲ : Augmented Reality）の何れであってもよい。なお、本実施形態に係るＨＭＤ１２ではディスプレイ１６にはＶＲが表示される。 The external shape of the HMD 12 shown in FIG. 1 is an example, and thedisplay 16 is located in front of both eyes, but the display is not limited to this, and may be a type of glasses in which images are projected onto the lenses of glasses. Furthermore, the image may not be viewed with both eyes, but may be viewed with one eye. Further, the HMD 12 may be either a transparent type that allows the user to see the outside world even when worn by the user, or a non-transparent type that does not allow the user to see the outside world. Furthermore, the image displayed on thedisplay 16 by the HMD 12 may be either virtual reality (VR) or augmented reality (AR). Note that VR is displayed on thedisplay 16 of theHMD 12 according to this embodiment.

ＨＭＤ１２とサーバ１４は、通信回線２０を介して情報の送受信が可能とされている。なお、ＨＭＤ１２は通信回線２０に直接アクセスするための通信機能を有していてもよいし、例えば、携帯電話端末等の他の情報処理装置を介して通信回線２０にアクセスしてもよい。 The HMD 12 and theserver 14 are capable of transmitting and receiving information via acommunication line 20. Note that the HMD 12 may have a communication function for directly accessing thecommunication line 20, or may access thecommunication line 20 via another information processing device such as a mobile phone terminal, for example.

サーバ１４は、ＨＭＤ１２で実行されるプログラム等の各種情報を記憶しており、必要に応じてＨＭＤ１２との間で情報の送受信を行う。 Theserver 14 stores various information such as programs executed by theHMD 12, and transmits and receives information to and from theHMD 12 as necessary.

ＨＭＤ１２は、図２に示されるように、ユーザの視界を覆うようにディスプレイ１６に画像表示領域２２が設けられる。画像表示領域２２には、各種画像（オブジェクトともいう。）が表示される。なお、本実施形態に係る画像表示領域２２は、ＨＭＤ１２を装着したユーザの視野範囲にほぼ一致する。 As shown in FIG. 2, theHMD 12 is provided with animage display area 22 on thedisplay 16 so as to cover the user's field of view. Various images (also referred to as objects) are displayed in theimage display area 22. Note that theimage display area 22 according to this embodiment approximately corresponds to the visual field range of the user wearing theHMD 12.

本実施形態に係るＨＭＤ１２は、ユーザがＨＭＤ１２を起動させる場合にユーザ認証を行い、ユーザ認証に成功した場合にユーザの操作を可能とする。画像表示領域２２には、ユーザ認証に用いるオブジェクトである認証用オブジェクト２４が表示される。そして、ＨＭＤ１２に設けられた視線検知部３２（図３参照）によって、ユーザが視線を認証用オブジェクト２４に合わせたことを検知した場合にユーザ認証が行われる。 TheHMD 12 according to the present embodiment performs user authentication when the user starts theHMD 12, and allows the user to operate if the user authentication is successful. In theimage display area 22, anauthentication object 24, which is an object used for user authentication, is displayed. Then, when the line of sight detection unit 32 (see FIG. 3) provided in theHMD 12 detects that the user has aligned his line of sight with theauthentication object 24, user authentication is performed.

本実施形態に係る認証用オブジェクト２４は、一例として、少なくとも一つ以上を視認して認証成功とされる複数の要素（以下「認証要素」という。）２６で形成される。また、本実施形態に係るユーザ認証は、複数の認証要素２６を予め定められた順番で視認した場合に認証成功とするが、これに限らず、複数の認証要素２６を視認する順番は定められていなくてもよいし、認証要素２６を視認し続ける時間を認証成功の条件としてもよい。なお、認証用オブジェクト２４は、複数の認証要素２６で形成されずに、一つの画像であってもよい。 Theauthentication object 24 according to the present embodiment is formed of, for example, a plurality of elements (hereinafter referred to as "authentication elements") 26, at least one of which is visually recognized to indicate successful authentication. Further, in the user authentication according to the present embodiment, authentication is determined to be successful when the plurality ofauthentication factors 26 are visually recognized in a predetermined order, but the order in which the plurality ofauthentication factors 26 are visually recognized is not limited to this. Alternatively, the time period during which theauthentication element 26 is continuously recognized may be a condition for successful authentication. Note that theauthentication object 24 may not be formed of a plurality ofauthentication elements 26 but may be a single image.

［１－２．ＨＭＤの機能ブロック図］
図３は、本実施形態に係るＨＭＤ１２の電気的構成を示す機能ブロック図である。[1-2. Functional block diagram of HMD]
FIG. 3 is a functional block diagram showing the electrical configuration of theHMD 12 according to this embodiment.

ＨＭＤ１２は、ディスプレイ１６の他に、顔向き検知部３０、視線検知部３２、主制御部３４、記憶部３６、及び通信部３８を備える。 In addition to thedisplay 16, theHMD 12 includes a facedirection detection section 30, a line ofsight detection section 32, amain control section 34, astorage section 36, and acommunication section 38.

顔向き検知部３０は、例えば加速度センサーやジャイロセンサ等を備え、ＨＭＤ１２を装着したユーザの顔の向きを検知する。 The faceorientation detection unit 30 includes, for example, an acceleration sensor, a gyro sensor, etc., and detects the orientation of the face of the user wearing theHMD 12.

視線検知部３２は、例えばユーザの眼を撮像するカメラを備え、ユーザの眼を撮像した結果に基づいて、ユーザの視線を検知する。 The line ofsight detection unit 32 includes, for example, a camera that images the user's eyes, and detects the user's line of sight based on the result of imaging the user's eyes.

主制御部３４は、例えば、ＣＰＵ（Central Processing Unit）、マイクロプロセッサ、ＤＳＰ（Digital Signal Processor）等であり、ＨＭＤ１２全体の動作を制御する。 Themain control unit 34 is, for example, a CPU (Central Processing Unit), a microprocessor, a DSP (Digital Signal Processor), etc., and controls the operation of theentire HMD 12.

記憶部３６は、例えば、ＲＡＭ（Random Access Memory）やＤＲＡＭ（Dynamic Random Access Memory）、又はフラッシュメモリ等で構成されており、主制御部３４による各種プログラムに基づく処理の実行時のワークエリアや、画像等の各種データ及び主制御部３４の処理に利用されるプログラム等を保存する。 Thestorage unit 36 is composed of, for example, a RAM (Random Access Memory), a DRAM (Dynamic Random Access Memory), or a flash memory, and serves as a work area when themain control unit 34 executes processing based on various programs, It stores various data such as images and programs used for processing by themain control unit 34.

通信部３８は、通信回線２０に接続する機能を有し、例えばＮＩＣ（Network Interface Controller）であり、携帯電話網等の通信網に接続する。なお、通信部３８は、ＮＩＣに代えて又はＮＩＣと共に、無線ＬＡＮ（Local Area Network）に接続する機能、無線ＷＡＮ（Wide Area Network）に接続する機能、例えばBluetooth（登録商標）等の近距離の無線通信、及び赤外線通信等を可能とする機能を有してもよい。 Thecommunication unit 38 has a function of connecting to thecommunication line 20, and is, for example, a NIC (Network Interface Controller), and connects to a communication network such as a mobile phone network. Note that thecommunication unit 38 has a function of connecting to a wireless LAN (Local Area Network), a function of connecting to a wireless WAN (Wide Area Network), instead of or together with the NIC, and has a short-range communication function such as Bluetooth (registered trademark). It may also have functions that enable wireless communication, infrared communication, and the like.

これらディスプレイ１６、顔向き検知部３０、視線検知部３２、主制御部３４、記憶部３６、及び通信部３８は、システムバスを介して相互に電気的に接続されている。従って、主制御部３４は、ディスプレイ１６に対する画像の表示、顔向き検知部３０や視線検知部３２の検知結果を用いた各種処理、記憶部３６へのアクセス、及び通信部３８を介した各種通信網や他の端末へのアクセス等を行える。なお、上記構成の他に、ＨＭＤ１２には音を出力するためのスピーカやイヤホンジャック、他の情報処理装置との間でデータの送受信を行うためのＵＳＢ（Universal Serial Bus）コネクタ等が備えられる。 Thesedisplay 16, facedirection detection section 30, line ofsight detection section 32,main control section 34,storage section 36, andcommunication section 38 are electrically connected to each other via a system bus. Therefore, themain control unit 34 displays images on thedisplay 16, performs various processes using the detection results of the facedirection detection unit 30 and the line ofsight detection unit 32, accesses thestorage unit 36, and performs various communications via thecommunication unit 38. You can access the network and other terminals. In addition to the above configuration, theHMD 12 is equipped with a speaker and an earphone jack for outputting sound, a USB (Universal Serial Bus) connector for transmitting and receiving data with other information processing devices, and the like.

また、ＨＭＤ１２は、有線又は無線によってコントローラと接続可能とされ、コントローラを用いたユーザ操作が可能とされている。 Further, theHMD 12 can be connected to a controller by wire or wirelessly, and can be operated by a user using the controller.

主制御部３４は、画像表示制御部４０及び認証処理部４２を備える。主制御部３４が備える各部は、記憶部３６に記憶されているプログラムによって実現される。 Themain control section 34 includes an imagedisplay control section 40 and anauthentication processing section 42. Each section included in themain control section 34 is realized by a program stored in thestorage section 36.

画像表示制御部４０は、画像表示領域２２に表示させる画像（オブジェクト）を示すデータをディスプレイ１６へ出力する。また、画像表示制御部４０は、顔向き検知部３０による検知結果に応じて、画像表示領域２２に表示するオブジェクトを変化させる。 The imagedisplay control unit 40 outputs data indicating an image (object) to be displayed in theimage display area 22 to thedisplay 16. Further, the imagedisplay control unit 40 changes the object displayed in theimage display area 22 according to the detection result by the faceorientation detection unit 30.

認証処理部４２は、ユーザ認証に関する処理を実行する。 Theauthentication processing unit 42 executes processing related to user authentication.

［１－３．第１実施形態に係るユーザ認証］
本実施形態に係るユーザ認証について説明する。[1-3. User authentication according to first embodiment]
User authentication according to this embodiment will be explained.

本実施形態に係るユーザ認証は、認証用オブジェクト２４がユーザの動作に応じて画像表示領域２２に表示され、ユーザが視線を認証用オブジェクト２４に合わせたことを視線検知部３２が検知した場合に認証を行う。 User authentication according to the present embodiment is performed when theauthentication object 24 is displayed in theimage display area 22 according to the user's movement, and the line ofsight detection unit 32 detects that the user has aligned his/her line of sight with theauthentication object 24. Perform authentication.

図４は、本実施形態に係るユーザ認証を示す模式図であり、ＨＭＤ１２によって表示される画像空間４４を模式的に示したものである。本実施形態に係るＨＭＤ１２は、仮想現実（ＶＲ）を表示するため、図４に示される画像空間４４はＶＲ空間である。図４において一点鎖線で囲まれた領域は、ＨＭＤ１２を装着したユーザが頭部を動かすことで、視認可能な画像空間４４の全体である。一方、実線で囲まれた領域は、画像表示領域２２に表示される画像空間４４であり、ＨＭＤ１２を装着したユーザが実際に視認している範囲である。 FIG. 4 is a schematic diagram showing user authentication according to this embodiment, and schematically shows animage space 44 displayed by theHMD 12. Since theHMD 12 according to this embodiment displays virtual reality (VR), theimage space 44 shown in FIG. 4 is a VR space. In FIG. 4, the area surrounded by the dashed line is theentire image space 44 that can be visually recognized by the user wearing theHMD 12 by moving his or her head. On the other hand, the area surrounded by a solid line is theimage space 44 displayed in theimage display area 22, and is the range that is actually viewed by the user wearing theHMD 12.

図４（Ａ）に示されるように認証用オブジェクト２４は、画像空間４４に存在しているものの、ユーザ認証開始時には画像表示領域２２に表示されない。このため、ユーザは、顔の向きを変える動作を行うことで、図４（Ｂ）に示されるように、画像空間４４に存在している認証用オブジェクト２４を画像表示領域２２に表示させる。 As shown in FIG. 4A, although theauthentication object 24 exists in theimage space 44, it is not displayed in theimage display area 22 when user authentication starts. Therefore, by performing an action to change the direction of the user's face, the user causes theauthentication object 24 existing in theimage space 44 to be displayed in theimage display area 22, as shown in FIG. 4(B).

さらに、本実施形態に係るユーザ認証では、画像表示領域２２に認証用表示領域２２Ａが設定される。画像表示領域２２は、図５に示されるように、疑似的に認証用表示領域２２Ａ及び非認証用表示領域２２Ｂに分割される。そして、認証用オブジェクト２４が、認証用表示領域２２Ａに表示された場合にユーザ認証が行われる。 Furthermore, in the user authentication according to this embodiment, anauthentication display area 22A is set in theimage display area 22. As shown in FIG. 5, theimage display area 22 is pseudo-divided into anauthentication display area 22A and anon-authentication display area 22B. Then, user authentication is performed when theauthentication object 24 is displayed in theauthentication display area 22A.

認証用オブジェクト２４が画像表示領域２２に表示された場合、認証用表示領域２２Ａに認証用オブジェクト２４を表示させるようにユーザに促す表示を行ってもよい。例えば、ＨＭＤ１２は、認証用オブジェクト２４を認証用表示領域２２Ａ内へ入れることをユーザに促すように、認証用表示領域２２Ａの点滅、文字や矢印の表示、又は音声によるアナウンスを行う。 When theauthentication object 24 is displayed in theimage display area 22, a display may be made to prompt the user to display theauthentication object 24 in theauthentication display area 22A. For example, theHMD 12 flashes theauthentication display area 22A, displays text or arrows, or makes a voice announcement to prompt the user to insert theauthentication object 24 into theauthentication display area 22A.

また、図５に示される認証用表示領域２２Ａの分割は一例であり、他の分割であってもよい。また、画像表示領域２２には、非認証用表示領域２２Ｂが設けられず、認証用表示領域２２Ａを画像表示領域２２の全体としてもよい。 Further, the division of theauthentication display area 22A shown in FIG. 5 is an example, and other divisions may be used. Further, theimage display area 22 may not include thenon-authentication display area 22B, and theauthentication display area 22A may be the entireimage display area 22.

そして、ＨＭＤ１２は、視線検知部３２による視線検知の結果が、登録されている認証用視線情報と一致しているか否かによって認証の成否を判定する。認証用視線情報は、これを登録するためにユーザが認証用オブジェクト２４を視認することで生成され、記憶部３６に予め記憶されている。 Then, theHMD 12 determines the success or failure of authentication based on whether the result of the line of sight detection by the line ofsight detection unit 32 matches the registered line of sight information for authentication. The authentication line of sight information is generated when the user visually recognizes theauthentication object 24 in order to register it, and is stored in thestorage unit 36 in advance.

［１－４．認証操作の開始又は終了の判定］
次に、ユーザによる認証操作の開始又は終了について説明する。[1-4. Determination of start or end of authentication operation]
Next, the start or end of the authentication operation by the user will be explained.

認証処理部４２は、例えば、ユーザがＨＭＤ１２に接続されているコントローラに対する所定操作を行った場合を認証操作の開始とし、ユーザが再びコントローラに対して所定操作を行った場合を認証操作の終了とする。なお、コントローラに対する所定操作とは、例えば、所定のボタンをクリックすることである。 For example, theauthentication processing unit 42 determines that the authentication operation starts when the user performs a predetermined operation on the controller connected to theHMD 12, and determines that the authentication operation ends when the user performs the predetermined operation on the controller again. do. Note that the predetermined operation on the controller is, for example, clicking a predetermined button.

そして、視線検知部３２は、ユーザによる認証操作の開始を認証処理部４２が受け付けた後に、ユーザの視線検知を開始する。また、視線検知部３２は、ユーザによる認証操作の終了を認証処理部４２が受け付けた後に、ユーザの視線検知を終了する。その後、認証処理部４２は、視線検知部３２による視線の検知結果に基づいてユーザ認証の成否を判定する。 Then, the line ofsight detection unit 32 starts detecting the user's line of sight after theauthentication processing unit 42 receives the start of the authentication operation by the user. Further, the line ofsight detection unit 32 ends the detection of the user's line of sight after theauthentication processing unit 42 receives the end of the authentication operation by the user. Thereafter, theauthentication processing unit 42 determines whether the user authentication is successful or not based on the detection result of the line of sight by the line ofsight detection unit 32.

なお、ユーザによる認証操作の開始又は終了は、コントローラに対する所定操作に限らず、視線検知部３２又は顔向き検知部３０による検知結果に基づいて判定されてもよい。 Note that the start or end of the authentication operation by the user is not limited to a predetermined operation on the controller, and may be determined based on the detection result by the line ofsight detection section 32 or the faceorientation detection section 30.

例えば、認証処理部４２は、認証用オブジェクト２４に所定時間以上、ユーザが視線を向けたことが視線検知部３２によって検知された場合にユーザによる認証操作の開始とする。そして、認証処理部４２は、認証用オブジェクト２４から所定時間以上、視線を逸らしたことが視線検知部３２によって検知された場合にユーザによる認証操作の終了とする。なお、所定時間は、ユーザが無意識で視線を向けたり、逸らしたりする時間ではなく、ユーザが意図して行ったと判定可能な時間で有り、例えば数秒である。 For example, theauthentication processing unit 42 starts the authentication operation by the user when the line-of-sight detection unit 32 detects that the user has directed his/her gaze toward theauthentication object 24 for a predetermined period of time or longer. Then, theauthentication processing unit 42 terminates the authentication operation by the user when the line ofsight detection unit 32 detects that the user has averted his/her line of sight from theauthentication object 24 for a predetermined period of time or more. Note that the predetermined time is not a time during which the user unconsciously directs or looks away, but a time during which it can be determined that the user did so intentionally, and is, for example, several seconds.

また、認証処理部４２は、視線検知部３２によって所定時間内で所定回数以上のユーザの瞬きが検知された場合に、認証操作の開始又は終了とする。所定時間内で所定回数以上とは、ユーザが無意識に行う瞬きではなく、ユーザが意図して行った瞬きであると判定可能な回数であり、例えば、１秒以内に３回以上の瞬き等である。 Further, theauthentication processing unit 42 starts or ends the authentication operation when the line ofsight detection unit 32 detects that the user blinks a predetermined number of times or more within a predetermined time. The predetermined number of times or more within a predetermined period of time is the number of times that can be determined to be blinking intentionally by the user, rather than blinking unconsciously; for example, blinking three or more times within one second. be.

また、認証処理部４２は、ユーザが頭部を所定動作させたことを顔向き検知部３０が検知した場合に、認証操作の開始又は終了とする。所定動作とは、例えば所定時間内で所定方向へ所定回数等、ユーザが無意識に行う動作ではなく、ユーザが意図して行った動作であると判定可能な回数であり、例えば、頭部を1秒間に右側へ２回傾ける等である。 Further, theauthentication processing unit 42 starts or ends the authentication operation when the faceorientation detection unit 30 detects that the user has made a predetermined movement of the head. The predetermined motion is, for example, a predetermined number of times in a predetermined direction within a predetermined period of time, and is not an action that the user performs unconsciously, but a number of times that can be determined to be an intentional action by the user. For example, tilting to the right twice in a second.

また、認証処理部４２は、ディスプレイ１６に表示された所定のオブジェクトに所定時間以上、ユーザが視線を向けたことが視線検知部３２によって検知された場合にユーザによる認証操作の開始とし、再び所定のオブジェクトに所定時間以上、ユーザが視線を向けたことが視線検知部３２によって検知された場合にユーザによる認証操作の終了としてもよい。 Further, theauthentication processing unit 42 starts the authentication operation by the user when the line ofsight detection unit 32 detects that the user has directed his/her line of sight toward a predetermined object displayed on thedisplay 16 for a predetermined period of time or more, and theauthentication processing unit 42 starts the authentication operation by the user again. The authentication operation by the user may be terminated when the line-of-sight detection unit 32 detects that the user has directed his/her line of sight to the object for a predetermined period of time or longer.

なお、何れの認証操作の開始又は終了の判定も、認証用表示領域２２Ａに認証用オブジェクト２４が表示されている場合に行われる。また、ＨＭＤ１２は、ユーザによる認証操作の開始又は終了を示す動作を受け付けた場合には、その旨を示す報知（以下「認証開始報知」又は「認証終了報知」という。）を行う。認証開始報知又は認証終了報知は、ディスプレイ１６への所定画像の表示や所定音声の出力等である。 Note that the start or end of any authentication operation is determined when theauthentication object 24 is displayed in theauthentication display area 22A. In addition, when theHMD 12 receives an operation indicating the start or end of an authentication operation by the user, it issues a notification to that effect (hereinafter referred to as "authentication start notification" or "authentication end notification"). The authentication start notification or authentication completion notification is the display of a predetermined image on thedisplay 16, the output of a predetermined sound, or the like.

認証開始報知が行われることによって、ユーザは、認証操作を行えることを認識する。また、認証終了報知が行われることによって、ユーザは、自身が行った認証操作をＨＭＤ１２が受け付けたことを認識できる。 By notifying the start of authentication, the user recognizes that the authentication operation can be performed. Further, by notifying the end of authentication, the user can recognize that theHMD 12 has accepted the authentication operation performed by the user.

このように、本実施形態に係るＨＭＤ１２は、ユーザが所定動作を行うことで認証操作の開始又は終了を受け付ける。これにより、ユーザは自身のタイミングでユーザ認証を行うことができ、ユーザ認証で行われる視線の誤検知が防がれる。 In this way, theHMD 12 according to the present embodiment accepts the start or end of the authentication operation when the user performs a predetermined operation. This allows the user to perform user authentication at his or her own timing, and prevents false detection of line of sight during user authentication.

［１－５．本実施形態に係るユーザ認証処理］
図６は、主制御部３４によって実行されるユーザ認証処理の流れを示すフローチャートであり、ユーザ認証処理を実行するためのプログラムは記憶部３６の所定領域に予め記憶されている。なお、本実施形態に係るユーザ認証処理は、一例として、ユーザがＨＭＤ１２を起動させる場合に実行される。[1-5. User authentication processing according to this embodiment]
FIG. 6 is a flowchart showing the flow of the user authentication process executed by themain control unit 34, and a program for executing the user authentication process is stored in a predetermined area of thestorage unit 36 in advance. Note that the user authentication process according to the present embodiment is executed when the user starts up theHMD 12, for example.

まず、ステップ１００では、認証用オブジェクト２４が認証用表示領域２２Ａに表示されているか否かを判定し、肯定判定の場合はステップ１０２へ移行する。なお、ＨＭＤ１２の起動時には、認証用オブジェクト２４は認証用表示領域２２Ａに表示されていない。このため、ユーザは、頭部を動かす等して、認証用オブジェクト２４を認証用表示領域２２Ａに表示させる。 First, in step 100, it is determined whether or not theauthentication object 24 is displayed in theauthentication display area 22A, and in the case of an affirmative determination, the process moves to step 102. Note that when theHMD 12 is activated, theauthentication object 24 is not displayed in theauthentication display area 22A. Therefore, the user causes theauthentication object 24 to be displayed in theauthentication display area 22A by, for example, moving his or her head.

ステップ１０２では、認証操作を開始することを示す所定動作をユーザが行ったか否かを認証処理部４２が判定し、肯定判定の場合はステップ１０４へ移行する。なお、肯定判定の場合、認証処理部４２は認証開始報知を行う。 In step 102, theauthentication processing unit 42 determines whether the user has performed a predetermined action indicating the start of an authentication operation, and in the case of an affirmative determination, the process moves to step 104. Note that in the case of an affirmative determination, theauthentication processing unit 42 notifies the start of authentication.

ステップ１０４では、視線検知部３２がユーザ認証のための視線検知を行う。 In step 104, the line ofsight detection unit 32 performs line of sight detection for user authentication.

次のステップ１０６では、認証操作を終了することを示す所定動作をユーザが行ったか否かを認証処理部４２が判定し、肯定判定の場合はステップ１０８へ移行し、否定判定の場合はステップ１０４へ戻る。なお、肯定判定の場合、認証処理部４２は認証終了報知を行う。 In the next step 106, theauthentication processing unit 42 determines whether or not the user has performed a predetermined action indicating the end of the authentication operation, and in the case of a positive determination, the process moves to step 108, and in the case of a negative determination, the process proceeds to step 104. Return to In addition, in the case of an affirmative determination, theauthentication processing unit 42 notifies the end of authentication.

ステップ１０８では、視線検知の結果に基づいて認証を認証処理部４２が実行し、その後ユーザ認証処理を終了する。具体的には、認証用オブジェクト２４に対する視線検知の結果が、登録されている認証用視線情報と一致するか否かにより、認証の成否が判定される。認証に成功した場合、ユーザは、ＨＭＤ１２の操作が可能となる。一方、ユーザ認証に失敗した場合には、ステップ１００に戻り、ユーザ認証処理が再度行われる。 In step 108, theauthentication processing unit 42 executes authentication based on the result of line of sight detection, and then ends the user authentication process. Specifically, the success or failure of authentication is determined depending on whether the result of line-of-sight detection with respect to theauthentication object 24 matches the registered line-of-sight information for authentication. If the authentication is successful, the user can operate theHMD 12. On the other hand, if the user authentication fails, the process returns to step 100 and the user authentication process is performed again.

以上説明したように、本実施形態に係るＨＭＤ１２は、ユーザの顔の向きを検知する顔向き検知部３０、及びユーザの視線を検知する視線検知部３２を備え、顔向き検知部３０による検知結果に応じて、ディスプレイ１６の画像表示領域２２に表示するオブジェクトを変化させる。そして、ＨＭＤ１２は、認証用オブジェクト２４をユーザの動作に応じて画像表示領域に表示させ、ユーザが視線を認証用オブジェクト２４に合わせたことを視線検知部３２が検知した場合にユーザ認証を行う。 As described above, theHMD 12 according to the present embodiment includes the facedirection detection section 30 that detects the direction of the user's face, and the line ofsight detection section 32 that detects the user's line of sight. The object displayed in theimage display area 22 of thedisplay 16 is changed according to theimage display area 22 of thedisplay 16. Then, theHMD 12 displays theauthentication object 24 in the image display area according to the user's motion, and performs user authentication when the line-of-sight detection unit 32 detects that the user has aligned his line of sight with theauthentication object 24.

このように、本実施形態に係るＨＭＤ１２は、ユーザが自身の頭部を動かすことで認証用オブジェクト２４を探し出し、認証用オブジェクト２４をディスプレイ１６に表示させる。そして、ＨＭＤ１２は、表示させた認証用オブジェクト２４に合わせたユーザの視線を検知することで、ユーザ認証を行うので、よりセキュリィティ性の高い認証を行える。 In this manner, theHMD 12 according to the present embodiment searches for theauthentication object 24 by moving the user's head, and displays theauthentication object 24 on thedisplay 16. Then, theHMD 12 performs user authentication by detecting the user's line of sight aligned with the displayedauthentication object 24, so that authentication with higher security can be performed.

また、認証用オブジェクト２４は、疑似的にユーザによって移動可能とされてもよい。この形態の場合、例えば、認証用オブジェクト２４が非認証用表示領域２２Ｂに表示されている場合に、疑似的にユーザが手で認証用オブジェクト２４を掴み、認証用オブジェクト２４を認証用表示領域２２Ａに移動させる。認証用オブジェクト２４を掴む操作は、ＨＭＤ１２に接続されているコントローラを介して行われてもよい。 Further, theauthentication object 24 may be made movable by the user in a pseudo manner. In this case, for example, when theauthentication object 24 is displayed in thenon-authentication display area 22B, the user pseudo-grabs theauthentication object 24 with his/her hand and moves theauthentication object 24 to theauthentication display area 22A. move it to The operation of grabbing theauthentication object 24 may be performed via a controller connected to theHMD 12.

また、複数の認証用オブジェクト２４が画像空間４４に存在していてもよい。この形態の場合、複数の認証用オブジェクト２４のうち、一つのみがユーザ認証に用いるものとして予め登録されている。ユーザは、頭部を動かすことで、登録されている一つの認証用オブジェクト２４を見つけ出し、ディスプレイ１６に表示させることでユーザ認証を行う。 Further, a plurality of authentication objects 24 may exist in theimage space 44. In this case, only one of the plurality of authentication objects 24 is registered in advance as being used for user authentication. The user moves his or her head to find one registeredauthentication object 24 and displays it on thedisplay 16 for user authentication.

また、認証用オブジェクト２４は移動してもよい。この形態の場合、例えば、複数の認証用オブジェクト２４が移動しながら、ディスプレイ１６に表示される。ユーザは、頭部を動かすことで、登録されている一つの認証用オブジェクト２４を見つけ出し、ディスプレイ１６に表示させることでユーザ認証を行う。 Further, theauthentication object 24 may be moved. In this case, for example, a plurality of authentication objects 24 are displayed on thedisplay 16 while moving. The user moves his or her head to find one registeredauthentication object 24 and displays it on thedisplay 16 for user authentication.

［２．第２実施形態］
以下、本発明の第２実施形態について説明する。[2. Second embodiment]
A second embodiment of the present invention will be described below.

［２－１．第２実施形態に係るＨＭＤの構成］[2-1. Configuration of HMD according to second embodiment]

本第２実施形態に係るディスプレイシステム１０及びＨＭＤ１２の構成は、図１から図３に示す第１実施形態に係るディスプレイシステム１０及びＨＭＤ１２の構成と同様であるので説明を省略する。 The configurations of thedisplay system 10 andHMD 12 according to the second embodiment are the same as the configurations of thedisplay system 10 andHMD 12 according to the first embodiment shown in FIGS. 1 to 3, so a description thereof will be omitted.

［２－２．第２実施形態に係るユーザ認証］
本実施形態に係る認証処理部４２は、視線検知部３２による視線検知の結果及び顔向き検知部３０による顔向き検知の結果に基づいてユーザ認証を行う。すなわち、ユーザ認証を成功とする条件は、ユーザが認証用オブジェクト２４を視認することと共に、顔の向きを予め登録された向きとすることである。[2-2. User authentication according to second embodiment]
Theauthentication processing unit 42 according to the present embodiment performs user authentication based on the result of line-of-sight detection by the line-of-sight detection unit 32 and the result of face orientation detection by the faceorientation detection unit 30. That is, the conditions for successful user authentication are that the user visually recognizes theauthentication object 24 and that the user's face is in a pre-registered direction.

予め登録された向きとは、例えば、上、下、右、左である。図７の例では、顔向き検知部３０によって検知された顔の方向と視線検知部３２によって検知された視線の方向とが逆向きになった場合に認証成功とする。 The pre-registered orientations are, for example, top, bottom, right, and left. In the example of FIG. 7, authentication is determined to be successful when the direction of the face detected by the faceorientation detection unit 30 and the direction of the line of sight detected by the line ofsight detection unit 32 are opposite.

これにより、本実施形態に係るＨＭＤ１２は、よりセキュリティ性の高いユーザ認証が可能となる。 Thereby, theHMD 12 according to the present embodiment can perform user authentication with higher security.

［３．第３実施形態］
以下、本発明の第３実施形態について説明する。[3. Third embodiment]
A third embodiment of the present invention will be described below.

［３－１．第３実施形態に係るＨＭＤの構成］[3-1. Configuration of HMD according to third embodiment]

本実施形態に係るディスプレイシステム１０及びＨＭＤ１２の構成は、図１及び図２に
示す第１実施形態に係るディスプレイシステム１０及びＨＭＤ１２の構成と同様であるので説明を省略する。The configurations of thedisplay system 10 andHMD 12 according to this embodiment are the same as the configurations of thedisplay system 10 andHMD 12 according to the first embodiment shown in FIGS. 1 and 2, so a description thereof will be omitted.

本実施形態に係るＨＭＤ１２がディスプレイ１６に表示させる画像は、ＡＲである。このため、詳細を後述するカメラ５６がＨＭＤ１２の前面に備えられ、ＨＭＤ１２を装着したユーザの周囲（以下「実空間」という。）を撮像した画像（以下「実空間画像」という）を取得する。ディスプレイ１６には実空間画像と共にオブジェクトが表示されることで、ＡＲが実現される。 The image displayed on thedisplay 16 by theHMD 12 according to this embodiment is AR. For this reason, acamera 56, the details of which will be described later, is provided on the front of theHMD 12, and captures an image (hereinafter referred to as "real space image") of the surroundings of the user wearing the HMD 12 (hereinafter referred to as "real space"). AR is realized by displaying an object together with a real space image on thedisplay 16.

［３－２．第３実施形態に係るユーザ認証］
本実施形態に係るＨＭＤ１２は、図８に示されるように、予め登録されている識別体（以下「登録識別体」という。）５０がディスプレイ１６に表示された場合に、認証用オブジェクト２４をディスプレイ１６に表示する。登録識別体５０は、例えば実在する物体等であり、登録識別体５０を特定するための形状や色等の特徴部分が記憶部３６に記憶されている。登録識別体５０の特徴部分は、登録識別体５０を登録する場合に取得した実空間画像に対して画像解析を行うことで抽出される。[3-2. User authentication according to third embodiment]
As shown in FIG. 8, theHMD 12 according to the present embodiment displays theauthentication object 24 when a pre-registered identifier (hereinafter referred to as "registered identifier") 50 is displayed on thedisplay 16. 16. The registeredidentifier 50 is, for example, an existing object, and characteristic parts such as shape and color for specifying the registeredidentifier 50 are stored in thestorage unit 36. The characteristic portion of the registeredidentifier 50 is extracted by performing image analysis on a real space image obtained when registering the registeredidentifier 50.

図８の例では、登録識別体５０は、机５２に載置されたモニタ５４であり、このモニタ５４がディスプレイ１６に表示された場合に、認証用オブジェクト２４がディスプレイ１６に表示される。換言すると、認証用オブジェクト２４の初期位置が実空間において予め定められている。すなわち、登録識別体５０が認証用表示領域２２Ａに表示されるまで、認証用オブジェクト２４は画像空間内には存在しない。このため、登録識別体５０がディスプレイ１６に表示されていない場合、ユーザは、頭部を動かすことによって登録識別体５０をディスプレイ１６に表示させる。 In the example of FIG. 8, the registeredidentifier 50 is amonitor 54 placed on adesk 52, and when thismonitor 54 is displayed on thedisplay 16, theauthentication object 24 is displayed on thedisplay 16. In other words, the initial position of theauthentication object 24 is predetermined in real space. That is, theauthentication object 24 does not exist in the image space until the registeredidentifier 50 is displayed in theauthentication display area 22A. Therefore, if the registeredidentifier 50 is not displayed on thedisplay 16, the user causes the registeredidentifier 50 to be displayed on thedisplay 16 by moving his head.

なお、図８に示される登録識別体５０は、一例であり、時計や窓等、他の物体であってもよいが、実空間において位置が変化しない物体が好ましい。また、図８の例では、認証用オブジェクト２４が登録識別体５０に重ね合わされて表示されるが、必ずしも重ね合わされる必要はない。 Note that the registeredidentifier 50 shown in FIG. 8 is just an example, and may be another object such as a clock or a window, but is preferably an object whose position does not change in real space. Further, in the example of FIG. 8, theauthentication object 24 is displayed superimposed on the registeredidentifier 50, but it does not necessarily need to be superimposed.

認証用オブジェクト２４がディスプレイ１６に表示された場合、ユーザは、認証用表示領域２２Ａに認証用オブジェクト２４が表示されるように頭部を動かす。ユーザは、認証用オブジェクト２４を認証用表示領域２２Ａに表示させた後、視線を認証用オブジェクト２４に合わせることでユーザ認証を行う。 When theauthentication object 24 is displayed on thedisplay 16, the user moves his head so that theauthentication object 24 is displayed in theauthentication display area 22A. After displaying theauthentication object 24 in theauthentication display area 22A, the user performs user authentication by aligning his line of sight with theauthentication object 24.

なお、認証用オブジェクト２４がディスプレイ１６に表示された後に、ユーザが頭部を動かすことで、登録識別体５０がディスプレイ１６に表示されなくなった場合、ＨＭＤ１２は、表示されていた認証用オブジェクト２４を非表示としてもよいし、そのまま認証用オブジェクト２４を表示し続け、ユーザ認証を可能としてもよい。 Note that if the user moves his head after theauthentication object 24 is displayed on thedisplay 16 and the registeredidentifier 50 is no longer displayed on thedisplay 16, theHMD 12 removes theauthentication object 24 that was being displayed. It may be hidden, or theauthentication object 24 may continue to be displayed to enable user authentication.

図９は、本実施形態に係るＨＭＤ１２の電気的構成を示す機能ブロック図である。なお、図９における図３と同一の構成部分については図３と同一の符号を付して、その説明を省略する。 FIG. 9 is a functional block diagram showing the electrical configuration of theHMD 12 according to this embodiment. Note that the same components in FIG. 9 as in FIG. 3 are designated by the same reference numerals as in FIG. 3, and the explanation thereof will be omitted.

カメラ５６は、ＨＭＤ１２の前面に備えられ、ユーザの周囲を撮像した実空間画像を取得する。 Thecamera 56 is provided in front of theHMD 12 and captures a real space image of the user's surroundings.

画像表示制御部４０は、カメラ５６によって取得された実空間画像をリアルタイムでディスプレイ１６に表示させると共に、実在しない画像（オブジェクト）を実空間画像に重ね合わせてディスプレイ１６に表示させる。 The imagedisplay control unit 40 causes thedisplay 16 to display the real space image acquired by thecamera 56 in real time, and causes thedisplay 16 to display a non-existent image (object) superimposed on the real space image.

カメラ画像解析部５８は、実空間画像に対して画像解析等を行う等することで、カメラ５６によって撮像された物体を特定する。すなわち、実空間画像は、ディスプレイ１６に表示されながら画像解析が行われる。 The cameraimage analysis unit 58 identifies the object imaged by thecamera 56 by performing image analysis or the like on the real space image. That is, image analysis is performed while the real space image is displayed on thedisplay 16.

認証処理部４２は、カメラ画像解析部５８によって特定された物体と登録識別体５０とが一致するか否かを画像マッチング等により判定する。すなわち、認証処理部４２は、実空間画像に登録識別体５０とマッチングした物体が含まれている場合に、ディスプレイ１６に登録識別体５０が表示されていると判定し、認証用オブジェクト２４をディスプレイ１６に表示させる。 Theauthentication processing unit 42 determines whether or not the object specified by the cameraimage analysis unit 58 matches the registeredidentifier 50 by image matching or the like. That is, when the real space image includes an object that matches the registeredidentifier 50, theauthentication processing unit 42 determines that the registeredidentifier 50 is displayed on thedisplay 16, and displays theauthentication object 24. 16.

図１０は、本実施形態に係るユーザ認証処理の流れを示すフローチャートである。なお、図１０における図６と同一のステップについては図６と同一の符号を付して、その説明を一部又は全部省略する。 FIG. 10 is a flowchart showing the flow of user authentication processing according to this embodiment. Note that the steps in FIG. 10 that are the same as those in FIG. 6 are given the same reference numerals as in FIG. 6, and the explanation thereof will be partially or completely omitted.

まず、ステップ２００では、登録識別体５０がディスプレイ１６に表示されたか否か、換言すると、カメラ５６によって登録識別体が撮像されたか否かを認証処理部４２が判定し、肯定判定の場合はステップ２０２へ移行する。なお、ＨＭＤ１２が透過型であり、本ステップ２００で肯定判定となる場合は、実在する登録識別体５０がカメラ５６の撮像範囲の所定領域（例えば中央領域）で撮像され、ディスプレイ１６を透過した登録識別体５０をユーザが直接視認している状態である。すなわち、ＨＭＤ１２が透過型の場合は、カメラ５６が撮像した画像はディスプレイ１６に表示されなくてもよい。 First, in step 200, theauthentication processing unit 42 determines whether the registeredidentifier 50 has been displayed on thedisplay 16, in other words, whether the registered identifier has been imaged by thecamera 56. If the determination is affirmative, step The process moves to 202. Note that if theHMD 12 is a transmissive type and an affirmative determination is made in this step 200, the existing registeredidentifier 50 is imaged in a predetermined area (for example, the central area) of the imaging range of thecamera 56, and the registeredidentifier 50 transmitted through thedisplay 16 is registered. This is a state in which the user is directly viewing theidentifier 50. That is, when theHMD 12 is a transmissive type, the image captured by thecamera 56 does not need to be displayed on thedisplay 16.

ステップ２０２では、認証用オブジェクト２４を認証処理部４２がディスプレイ１６に表示させてステップ１００へ移行する。 In step 202, theauthentication processing unit 42 displays theauthentication object 24 on thedisplay 16, and the process proceeds to step 100.

ステップ１００からステップ１０８では、第１実施形態に係るユーザ認証処理と同様の処理を行う。ユーザ認証に失敗した場合には、ステップ２００に戻り、ユーザ認証処理が再度行われる。 In steps 100 to 108, processing similar to the user authentication processing according to the first embodiment is performed. If the user authentication fails, the process returns to step 200 and the user authentication process is performed again.

以上説明したように、本実施形態に係るＨＭＤ１２は、ディスプレイ１６に実空間画像と共にオブジェクトを表示することで、ＡＲを実現するものであり、登録識別体５０がディスプレイ１６に表示された場合に、認証用オブジェクト２４をディスプレイ１６に表示する。 As explained above, theHMD 12 according to the present embodiment realizes AR by displaying an object together with a real space image on thedisplay 16, and when the registeredidentifier 50 is displayed on thedisplay 16, Theauthentication object 24 is displayed on thedisplay 16.

これにより、本実施形態に係るＨＭＤ１２は、よりセキュリティ性の高いユーザ認証が可能となる。 Thereby, theHMD 12 according to the present embodiment can perform user authentication with higher security.

なお、登録識別体５０は、予め複数が登録されており、ユーザ認証毎や所定日数毎等にユーザ認証に用いられる登録識別体５０が変更されてもよい。ユーザ認証に用いる登録識別体５０が変化する場合には、予め登録されているユーザのメールアドレス等に、変更された登録識別体５０に関する情報が通知される。 Note that a plurality of registeredidentifiers 50 are registered in advance, and the registeredidentifiers 50 used for user authentication may be changed every user authentication or every predetermined number of days. When the registeredidentifier 50 used for user authentication changes, information regarding the changed registeredidentifier 50 is notified to the e-mail address of the user registered in advance.

また、登録識別体５０は、モニタ５４等の物体に限らず、例えばバーコードやＱＲコード（登録商標）等の識別コードや予め定められた画像等であってもよい。これら識別コードや画像は、紙等に印刷されたものであってもよいし、パソコンのモニタや携帯情報端末等に表示されたものであってもよい。 Further, the registeredidentifier 50 is not limited to an object such as themonitor 54, but may be an identification code such as a barcode or a QR code (registered trademark), a predetermined image, or the like. These identification codes and images may be printed on paper or the like, or may be displayed on a personal computer monitor, mobile information terminal, or the like.

また、登録識別体５０は、実在する物体ではなく、ディスプレイ１６に表示される仮想の物体でもよい。この形態の場合、ユーザは、ＶＲ空間内で登録識別体５０まで移動し、ディスプレイ１６に表示させたり、ＶＲ空間内で登録識別体５０を把持してディスプレイ１６に表示させる。 Furthermore, the registeredidentifier 50 may be a virtual object displayed on thedisplay 16 instead of an actual object. In this case, the user moves to the registeredidentifier 50 in the VR space and displays it on thedisplay 16, or grasps the registeredidentifier 50 in the VR space and displays it on thedisplay 16.

また、実在又は仮想の登録識別体５０そのものが認証用オブジェクト２４であってもよい。この場合、登録識別体５０が認証用表示領域２２Ａに表示された場合に、ユーザ認証が行われる。また、ＨＭＤ１２が透過型の場合は、実在する登録識別体５０がカメラ５６の撮像範囲の所定領域（例えば中央領域）で撮像された場合に、ユーザ認証が行われても
よい。Further, the real or virtual registeredidentifier 50 itself may be theauthentication object 24. In this case, user authentication is performed when the registeredidentifier 50 is displayed in theauthentication display area 22A. Furthermore, when theHMD 12 is of a transmissive type, user authentication may be performed when the existing registeredidentifier 50 is imaged in a predetermined area (for example, the central area) of the imaging range of thecamera 56.

［４．他の実施形態］
以上、本発明を、上記各実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記各実施形態に多様な変更又は改良を加えることができ、変更又は改良を加えた形態も本発明の技術的範囲に含まれる。また、上記各実施形態を適宜組み合わせてもよい。[4. Other embodiments]
Although the present invention has been described above using the above embodiments, the technical scope of the present invention is not limited to the range described in the above embodiments. Various changes or improvements can be made to each of the embodiments described above without departing from the gist of the invention, and forms with changes or improvements are also included within the technical scope of the present invention. Furthermore, the above embodiments may be combined as appropriate.

例えば、上記各実施形態では、ＨＭＤ１２が認証処理部４２を備える形態について説明したが、本発明は、これに限定されるものではなく、サーバ１４が認証処理部４２を備える形態としてもよい。この形態の場合、ＨＭＤ１２がユーザ認証のために検知した検知結果がサーバ１４へ送信され、サーバ１４は、受信した検知結果に基づいてユーザ認証を行い、認証結果をＨＭＤ１２へ送信する。 For example, in each of the embodiments described above, theHMD 12 includes theauthentication processing section 42, but the present invention is not limited to this, and theserver 14 may include theauthentication processing section 42. In this case, the detection result detected by theHMD 12 for user authentication is transmitted to theserver 14, and theserver 14 performs user authentication based on the received detection result, and transmits the authentication result to theHMD 12.

また、上記各実施形態では、本発明に係る認証をＨＭＤ１２の起動時に行われるユーザ認証に適用する形態について説明したが、本発明は、これに限定されるものではなく、例えば、ＨＭＤ１２で実行されるソフトウェアの起動時に行われるユーザ認証に適用されてもよい。また、ＨＭＤ１２で実行されるゲーム内における認証に適用されてもよい。ゲームの認証に適用される形態では、ＨＭＤ１２は、認証用オブジェクト２４に視線が合わされたことを検知した場合に認証を行い、認証に成功した場合に予め定められたイベントが発生する等してもよい。 Further, in each of the above embodiments, a mode has been described in which the authentication according to the present invention is applied to user authentication performed at the time of starting theHMD 12, but the present invention is not limited to this. It may also be applied to user authentication performed at the time of starting software. Further, the present invention may be applied to authentication within a game executed by theHMD 12. In the form applied to game authentication, theHMD 12 performs authentication when it detects that the line of sight is aligned with theauthentication object 24, and even if a predetermined event occurs when the authentication is successful. good.

また、第１実施形態及び第２実施形態では、ＨＭＤ１２がＶＲを表示する形態について説明したが、本発明は、これに限定されるものではなく、ＨＭＤ１２がＡＲを表示する形態としてもよい。 Further, in the first embodiment and the second embodiment, theHMD 12 displays VR, but the present invention is not limited to this, and theHMD 12 may display AR.

また、上記各実施形態で説明したユーザ認証処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。 Further, the flow of the user authentication processing described in each of the above embodiments is only an example, and unnecessary steps may be deleted, new steps may be added, or the processing order may be changed without departing from the spirit of the present invention. You may.

１２ ＨＭＤ（頭部装着ディスプレイ装置）
１６ ディスプレイ
２２ 画像表示領域
２２Ａ 認証用表示領域
２４ 認証用オブジェクト
３０ 顔向き検知部（顔向き検知手段）
３２ 視線検知部（視線検知手段）
４０ 画像表示制御部（画像表示制御手段）
４２ 認証処理部（認証手段）12 HMD (head-mounted display device)
16Display 22Image display area 22A Display area forauthentication 24 Object forauthentication 30 Face direction detection unit (face direction detection means)
32 Line of sight detection unit (line of sight detection means)
40 Image display control unit (image display control means)
42 Authentication processing unit (authentication means)

Claims (13)

Translated fromJapanese

ユーザが視認可能なように、前記ユーザの頭部にディスプレイが装着される頭部装着ディスプレイ装置であって、
前記ユーザの顔の向きを検知する顔向き検知手段と、
前記ユーザの視線を検知する視線検知手段と、
前記顔向き検知手段による検知結果に応じて、前記ディスプレイの画像表示領域に表示するオブジェクトを変化させる画像表示制御手段と、
認証に用いる認証用オブジェクトが前記ユーザの動作に応じて前記画像表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う認証手段と、
を備える頭部装着ディスプレイ装置。A head-mounted display device in which a display is mounted on the user's head so that the user can see the display,
face orientation detection means for detecting the orientation of the user's face;
a line of sight detection means for detecting the line of sight of the user;
image display control means for changing an object displayed in an image display area of the display according to a detection result by the face orientation detection means;
An authentication object used for authentication is displayed in the image display area according to the user's movement, and authentication means performs authentication when the line of sight detection means detects that the user has aligned his line of sight with the authentication object. and,
A head-mounted display device comprising: 前記認証用オブジェクトは、認証開始時には前記画像表示領域に表示されず、前記ユーザの動作によって前記画像表示領域に表示される請求項１記載の頭部装着ディスプレイ装置。 The head-mounted display device according to claim 1, wherein the authentication object is not displayed in the image display area at the time of starting authentication, but is displayed in the image display area by an action of the user. 前記画像表示領域には、認証用表示領域が設定され、
前記認証手段は、前記認証用オブジェクトが前記ユーザの動作に応じて前記認証用表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う請求項１又は請求項２記載の頭部装着ディスプレイ装置。An authentication display area is set in the image display area,
The authentication means performs authentication when the authentication object is displayed in the authentication display area according to the user's action, and the line of sight detection means detects that the user has aligned his line of sight with the authentication object. The head-mounted display device according to claim 1 or 2, wherein the head-mounted display device performs the following steps. 前記ユーザの動作は、前記ユーザが顔の向きを変えること、又は前記認証用オブジェクトをユーザが移動させることである請求項１から請求項３の何れか１項記載の頭部装着ディスプレイ装置。 4. The head-mounted display device according to claim 1, wherein the user's action is that the user changes the direction of his or her face, or that the user moves the authentication object. 前記認証手段は、前記視線検知手段による検知結果及び前記顔向き検知手段による検知結果に基づいて認証を行う請求項１から請求項４の何れか１項記載の頭部装着ディスプレイ装置。 5. The head-mounted display device according to claim 1, wherein said authentication means performs authentication based on a detection result by said line of sight detection means and a detection result by said face orientation detection means. 予め登録された識別体が前記ディスプレイに表示された場合に、前記認証用オブジェクトが前記ディスプレイに表示される請求項１から請求項５の何れか１項記載の頭部装着ディスプレイ装置。 The head-mounted display device according to any one of claims 1 to 5, wherein the authentication object is displayed on the display when a pre-registered identifier is displayed on the display. 前面にカメラを備え、
前記カメラが予め登録された実在する識別体を撮像した場合に、前記認証用オブジェクトが前記ディスプレイに表示される請求項１から請求項６の何れか１項記載の頭部装着ディスプレイ装置。Equipped with a camera on the front,
The head-mounted display device according to any one of claims 1 to 6, wherein the authentication object is displayed on the display when the camera captures an image of an existing identification object that has been registered in advance. 前記認証用オブジェクトは、予め登録された識別体である請求項１から請求項５の何れか１項記載の頭部装着ディスプレイ装置。 The head-mounted display device according to any one of claims 1 to 5, wherein the authentication object is an identifier registered in advance. 前記認証手段は、前記認証用オブジェクトに所定時間以上、視線を向けたことが検知された場合にユーザが認証操作を開始し、前記認証用オブジェクトから所定時間以上、視線を逸らしたことが検知された場合にユーザが認証操作を終了したとする請求項１から請求項８の何れか１項記載の頭部装着ディスプレイ装置。 The authentication means starts an authentication operation when it is detected that the user has turned his/her line of sight toward the authentication object for a predetermined period of time or more, and when it is detected that the user has averted his or her line of sight from the authentication object for a predetermined period of time or more. 9. The head-mounted display device according to claim 1, wherein the user completes the authentication operation when the user completes the authentication operation. 前記認証手段は、所定時間内で所定回数以上のユーザの瞬きが検知された場合に、認証操作の開始又は終了とする請求項１から請求項８の何れか１項記載の頭部装着ディスプレイ装置。 The head-mounted display device according to any one of claims 1 to 8, wherein the authentication means starts or ends the authentication operation when a blink of the user's eyes is detected a predetermined number of times or more within a predetermined time. . 前記認証手段は、ユーザが頭部を所定動作させたことが検知された場合に、認証操作の開始又は終了とする請求項１から請求項８の何れか１項記載の頭部装着ディスプレイ装置。 9. The head-mounted display device according to claim 1, wherein the authentication means starts or ends the authentication operation when it is detected that the user has made a predetermined movement of the head. ユーザが視認可能なように、前記ユーザの頭部にディスプレイが装着され、前記ユーザの顔の向きを検知する顔向き検知手段、及び前記ユーザの視線を検知する視線検知手段を備える頭部装着ディスプレイ装置の認証方法であって、
前記顔向き検知手段による検知結果に応じて、前記ディスプレイの画像表示領域に表示するオブジェクトを変化させる第１工程と、
認証に用いる認証用オブジェクトが前記ユーザの動作に応じて前記画像表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う第２工程と、
を有する認証方法。A head-mounted display that is mounted on the user's head so that the user can visually recognize the display, and includes a face direction detection means for detecting the direction of the user's face, and a line-of-sight detection means for detecting the user's line of sight. A method for authenticating a device, the method comprising:
a first step of changing an object displayed in an image display area of the display according to a detection result by the face orientation detection means;
A second authentication object used for authentication is displayed in the image display area according to the user's movement, and performs authentication when the line of sight detecting means detects that the user has aligned his line of sight with the authentication object. process and
An authentication method that has ユーザが視認可能なように、前記ユーザの頭部にディスプレイが装着され、前記ユーザの顔の向きを検知する顔向き検知手段、及び前記ユーザの視線を検知する視線検知手段を備える頭部装着ディスプレイ装置が有するコンピュータを、
前記顔向き検知手段による検知結果に応じて、前記ディスプレイの画像表示領域に表示するオブジェクトを変化させる画像表示制御手段と、
認証に用いる認証用オブジェクトが前記ユーザの動作に応じて前記画像表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う認証手段と、
して機能させるための認証プログラム。A head-mounted display that is mounted on the user's head so that the user can visually recognize the display, and includes a face direction detection means for detecting the direction of the user's face, and a line-of-sight detection means for detecting the user's line of sight. The computer that the device has,
image display control means for changing an object displayed in an image display area of the display according to a detection result by the face orientation detection means;
An authentication object used for authentication is displayed in the image display area according to the user's movement, and authentication means performs authentication when the line of sight detection means detects that the user has aligned his line of sight with the authentication object. and,
Certification program to make it work.

Images