JP2016148968A - Head-mounted display device, control system, method for controlling head-mounted display device, and computer program - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a head-mounted display device with which control apparatuses can be intuitively operated.SOLUTION: A transmissive head-mounted display device is provided, which includes: an image display unit that displays a virtual image and can transmit an outside scene; a target acquiring unit that acquires a target selectable within a predetermined distance range from the image display unit and acquires a position of a specific object included in the outside scene; and a control unit described below. The control unit displays, as a virtual image by using the above image display unit, a target-mapped virtual image mapped with the acquired target; specifies changes in the position of the specific object based on the acquired position of the specific object; selects the target based on a relationship between the specified changes in the position of the specific object and the position of the acquired target; and displays as a virtual image by using the above image display unit, a specified confirmation image mapped to the selected target.SELECTED DRAWING: Figure 6

Description

Translated fromJapanese

本発明は、頭部装着型表示装置の技術に関する。  The present invention relates to a head-mounted display device.

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表わす画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の２つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。  A head-mounted display device (Head Mounted Display, HMD) that is a display device mounted on the head is known. The head-mounted display device, for example, generates image light representing an image using a liquid crystal display and a light source, and guides the generated image light to a user's eye using a projection optical system or a light guide plate This causes the user to visually recognize the virtual image. There are two types of head-mounted display devices: a transmission type in which the user can visually recognize the outside scene in addition to a virtual image, and a non-transmission type in which the user cannot visually recognize the outside scene. The transmissive head-mounted display device includes an optical transmissive type and a video transmissive type.

特許文献１には、コントローラーから送信された制御コマンドを受信する被制御機器が受信した制御コマンドに関する表示制御データをコントローラーに送信することで、コントローラーと被制御機器との双方向のデータの送受信が行なわれる機器制御システムについて開示されている。特許文献２には、撮像した使用者の視野と同等以上の範囲に、所定のマークとしての使用者の指先が含まれている場合に、指先の座標値を出力することで、指先の位置に応じた制御処理を行なう入力画像処理方法について開示されている。特許文献３には、２眼カメラによって撮像された外景と撮像された使用者の手の位置および姿勢とに基づいて、被制御機器を操作する情報入力方法について開示されている。  InPatent Literature 1, bidirectional transmission / reception of data between the controller and the controlled device is performed by transmitting display control data related to the control command received by the controlled device that receives the control command transmitted from the controller to the controller. A device control system to be performed is disclosed. In Patent Document 2, when the user's fingertip as a predetermined mark is included in a range equal to or greater than the field of view of the user who has captured the image, the coordinate value of the fingertip is output to An input image processing method for performing a corresponding control process is disclosed. Patent Document 3 discloses an information input method for operating a controlled device based on an outside scene captured by a twin-lens camera and a captured user's hand position and orientation.

特開平５−２６８６７８号公報Japanese Patent Laid-Open No. 5-268678特開２０００−１４８３８１号公報JP 2000-148381 A特開２０１３−２０５９８３号公報JP 2013-205983 A特開２００６−４８６２８号公報JP 2006-48628 A特開２００５−６９７３４号公報JP 2005-69734 A特開２０００−１６３１９６号公報JP 2000-163196 A

しかし、特許文献１に記載された技術では、複数の被制御機器が存在する場合に、使用者がいずれの被制御機器を制御するために、直感的な操作による制御を行なうことができず、使い勝手を向上させたいという課題があった。また、特許文献２に記載された技術では、使用者は、対象となる被制御機器を選択するまで指先の位置を固定し続ける必要があり、使用者の疲労を招くため、さらに使い勝手を向上させたいという課題があった。また、特許文献３では、手の位置と姿勢とに基づいて被制御機器が操作されるが、それ以外の情報も加味して被制御機器を操作することでより直感的に被制御機器を操作したいという課題があった。  However, in the technique described inPatent Document 1, when there are a plurality of controlled devices, the user cannot control any controlled device, and thus cannot perform control by an intuitive operation. There was a problem of improving usability. Moreover, in the technique described in Patent Document 2, the user needs to continue fixing the position of the fingertip until the target controlled device is selected, which causes fatigue of the user, further improving usability. There was a problem of wanting. Further, in Patent Document 3, the controlled device is operated based on the position and posture of the hand, but the controlled device is operated more intuitively by operating the controlled device in consideration of other information. There was a problem that I wanted to do.

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。  SUMMARY An advantage of some aspects of the invention is to solve at least a part of the problems described above, and the invention can be implemented as the following forms.

（１）本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、虚像を表示し、外景を透過可能な画像表示部と；前記画像表示部から所定の距離の範囲にある選択可能な対象物と、前記外景に含まれる特定のオブジェクトの位置と、を取得する対象取得部と；取得された前記対象物に対応付けられている対象物対応虚像を、前記画像表示部を用いて前記虚像として表示し、取得された前記特定のオブジェクトの位置に基づいて前記特定のオブジェクトの位置の変化を特定し、特定した前記特定のオブジェクトの位置の変化と取得された前記対象物の位置との関係に基づいて前記対象物を選択し、選択した前記対象物に対応付けられている特定確認画像を、前記画像表示部を用いて前記虚像として表示する制御部と、を備える。この形態の頭部装着型表示装置によれば、使用者は、操作する対象の対象物と検出された特定のオブジェクトの位置の変化に対応付けられた制御とを視線方向を変えないで同時に視認でき、対象物の制御を直感的に行なうことができ、使用者の利便性が向上する。(1) According to one aspect of the present invention, a transmissive head-mounted display device is provided. The head-mounted display device includes an image display unit that displays a virtual image and can transmit an outside scene; a selectable object within a predetermined distance from the image display unit; and a specific object included in the outside scene A target acquisition unit that acquires the position of the object; an object-corresponding virtual image associated with the acquired target object is displayed as the virtual image using the image display unit, and the specific image acquired Identifying a change in the position of the specific object based on the position of the object, selecting the target based on the relationship between the change in the position of the specified specific object identified and the position of the acquired object; A control unit that displays the specific confirmation image associated with the selected object as the virtual image using the image display unit. According to the head-mounted display device of this aspect, the user can simultaneously view the target object to be operated and the control associated with the change in the position of the detected specific object without changing the line-of-sight direction. It is possible to control the object intuitively, and the convenience for the user is improved.

（２）上記形態の頭部装着型表示装置において、前記対象取得部は、前記外景を撮像する撮像部と、撮像された前記外景の中に含まれる前記特定のオブジェクトの位置と前記対象物とを検出して取得する画像検出部と、を有し；前記制御部は、選択した前記対象物の制御を決定し、決定した前記対象物の制御を実行してもよい。この形態の頭部装着型表示装置によれば、撮像することにより特定のオブジェクトおよび対象物を取得でき、同時に、使用者は、撮像された特定のオブジェクトおよび対象物を視認できるため、対象物を認識しやすい。(2) In the head-mounted display device according to the above aspect, the target acquisition unit includes an imaging unit that images the outside scene, the position of the specific object included in the captured outside scene, and the target object. An image detecting unit that detects and acquires the image; and the control unit may determine control of the selected object and execute control of the determined object. According to the head-mounted display device of this aspect, it is possible to acquire a specific object and target object by capturing an image, and at the same time, the user can visually recognize the captured specific object and target object. Easy to recognize.

（３）上記形態の頭部装着型表示装置において、前記制御部は、取得された前記特定のオブジェクトの位置と取得された前記対象物との組み合わせに予め対応付けられている前記対象物対応虚像を、前記画像表示部を用いて前記虚像として表示してもよい。この形態の頭部装着型表示装置によれば、使用者は、対象物の制御を実行するために必要な特定のオブジェクトの位置の変化を視覚情報として認識でき、使用者にとっての頭部装着型表示装置の使い勝手が向上する。(3) In the head-mounted display device of the above aspect, the control unit is configured to associate the target corresponding virtual image with a combination of the acquired position of the specific object and the acquired target. May be displayed as the virtual image using the image display unit. According to the head-mounted display device of this form, the user can recognize the change in the position of a specific object necessary for executing the control of the target object as visual information. Usability of the display device is improved.

（４）上記形態の頭部装着型表示装置において、前記制御部は、取得された前記特定のオブジェクトの位置と取得された前記対象物との組み合わせに予め対応付けられている前記対象物対応虚像として、前記対象物の制御を実行するために必要な前記特定のオブジェクトの位置の変化を示す前記虚像を、前記画像表示部を用いて表示してもよい。この形態の頭部装着型表示装置によれば、使用者が自身の特定のオブジェクトの位置の変化に対応して次に実行される対象物の制御の内容を視覚情報として認識できるので、使用者にとっての使い勝手が向上する。(4) In the head-mounted display device of the above aspect, the control unit is configured to associate the target corresponding virtual image with a combination of the acquired position of the specific object and the acquired target. As another example, the virtual image indicating a change in the position of the specific object necessary for executing the control of the object may be displayed using the image display unit. According to the head-mounted display device of this aspect, the user can recognize the content of the control of the object to be executed next in response to the change in the position of the specific object of the user as visual information. Usability for the user is improved.

（５）上記形態の頭部装着型表示装置において、前記制御部は、取得された前記対象物に予め対応付けられている前記対象物対応虚像として、実行する前記対象物の制御の内容を示す前記虚像を、前記画像表示部を用いて表示してもよい。この形態の頭部装着型表示装置によれば、使用者が特定のオブジェクトの位置の変化に対応して次に実行される対象物の制御の内容を視覚情報として認識できるので、使用者にとっての使い勝手が向上する。(5) In the head-mounted display device according to the above aspect, the control unit indicates the content of control of the object to be executed as the object-corresponding virtual image associated in advance with the acquired object. The virtual image may be displayed using the image display unit. According to the head-mounted display device of this form, the user can recognize the contents of the control of the object to be executed next in response to the change in the position of the specific object as visual information. Usability is improved.

（６）上記形態の頭部装着型表示装置において、前記制御部は、撮像された前記外景において、前記特定のオブジェクトの変化後の位置と前記対象物とが重なっている場合に、前記特定のオブジェクトの変化後の位置と重なっている前記対象物に予め対応付けられている前記対象物の制御を決定してもよい。この形態の頭部装着型表示装置によれば、特定のオブジェクトの位置の変化後に特定のオブジェクトが重なっている対象物に対応する対象物の制御が実行されるため、使用者は、意図した対象物の制御に対応する特定のオブジェクトの変化を行ないやすい。(6) In the head-mounted display device according to the above aspect, the control unit may detect the specific object when the position after the change of the specific object overlaps the target object in the captured outside scene. You may determine control of the said object previously matched with the said target object which overlaps with the position after the change of an object. According to the head-mounted display device of this aspect, since the control of the target object corresponding to the target object on which the specific object overlaps is executed after the position of the specific object is changed, the user can It is easy to change a specific object corresponding to the control of an object.

（７）上記形態の頭部装着型表示装置において、さらに；取得された前記対象物と前記画像表示部との距離を特定する距離特定部を備え；前記制御部は、取得されると共に特定された前記距離が閾値以下の前記対象物を、選択可能な前記対象物として設定してもよい。この形態の頭部装着型表示装置によれば、撮像された画像に複数の仮対象が検出された場合に、使用者から近いものを選択可能な対象物として設定するので、使用者に選択される可能性の高い対象物を使用者に視認させるため、使用者の利便性が向上する。(7) The head-mounted display device according to the above aspect further includes: a distance specifying unit that specifies a distance between the acquired object and the image display unit; and the control unit is acquired and specified. Alternatively, the object whose distance is equal to or less than a threshold value may be set as the selectable object. According to the head-mounted display device of this aspect, when a plurality of temporary objects are detected in the captured image, an object close to the user is set as a selectable object, so that it is selected by the user. Therefore, the convenience of the user is improved because the user can visually recognize an object that is likely to be displayed.

（８）上記形態の頭部装着型表示装置において、さらに；外部の音声を取得する音声取得部を備え；前記制御部は、特定された前記特定のオブジェクトの位置の変化と取得された前記音声との組み合わせに基づいて前記対象物の制御を決定してもよい。この形態の頭部装着型表示装置によれば、特定のオブジェクトの位置の変化と音声との組み合わせによって対象物の制御が実行されるため、特定のオブジェクトの位置の変化のみによって実行される対象物の制御よりも、使用者は、より多くの対象物の制御を直感的に行なうことができる。(8) The head-mounted display device according to the above aspect further includes: an audio acquisition unit that acquires external audio; the control unit is configured to change the position of the specified object and the acquired audio The control of the object may be determined based on the combination. According to the head-mounted display device of this aspect, since the control of the target object is executed by the combination of the change in the position of the specific object and the sound, the target object that is executed only by the change in the position of the specific object The user can intuitively control more objects than the above control.

（９）上記形態の頭部装着型表示装置において、前記対象取得部は、他の装置から少なくとも１つの前記対象物の位置情報を取得してもよい。この形態の頭部装着型表示装置によれば、使用者が視認できない範囲の選択可能な対象物の位置も認識でき、使用者の使い勝手が向上する。(9) In the head mounted display device according to the above aspect, the target acquisition unit may acquire position information of at least one of the objects from another device. According to the head-mounted display device of this form, the position of a selectable object in a range that cannot be visually recognized by the user can also be recognized, and the convenience of the user is improved.

（１０）上記形態の頭部装着型表示装置において、前記制御部は、取得された前記対象物が前記外景に含まれない場合に、前記画像表示部を用いて、前記画像表示部と取得された前記対象物との位置関係を前記虚像として表示してもよい。この形態の頭部装着型表示装置によれば、使用者が視認できない範囲の選択可能な対象物の位置と使用者との位置関係を虚像として視認でき、使用者の使い勝手がより向上する。(10) In the head-mounted display device of the above aspect, the control unit is acquired from the image display unit using the image display unit when the acquired object is not included in the outside scene. The positional relationship with the object may be displayed as the virtual image. According to the head-mounted display device of this form, the positional relationship between the user and the position of the selectable object that cannot be visually recognized by the user can be visually recognized as a virtual image, and the usability of the user is further improved.

（１１）上記形態の頭部装着型表示装置において、前記制御部は、前記特定のオブジェクトの加速度を検出し、検出した前記特定のオブジェクトの加速度に基づいて、前記特定のオブジェクトの位置の変化を特定してもよい。この形態の頭部装着型表示装置によれば、使用者が選択した対象物への制御指示を実行する場合に、特定の場所を操作したり、操作として対応付けられ動作を撮像される範囲で行なう必要がなく、使用者の利便性が向上する。(11) In the head-mounted display device of the above aspect, the control unit detects an acceleration of the specific object, and changes a position of the specific object based on the detected acceleration of the specific object. You may specify. According to the head-mounted display device of this embodiment, when executing a control instruction to an object selected by the user, the user can operate a specific place, or can be associated with the operation as long as the operation is imaged. There is no need to do so, and convenience for the user is improved.

（１２）上記形態の頭部装着型表示装置において、さらに；外部の音声を取得する音声取得部を備え；前記制御部は、取得された前記外部の音声と、特定された前記特定のオブジェクトの位置の変化との組み合わせに基づいて、選択した前記対象物の制御を決定してもよい。この形態の頭部装着型表示装置によれば、音声と特定のオブジェクトの位置の変化との複数の要素に基づいて、選択された対象物への制御が決定されるため、使用者がより多くの操作を入力でき、使用者の使い勝手が向上する。(12) The head-mounted display device according to the above aspect further includes: an audio acquisition unit that acquires external audio; and the control unit is configured to acquire the acquired external audio and the specified specific object. Control of the selected object may be determined based on a combination with a change in position. According to the head-mounted display device of this aspect, since control to the selected target object is determined based on a plurality of elements including sound and a change in position of a specific object, more users are used. The user's convenience is improved.

（１３）上記形態の頭部装着型表示装置において、前記制御部は、選択した前記対象物に対応付けられた制御装置の制御を実行し、前記外景に選択した前記対象物と前記制御装置とが取得される場合に、前記画像表示部を用いて、選択した前記対象物と前記制御装置とが対応関係にあることを前記虚像として表示してもよい。この形態の頭部装着型表示装置によれば、検出された選択可能な対象物と検出された特定のオブジェクトとの対応関係を視認させることができ、使用者の使い勝手が向上する。(13) In the head-mounted display device of the above aspect, the control unit executes control of a control device associated with the selected object, and the object selected as the outside scene and the control device May be displayed as the virtual image that the selected object and the control device are in a correspondence relationship using the image display unit. According to the head-mounted display device of this aspect, the correspondence relationship between the detected selectable target object and the detected specific object can be visually recognized, and the convenience for the user is improved.

（１４）上記形態の頭部装着型表示装置において、前記制御部は、選択した前記対象物と前記制御装置とが対応関係にあることを示す前記虚像として、前記画像表示部を用いて、同じ形で同じ色の虚像を表示してもよい。この形態の頭部装着型表示装置によれば、検出された選択可能な対象物と検出された特定のオブジェクトとの対応関係をより明確に視認させることができ、使用者の使い勝手が向上する。(14) In the head-mounted display device according to the above aspect, the control unit uses the image display unit as the virtual image indicating that the selected target object and the control device are in a correspondence relationship. A virtual image of the same color may be displayed. According to the head-mounted display device of this aspect, the correspondence relationship between the detected selectable target object and the detected specific object can be more clearly recognized, and the convenience for the user is improved.

（１５）上記形態の頭部装着型表示装置において、さらに；前記画像表示部の使用者の属性を識別する識別部を備え；前記制御部は、前記対象物に対応付けられている虚像と前記特定確認画像との少なくとも一方を、識別された前記属性に対応させて前記画像表示部を用いて前記虚像として表示してもよい。この形態の頭部装着型表示装置によれば、特定された使用者ごとに異なる虚像が画像表示部に生成されるため、使用者のニーズにあった情報を提供できる。(15) The head-mounted display device according to the above aspect may further include: an identification unit that identifies an attribute of a user of the image display unit; and the control unit may include a virtual image associated with the object and the virtual image At least one of the specific confirmation image may be displayed as the virtual image using the image display unit in association with the identified attribute. According to this form of the head-mounted display device, different virtual images are generated in the image display unit for each identified user, so that information that meets the needs of the user can be provided.

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。  A plurality of constituent elements of each embodiment of the present invention described above are not essential, and some or all of the effects described in the present specification are to be solved to solve part or all of the above-described problems. In order to achieve the above, it is possible to appropriately change, delete, replace with another new component, and partially delete the limited contents of some of the plurality of components. In order to solve some or all of the above-described problems or achieve some or all of the effects described in this specification, technical features included in one embodiment of the present invention described above. A part or all of the technical features included in the other aspects of the present invention described above may be combined to form an independent form of the present invention.

例えば、本発明の一形態は、画像表示部と、対象取得部と、制御部と、の３つ要素の内の一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、対象取得部を有していてもよく、有していなくてもよい。また、装置は、制御部を有していてもよく、有していなくてもよい。画像表示部は、例えば、虚像を表示し、外景を透過可能であってもよい。対象検出部は、例えば、前記画像表示部から所定の距離の範囲にある選択可能な対象物と、前記外景に含まれる特定のオブジェクトの位置と、を取得してもよい。制御部は、例えば、取得された前記対象物に対応付けられている対象物対応虚像を、前記画像表示部を用いて前記虚像として表示し、取得された前記特定のオブジェクトの位置に基づいて前記特定のオブジェクトの位置を特定し、特定した前記特定のオブジェクトの位置の変化と取得された前記対象物の位置との関係に基づいて前記対象物を選択し、選択した前記対象物に対応付けられている特定確認画像を、前記画像表示部を用いて前記虚像として表示してもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。  For example, one embodiment of the present invention can be realized as an apparatus including some or all of the three elements of the image display unit, the target acquisition unit, and the control unit. That is, this apparatus may or may not have an image display unit. Moreover, the apparatus may or may not have the target acquisition unit. The device may or may not have a control unit. For example, the image display unit may display a virtual image and transmit the outside scene. The target detection unit may acquire, for example, a selectable target within a predetermined distance from the image display unit and a position of a specific object included in the outside scene. The control unit displays, for example, a target corresponding virtual image associated with the acquired target as the virtual image using the image display unit, and based on the acquired position of the specific object, The position of the specific object is specified, the target is selected based on the relationship between the change in the position of the specified specific object and the acquired position of the target, and is associated with the selected target The specific confirmation image may be displayed as the virtual image using the image display unit. Such a device can be realized as, for example, a head-mounted display device, but can also be realized as a device other than the head-mounted display device. According to such a form, it is possible to solve at least one of various problems such as improvement and simplification of the operability of the device, integration of the device, and improvement of convenience of the user who uses the device. it can. Any or all of the technical features of each form of the head-mounted display device described above can be applied to this device.

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示装置、頭部装着型表示装置および表示装置の制御方法、制御システム、頭部装着型表示システム、表示装置、制御システムおよび表示装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。  The present invention can also be realized in various forms other than the head-mounted display device. For example, a display device, a head-mounted display device, a control method for the display device, a control system, a head-mounted display system, a display device, a computer program for realizing the functions of the control system and the display device, and the computer program It can be realized in the form of a recorded recording medium, a data signal including the computer program and embodied in a carrier wave.

ＨＭＤの外観構成を示す説明図である。It is explanatory drawing which shows the external appearance structure of HMD.ＨＭＤの構成を機能的に示すブロック図である。It is a block diagram which shows the structure of HMD functionally.画像光生成部によって画像光が射出される様子を示す説明図である。It is explanatory drawing which shows a mode that image light is inject | emitted by the image light production | generation part.機器確認処理の流れを示す説明図である。It is explanatory drawing which shows the flow of an apparatus confirmation process.操作対象が検出された場合に使用者が視認する視野の一例を示す説明図である。It is explanatory drawing which shows an example of the visual field which a user visually recognizes when an operation target is detected.判断対象が検出された場合に使用者が視認する視野の一例を示す説明図である。It is explanatory drawing which shows an example of the visual field which a user visually recognizes when judgment object is detected.確認済画像が表示された場合に使用者が視認する視野の一例を示す説明図である。It is explanatory drawing which shows an example of the visual field which a user visually recognizes when the confirmed image is displayed.第２実施形態における制御システムの構成を機能的に示すブロック図である。It is a block diagram which shows functionally the structure of the control system in 2nd Embodiment.制御処理の流れを示す説明図である。It is explanatory drawing which shows the flow of control processing.操作対象が検出された場合に使用者が視認する視野の一例を示す説明図である。It is explanatory drawing which shows an example of the visual field which a user visually recognizes when an operation target is detected.ジェスチャー検出モードの場合に使用者が視認する視野の一例を示す説明図である。It is explanatory drawing which shows an example of the visual field which a user visually recognizes in gesture detection mode.設定ジェスチャーに対応するジェスチャー検出モードの画像が表示された場合に使用者が視認する視野の一例を示す説明図である。It is explanatory drawing which shows an example of the visual field which a user visually recognizes, when the image of the gesture detection mode corresponding to a setting gesture is displayed.制御後画像が表示された場合に使用者が視認する視野の一例を示す説明図である。It is explanatory drawing which shows an example of the visual field which a user visually recognizes when the image after control is displayed.第３実施形態における制御システムの構成を示す概略図である。It is the schematic which shows the structure of the control system in 3rd Embodiment.サーバーの記憶部に記憶された制御装置の情報の一部を示す概略図である。It is the schematic which shows a part of information of the control apparatus memorize | stored in the memory | storage part of the server.第３実施形態におけるＨＭＤの構成を機能的に示すブロック図である。It is a block diagram which shows functionally the structure of HMD in 3rd Embodiment.第３実施形態における制御処理の流れを示す説明図である。It is explanatory drawing which shows the flow of the control processing in 3rd Embodiment.制御装置が検出された場合に使用者が視認する視野の一例を示す説明図である。It is explanatory drawing which shows an example of the visual field which a user visually recognizes when a control apparatus is detected.対応シーケンスに対応付けられた画像が画像表示最大領域に表示された場合に使用者が視認する視野を示す説明図である。It is explanatory drawing which shows the visual field which a user visually recognizes when the image matched with the corresponding | compatible sequence is displayed on the image display maximum area | region.画像のアイコンが選択された場合に使用者が視認する視野の一例を示す説明図である。It is explanatory drawing which shows an example of the visual field which a user visually recognizes when the icon of an image is selected.アイビーコン（iBeacon）によって制御機器の位置情報が取得された場合に使用者が視認する視野の一例を示す説明図である。It is explanatory drawing which shows an example of the visual field which a user visually recognizes, when the positional information on a control apparatus is acquired by eye beacon (iBeacon).実行された制御指示に従って画像表示最大領域に画像が表示されたときに使用者が視認する視野を示す説明図である。It is explanatory drawing which shows the visual field which a user visually recognizes when an image is displayed on the image display maximum area | region according to the executed control instruction.変形例におけるＨＭＤの外観構成を示す説明図である。It is explanatory drawing which shows the external appearance structure of HMD in a modification.

次に、本発明の実施の形態を実施形態に基づいて以下の順序で説明する。
Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
Ａ−２．機器確認処理：
Ｂ．第２実施形態：
Ｃ．第３実施形態：
Ｄ．変形例：Next, embodiments of the present invention will be described in the following order based on the embodiments.
A. First embodiment:
A-1. Configuration of head mounted display device:
A-2. Device confirmation processing:
B. Second embodiment:
C. Third embodiment:
D. Variations:

Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、頭部装着型表示装置１００（ＨＭＤ１００）の外観構成を示す説明図である。ＨＭＤ１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のＨＭＤ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」ともいう。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。A. First embodiment:
A-1. Configuration of head mounted display device:
FIG. 1 is an explanatory diagram showing an external configuration of a head-mounted display device 100 (HMD 100). TheHMD 100 is a display device mounted on the head, and is also called a head mounted display (HMD). TheHMD 100 of the present embodiment is an optically transmissive head-mounted display device that allows a user to visually recognize a virtual image and at the same time directly view an outside scene. In this specification, a virtual image visually recognized by the user with theHMD 100 is also referred to as a “display image” for convenience. Moreover, emitting image light generated based on image data is also referred to as “displaying an image”.

ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。  TheHMD 100 includes animage display unit 20 that allows a user to visually recognize a virtual image while being mounted on the user's head, and a control unit 10 (controller 10) that controls theimage display unit 20.

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、赤外線ＬＥＤ６４と、ＴＯＦセンサー６３と、マイク６９と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。  Theimage display unit 20 is a mounting body that is mounted on the user's head, and has a glasses shape in the present embodiment. Theimage display unit 20 includes aright holding unit 21, a rightdisplay driving unit 22, aleft holding unit 23, a leftdisplay driving unit 24, a right opticalimage display unit 26, a left opticalimage display unit 28, and acamera 61. And aninfrared LED 64, aTOF sensor 63, and amicrophone 69. The right opticalimage display unit 26 and the left opticalimage display unit 28 are arranged so as to be positioned in front of the right and left eyes of the user when the user wears theimage display unit 20, respectively. One end of the right opticalimage display unit 26 and one end of the left opticalimage display unit 28 are connected to each other at a position corresponding to the eyebrow of the user when the user wears theimage display unit 20.

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。  Theright holding unit 21 extends from the end ER which is the other end of the right opticalimage display unit 26 to a position corresponding to the user's temporal region when the user wears theimage display unit 20. It is a member. Similarly, theleft holding unit 23 extends from the end EL which is the other end of the left opticalimage display unit 28 to a position corresponding to the user's temporal region when the user wears theimage display unit 20. It is a member provided. Theright holding unit 21 and theleft holding unit 23 hold theimage display unit 20 on the user's head like a temple of glasses.

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。  The rightdisplay drive unit 22 and the leftdisplay drive unit 24 are disposed on the side facing the user's head when the user wears theimage display unit 20. Hereinafter, theright holding unit 21 and theleft holding unit 23 are collectively referred to simply as “holding unit”, and the rightdisplay driving unit 22 and the leftdisplay driving unit 24 are collectively referred to simply as “display driving unit”. The right opticalimage display unit 26 and the left opticalimage display unit 28 are collectively referred to simply as “optical image display unit”.

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。  Thedisplay driving units 22 and 24 includeliquid crystal displays 241 and 242 (hereinafter referred to as “LCDs 241 and 242”), projectionoptical systems 251 and 252 (see FIG. 2). Details of the configuration of thedisplay driving units 22 and 24 will be described later. The opticalimage display units 26 and 28 as optical members includelight guide plates 261 and 262 (see FIG. 2) and a light control plate. Thelight guide plates 261 and 262 are formed of a light transmissive resin material or the like, and guide the image light output from thedisplay driving units 22 and 24 to the eyes of the user. The light control plate is a thin plate-like optical element, and is arranged so as to cover the front side of theimage display unit 20 which is the side opposite to the user's eye side. The light control plate protects thelight guide plates 261 and 262 and suppresses damage to thelight guide plates 261 and 262 and adhesion of dirt. In addition, by adjusting the light transmittance of the light control plate, it is possible to adjust the amount of external light entering the user's eyes and adjust the ease of visual recognition of the virtual image. The light control plate can be omitted.

カメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。そのため、カメラ６１は、使用者が画像表示部２０を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像画像を取得する。カメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。カメラ６１は、請求項における撮像部に相当する。  Thecamera 61 is disposed at a position corresponding to the user's eyebrow when the user wears theimage display unit 20. Therefore, thecamera 61 captures an outside scene, which is an external scenery in the direction of the user's line of sight, in a state where the user wears theimage display unit 20 on the head, and acquires a captured image. Thecamera 61 is a monocular camera, but may be a stereo camera. Thecamera 61 corresponds to an imaging unit in the claims.

赤外線ＬＥＤ６４およびＴＯＦセンサー６３は、カメラ６１と同様の位置である使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。赤外線ＬＥＤ６４は、赤外線を発光する発光ダイオード（Light Emitting Diode ，LED）である。ＴＯＦセンサー６３は、赤外線ＬＥＤ６４が発光した赤外線が特定の対象に反射した反射光を検出する。  Theinfrared LED 64 and theTOF sensor 63 are arranged at positions corresponding to the eyebrows of the user when the user wears theimage display unit 20 at the same position as thecamera 61. Theinfrared LED 64 is a light emitting diode (LED) that emits infrared light. TheTOF sensor 63 detects the reflected light that the infrared light emitted from theinfrared LED 64 is reflected by a specific target.

マイク６９は、外部の音声を取得する装置である。マイク６９は、使用者が画像表示部２０を装着した際の右表示駆動部２２における使用者と対向する側の反対側（外側）に形成されている。  Themicrophone 69 is a device that acquires external sound. Themicrophone 69 is formed on the opposite side (outside) of the rightdisplay driving unit 22 when facing the user in the rightdisplay driving unit 22 when the user wears theimage display unit 20.

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。  Theimage display unit 20 further includes aconnection unit 40 for connecting theimage display unit 20 to thecontrol unit 10. Theconnection unit 40 includes amain body cord 48, aright cord 42, aleft cord 44, and a connectingmember 46 that are connected to thecontrol unit 10. Theright cord 42 and theleft cord 44 are codes in which themain body cord 48 is branched into two. Theright cord 42 is inserted into the casing of theright holding unit 21 from the distal end AP in the extending direction of theright holding unit 21 and connected to the rightdisplay driving unit 22. Similarly, theleft cord 44 is inserted into the housing of theleft holding unit 23 from the distal end AP in the extending direction of theleft holding unit 23 and connected to the leftdisplay driving unit 24. The connectingmember 46 is provided at a branch point between themain body cord 48, theright cord 42 and theleft cord 44, and has a jack for connecting theearphone plug 30. Aright earphone 32 and aleft earphone 34 extend from theearphone plug 30.

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。  Theimage display unit 20 and thecontrol unit 10 transmit various signals via theconnection unit 40. A connector (not shown) that fits each other is provided at each of the end of themain body cord 48 opposite to the connectingmember 46 and thecontrol unit 10. By fitting / releasing the connector of themain body cord 48 and the connector of thecontrol unit 10, thecontrol unit 10 and theimage display unit 20 are connected or disconnected. For theright cord 42, theleft cord 44, and themain body cord 48, for example, a metal cable or an optical fiber can be adopted.

制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤが用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。  Thecontrol unit 10 is a device for controlling theHMD 100. Thecontrol unit 10 includes adetermination key 11, alighting unit 12, adisplay switching key 13, atrack pad 14, aluminance switching key 15, a direction key 16, amenu key 17, and apower switch 18. Yes. Thedetermination key 11 detects a pressing operation and outputs a signal for determining the content operated by thecontrol unit 10. Thelighting unit 12 notifies the operation state of theHMD 100 according to the light emission state. The operation state of theHMD 100 includes, for example, power ON / OFF. For example, an LED is used as thelighting unit 12. Thedisplay switching key 13 detects a pressing operation and outputs a signal for switching the display mode of the content video between 3D and 2D, for example. Thetrack pad 14 detects the operation of the user's finger on the operation surface of thetrack pad 14 and outputs a signal corresponding to the detected content. As thetrack pad 14, various track pads such as an electrostatic type, a pressure detection type, and an optical type can be adopted. Theluminance switching key 15 detects a pressing operation and outputs a signal for increasing or decreasing the luminance of theimage display unit 20. The direction key 16 detects a pressing operation on a key corresponding to the up / down / left / right direction, and outputs a signal corresponding to the detected content. Thepower switch 18 switches the power-on state of theHMD 100 by detecting a slide operation of the switch.

図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、記憶部１２０と、電源１３０と、無線通信部１３２と、操作部１３５と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。  FIG. 2 is a block diagram functionally showing the configuration of theHMD 100. As illustrated in FIG. 2, thecontrol unit 10 includes astorage unit 120, apower supply 130, awireless communication unit 132, anoperation unit 135, aCPU 140, aninterface 180, a transmission unit 51 (Tx51), and a transmission unit 52 ( Tx52). Theoperation unit 135 receives an operation by the user and includes anenter key 11, adisplay switch key 13, atrack pad 14, aluminance switch key 15, a direction key 16, amenu key 17, and apower switch 18.

電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。また、詳細については後述するが、記憶部１２０は、カメラ６１の撮像画像に含まれる場合に検出される操作対象の画像データと制御を行なう判断の基となる判断対象の画像データとを記憶している。また、記憶部１２０は、操作対象等が検出された場合に画像表示部２０に表示させる表示画像についても記憶している。  Thepower supply 130 supplies power to each part of theHMD 100. As thepower supply 130, for example, a secondary battery can be used. Thestorage unit 120 stores various computer programs. Thestorage unit 120 is configured by a ROM, a RAM, or the like. Although details will be described later, thestorage unit 120 stores the image data of the operation target detected when included in the captured image of thecamera 61 and the image data of the determination target that is the basis of the determination for performing the control. ing. Thestorage unit 120 also stores a display image to be displayed on theimage display unit 20 when an operation target or the like is detected.

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、画像判定部１６８、距離測定部１６６、画像設定部１６５、および、インターフェイス１８０として機能する。  TheCPU 140 reads out and executes the computer program stored in thestorage unit 120, thereby operating the operating system 150 (OS 150), thedisplay control unit 190, thesound processing unit 170, theimage processing unit 160, theimage determination unit 168, and the distance measurement. Functions as aunit 166, animage setting unit 165, and aninterface 180.

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。  Thedisplay control unit 190 generates control signals for controlling the rightdisplay drive unit 22 and the leftdisplay drive unit 24. Specifically, thedisplay control unit 190 controls driving of theright LCD 241 by the rightLCD control unit 211, driving ON / OFF of theright backlight 221 by the rightbacklight control unit 201, and left LCD control unit according to control signals. Theleft LCD 242 driving ON / OFF by 212, theleft backlight 222 driving ON / OFF by the leftbacklight control unit 202, and the like are individually controlled. Thus, thedisplay control unit 190 controls the generation and emission of image light by the rightdisplay driving unit 22 and the leftdisplay driving unit 24, respectively. For example, thedisplay control unit 190 may cause both the rightdisplay driving unit 22 and the leftdisplay driving unit 24 to generate image light, generate only one image light, or neither may generate image light.

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。  Thedisplay control unit 190 transmits control signals for the rightLCD control unit 211 and the leftLCD control unit 212 via thetransmission units 51 and 52, respectively. In addition, thedisplay control unit 190 transmits control signals to the rightbacklight control unit 201 and the leftbacklight control unit 202, respectively.

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。  Theimage processing unit 160 acquires an image signal included in the content. Theimage processing unit 160 separates synchronization signals such as the vertical synchronization signal VSync and the horizontal synchronization signal HSync from the acquired image signal. Further, theimage processing unit 160 generates a clock signal PCLK using a PLL (Phase Locked Loop) circuit or the like (not shown) according to the period of the separated vertical synchronization signal VSync and horizontal synchronization signal HSync. Theimage processing unit 160 converts the analog image signal from which the synchronization signal is separated into a digital image signal using an A / D conversion circuit or the like (not shown). Thereafter, theimage processing unit 160 stores the converted digital image signal as image data (RGB data) of the target image in the DRAM in thestorage unit 120 for each frame. Note that theimage processing unit 160 may execute image processing such as various tone correction processing such as resolution conversion processing, brightness and saturation adjustment, and keystone correction processing on the image data as necessary. .

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。  Theimage processing unit 160 transmits the generated clock signal PCLK, vertical synchronization signal VSync, horizontal synchronization signal HSync, and image data stored in the DRAM in thestorage unit 120 via thetransmission units 51 and 52, respectively. . Note that the image data transmitted via thetransmission unit 51 is also referred to as “right eye image data”, and the image data transmitted via thetransmission unit 52 is also referred to as “left eye image data”. Thetransmission units 51 and 52 function as a transceiver for serial transmission between thecontrol unit 10 and theimage display unit 20.

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。音声処理部１７０は、マイク６９が取得した外部の音声に対して各種処理を行なう。詳細については後述するが、音声処理部１７０は、各種処理として、取得した外部の音声が記憶部１２０に記憶された機器確認処理を行なう判断の基となる判断音声であるか否かを判定する。  Theaudio processing unit 170 acquires an audio signal included in the content, amplifies the acquired audio signal, and a speaker (not shown) in theright earphone 32 and a speaker (not shown) connected to the connecting member 46 ( (Not shown). For example, when the Dolby (registered trademark) system is adopted, processing on the audio signal is performed, and different sounds with different frequencies or the like are output from theright earphone 32 and theleft earphone 34, for example. Thesound processing unit 170 performs various processes on the external sound acquired by themicrophone 69. As will be described in detail later, thesound processing unit 170 determines whether or not the acquired external sound is a determination sound that is a basis for determining to perform the device confirmation process stored in thestorage unit 120 as various processes. .

画像判定部１６８は、パターンマッチングや統計的識別法によって、記憶部１２０に記憶された操作対象や判断対象の画像データと同じ画像が撮像画像に含まれているか否かを検出する。画像判定部１６８は、検出された判断対象の画像データと同じ画像である対象を、判断対象として検出する。なお、画像判定部１６８は、請求項における画像検出部に相当し、判断対象は、請求項における特定のオブジェクトに相当する。  Theimage determination unit 168 detects whether or not the captured image includes the same image as the operation target or the determination target image data stored in thestorage unit 120 by pattern matching or statistical identification. Theimage determination unit 168 detects, as a determination target, a target that is the same image as the detected determination target image data. Theimage determination unit 168 corresponds to the image detection unit in the claims, and the determination target corresponds to a specific object in the claims.

距離測定部１６６は、ＴＯＦセンサー６３が検出した赤外線の反射光について、ＴＯＦ（Time of Flight）方式を用いることで、赤外線が発光されてから特定の対象を反射してＴＯＦセンサー６３に受光までの時間を算出することで、画像表示部２０と特定の対象までの距離を測定する距離画像センサーである。距離測定部１６６は、画像判定部１６８によって検出された操作対象の画像データと同じ画像を表す特定の対象と画像表示部２０との距離が予め設定された所定の距離以下であるか否かを判定する。なお、距離測定部１６６、ＴＯＦセンサー６３、および、赤外線ＬＥＤ６４は、請求項における距離特定部に相当する。  Thedistance measuring unit 166 uses the TOF (Time of Flight) method for the reflected infrared light detected by theTOF sensor 63 to reflect a specific target after the infrared light is emitted until theTOF sensor 63 receives light. It is a distance image sensor that measures the distance between theimage display unit 20 and a specific object by calculating time. Thedistance measuring unit 166 determines whether or not the distance between the specific target representing the same image as the operation target image data detected by theimage determining unit 168 and theimage display unit 20 is equal to or less than a predetermined distance. judge. Thedistance measuring unit 166, theTOF sensor 63, and theinfrared LED 64 correspond to the distance specifying unit in the claims.

画像設定部１６５は、画像表示部２０との距離が所定の距離以下であり、かつ、記憶部１２０に記憶された操作対象の画像データと同じ画像を表す特定の対象を、選択可能な操作対象として設定する。画像設定部１６５は、選択可能な操作対象を設定すると、記憶部１２０に記憶されている当該操作対象に対応付けられた画像を画像表示部２０に表示させる。すなわち、画像判定部１６８によって、操作対象の画像データと同じ画像として検出されているが、画像表示部２０との距離が所定の距離を超える特定の対象は、選択可能な操作対象としては設定されない。また、画像設定部１６５は、検出された判断対象に予め対応付けられた画像を画像表示部２０に表示する。画像設定部１６５は、判断対象の位置の変化と操作対象の位置とに基づいて設定された制御指示を決定して実行する。なお、画像表示部２０に表示される各種の画像についての詳細については、後述する。画像設定部１６５は、請求項における制御部に相当する。本実施形態における選択可能な操作対象は、請求項における選択可能な対象物に相当し、画像設定部１６５によって設定される制御指示は、請求項における対象物の制御に相当する。  Theimage setting unit 165 is an operation target that can select a specific target whose distance from theimage display unit 20 is equal to or less than a predetermined distance and that represents the same image as the image data of the operation target stored in thestorage unit 120. Set as. When the selectable operation target is set, theimage setting unit 165 causes theimage display unit 20 to display an image associated with the operation target stored in thestorage unit 120. That is, theimage determination unit 168 detects the same image as the operation target image data, but a specific target whose distance from theimage display unit 20 exceeds a predetermined distance is not set as a selectable operation target. . Theimage setting unit 165 displays an image associated with the detected determination object in advance on theimage display unit 20. Theimage setting unit 165 determines and executes a control instruction set based on the change in the position of the determination target and the position of the operation target. Details of various images displayed on theimage display unit 20 will be described later. Theimage setting unit 165 corresponds to a control unit in claims. The selectable operation target in the present embodiment corresponds to the selectable target in the claims, and the control instruction set by theimage setting unit 165 corresponds to the control of the target in the claims.

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。  Theinterface 180 is an interface for connecting various external devices OA that are content supply sources to thecontrol unit 10. Examples of the external device OA include a personal computer (PC), a mobile phone terminal, and a game terminal. As theinterface 180, for example, a USB interface, a micro USB interface, a memory card interface, or the like can be used.

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、ＴＯＦセンサー６３と、赤外線ＬＥＤ６４と、マイク６９と、を備えている。  Theimage display unit 20 includes a rightdisplay drive unit 22, a leftdisplay drive unit 24, a rightlight guide plate 261 as a right opticalimage display unit 26, a leftlight guide plate 262 as a left opticalimage display unit 28, and acamera 61. ATOF sensor 63, aninfrared LED 64, and amicrophone 69.

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。  The rightdisplay driving unit 22 includes a receiving unit 53 (Rx53), a right backlight control unit 201 (right BL control unit 201) and a right backlight 221 (right BL221) that function as a light source, and a right LCD that functions as a display element. Acontrol unit 211, aright LCD 241 and a right projectionoptical system 251 are included. The rightbacklight control unit 201 and theright backlight 221 function as a light source. The rightLCD control unit 211 and theright LCD 241 function as display elements. The rightbacklight control unit 201, the rightLCD control unit 211, theright backlight 221 and theright LCD 241 are collectively referred to as “image light generation unit”.

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。  The receivingunit 53 functions as a receiver for serial transmission between thecontrol unit 10 and theimage display unit 20. The rightbacklight control unit 201 drives theright backlight 221 based on the input control signal. Theright backlight 221 is a light emitter such as an LED or electroluminescence (EL). The rightLCD control unit 211 drives theright LCD 241 based on the clock signal PCLK, the vertical synchronization signal VSync, the horizontal synchronization signal HSync, and the right-eye image data input via thereception unit 53. Theright LCD 241 is a transmissive liquid crystal panel in which a plurality of pixels are arranged in a matrix.

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。  The right projectionoptical system 251 is configured by a collimator lens that converts the image light emitted from theright LCD 241 to light beams in a parallel state. The rightlight guide plate 261 as the right opticalimage display unit 26 guides the image light output from the right projectionoptical system 251 to the right eye RE of the user while reflecting the image light along a predetermined optical path. The right projectionoptical system 251 and the rightlight guide plate 261 are collectively referred to as “light guide unit”.

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。  The leftdisplay drive unit 24 has the same configuration as the rightdisplay drive unit 22. The leftdisplay driving unit 24 includes a receiving unit 54 (Rx54), a left backlight control unit 202 (left BL control unit 202) and a left backlight 222 (left BL222) that function as a light source, and a left LCD that functions as a display element. Acontrol unit 212 and aleft LCD 242 and a left projectionoptical system 252 are included. The leftbacklight control unit 202 and theleft backlight 222 function as a light source. The leftLCD control unit 212 and theleft LCD 242 function as display elements. The leftbacklight control unit 202, the leftLCD control unit 212, theleft backlight 222, and theleft LCD 242 are also collectively referred to as “image light generation unit”. The left projectionoptical system 252 is configured by a collimating lens that converts the image light emitted from theleft LCD 242 into a light beam in a parallel state. The leftlight guide plate 262 as the left opticalimage display unit 28 guides the image light output from the left projectionoptical system 252 to the left eye LE of the user while reflecting the image light along a predetermined optical path. The left projectionoptical system 252 and the leftlight guide plate 262 are collectively referred to as “light guide unit”.

図３は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図３に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。  FIG. 3 is an explanatory diagram illustrating a state in which image light is emitted by the image light generation unit. Theright LCD 241 changes the transmittance of the light transmitted through theright LCD 241 by driving the liquid crystal at each pixel position arranged in a matrix, thereby changing the illumination light IL emitted from theright backlight 221 into an image. Is modulated into an effective image light PL representing The same applies to the left side. As shown in FIG. 3, the backlight system is adopted in the present embodiment, but the image light may be emitted using a front light system or a reflection system.

Ａ−２．機器確認処理：
図４は、機器確認処理の流れを示す説明図である。機器確認処理では、制御部１０が、選択可能な操作対象（例えば、制御機器のメーター）を設定した後に、判断対象（例えば、使用者の指）の所定の動き（以下、単に「ジェスチャー」とも呼ぶ）を検出すると、ジェスチャーに基づく制御指示である機器確認を実行する。A-2. Device confirmation processing:
FIG. 4 is an explanatory diagram showing the flow of the device confirmation process. In the device confirmation process, after thecontrol unit 10 sets a selectable operation target (for example, a meter of the control device), a predetermined movement (hereinafter simply referred to as “gesture”) of a determination target (for example, a user's finger) is set. Device), which is a control instruction based on a gesture, is executed.

初めに、カメラ６１は、外景ＳＣを撮像する（ステップＳ１０）。なお、カメラ６１は、連続的に外景ＳＣを撮像している。言い換えれば、カメラ６１は、動画として外景ＳＣを撮像している。カメラ６１は、撮像した撮像画像の画像データをＣＰＵ１４０の画像判定部１６８に送信する。次に、画像判定部１６８は、カメラ６１によって撮像された撮像画像に対して、パターンマッチング等の画像認識処理を行なうことによって、撮像画像の中に記憶部１２０に記憶された操作対象の画像データと同じ画像が含まれているか否かを検出する（ステップＳ１２）。撮像画像に操作対象と同じ画像データの画像が検出されなかった場合には（ステップＳ１２：ＮＯ）、撮像画像に操作対象と同じ画像データの画像が検出されるまで、カメラ６１によってステップＳ１０の処理が繰り返される。ステップＳ１２の処理において、撮像画像に操作対象と同じ画像データの画像が検出された場合には（ステップＳ１２：ＹＥＳ）、ＣＰＵ１４０の距離測定部１６６は、画像判定部１６８によって撮像画像に操作対象を表す画像の対象（以降、単に「仮対象」とも呼ぶ）が検出されると同時に、ＴＯＦセンサー６３および赤外線ＬＥＤ６４を用いたＴＯＦ方式によって、仮対象と画像表示部２０との距離を測定する。距離測定部１６６は、画像判定部１６８によって検出された仮対象と画像表示部２０との測定した距離が所定の距離以下であるか否かを判定する（ステップＳ１４）。仮対象と画像表示部２０との測定された距離が所定の距離を超えると判定された場合には（ステップＳ１４：ＮＯ）、画像判定部１６８は、仮対象を選択可能な操作対象としては設定せずに、引き続き、カメラ６１によってステップＳ１０以降の処理が繰り返される。ステップＳ１４の処理において、仮対象と画像表示部２０との距離が所定の距離以下であると判定された場合には（ステップＳ１４：ＹＥＳ）、画像設定部１６５は、画像判定部１６８によって検出された仮対象を選択可能な操作対象として設定し、操作対象に対応付けられた記憶部１２０に記憶された画像を画像表示部２０に表示させる（ステップＳ１６）。  First, thecamera 61 images the outside scene SC (step S10). Note that thecamera 61 continuously captures the outside scene SC. In other words, thecamera 61 images the outside scene SC as a moving image. Thecamera 61 transmits image data of the captured image to theimage determination unit 168 of theCPU 140. Next, theimage determination unit 168 performs image recognition processing such as pattern matching on the captured image captured by thecamera 61, thereby operating image data stored in thestorage unit 120 in the captured image. It is detected whether or not the same image is included (step S12). When an image of the same image data as the operation target is not detected in the captured image (step S12: NO), the process of step S10 is performed by thecamera 61 until an image of the same image data as the operation target is detected in the captured image. Is repeated. In the process of step S12, when an image having the same image data as the operation target is detected in the captured image (step S12: YES), thedistance measuring unit 166 of theCPU 140 causes theimage determination unit 168 to select the operation target in the captured image. At the same time as the target of the image to be represented (hereinafter also simply referred to as “temporary target”) is detected, the distance between the temporary target and theimage display unit 20 is measured by the TOF method using theTOF sensor 63 and theinfrared LED 64. Thedistance measuring unit 166 determines whether or not the measured distance between the temporary object detected by theimage determining unit 168 and theimage display unit 20 is equal to or less than a predetermined distance (step S14). When it is determined that the measured distance between the temporary target and theimage display unit 20 exceeds the predetermined distance (step S14: NO), theimage determination unit 168 sets the temporary target as an operation target that can be selected. Instead, the process after step S10 is repeated by thecamera 61. When it is determined in step S14 that the distance between the temporary object and theimage display unit 20 is equal to or less than the predetermined distance (step S14: YES), theimage setting unit 165 is detected by theimage determination unit 168. The temporary target is set as a selectable operation target, and the image stored in thestorage unit 120 associated with the operation target is displayed on the image display unit 20 (step S16).

図５は、操作対象が設定された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図５に示すように、使用者は、設定された操作対象として、ＨＭＤ１００とは異なる装置である３台の制御機器ＭＣを、透過された外景ＳＣとして視認している。使用者に視認されている３台の内の中央の制御機器ＭＣは、制御機器ＭＣが制御している他の装置の電圧値を示すメーターＭＴ１および温度を示すメーターＭＴ２と、複数のボタンであるボタン群ＢＴと、複数のランプを含むランプ群ＬＭと、有している。ボタン群ＢＴに含まれるそれぞれのボタンは、押下されることでオンとオフとを切り替えて他の装置を制御する。ランプ群ＬＭのボタンのそれぞれは、ボタン群ＢＴに含まれ、対応する上側に配置されたボタンがオンの時には点灯し、オフの時には消灯する。なお、メーターＭＴ１およびメーターＭＴ２は、請求項における選択可能な対象物に相当する。  FIG. 5 is an explanatory diagram illustrating an example of a visual field VR visually recognized by the user when an operation target is set. As shown in FIG. 5, the user visually recognizes three control devices MC, which are devices different from theHMD 100, as the set operation targets as the transparent outside scene SC. The central control device MC of the three units visually recognized by the user includes a meter MT1 indicating the voltage value of another device controlled by the control device MC, a meter MT2 indicating the temperature, and a plurality of buttons. It has a button group BT and a lamp group LM including a plurality of lamps. Each button included in the button group BT is pressed to switch on and off to control other devices. Each button of the lamp group LM is included in the button group BT, and is turned on when the corresponding button arranged on the upper side is turned on, and is turned off when the button is turned off. The meter MT1 and the meter MT2 correspond to selectable objects in the claims.

本実施形態において、記憶部１２０がメーターＭＴ１およびメーターＭＴ２の画像データを記憶しているため、画像判定部１６８は、メーターＭＴ１およびメーターＭＴ２を操作対象として検出する。画像判定部１６８がメーターＭＴ１やメーターＭＴ２を操作対象として設定すると、メーターＭＴ１とメーターＭＴ２とのそれぞれに対応付けられ、記憶部１２０に記憶された画像として、画像設定部１６５は、メーターＭＴ１とメーターＭＴ２とのそれぞれの位置を示す画像ＩＭ１と画像ＩＭ２とを画像表示部２０の画像表示最大領域ＰＮに表示させる。なお、画像表示最大領域ＰＮは、画像光生成部が画像を表示できる最大の領域を示し、使用者には視認されない。また、画像設定部１６５は、記憶部１２０に記憶され、設定された操作対象としてのメーターＭＴ１とメーターＭＴ２との少なくとも一方に対応付けられた画像として、「確認？」というテキスト画像ＴＸ１を画像表示最大領域ＰＮに表示される。テキスト画像ＴＸ１は、メーターＭＴ１またはメーターＭＴ２が示す数値の確認行為を使用者に促す画像である。  In the present embodiment, since thestorage unit 120 stores the image data of the meter MT1 and the meter MT2, theimage determination unit 168 detects the meter MT1 and the meter MT2 as operation targets. When theimage determination unit 168 sets the meter MT1 or the meter MT2 as an operation target, theimage setting unit 165 associates the meter MT1 with the meter MT1 as an image associated with each of the meter MT1 and the meter MT2 and stored in thestorage unit 120. An image IM1 and an image IM2 indicating the respective positions with respect to MT2 are displayed in the image display maximum area PN of theimage display unit 20. The image display maximum area PN indicates the maximum area where the image light generation unit can display an image and is not visually recognized by the user. Further, theimage setting unit 165 displays the text image TX1 of “confirmation?” As an image stored in thestorage unit 120 and associated with at least one of the meter MT1 and the meter MT2 as the set operation target. It is displayed in the maximum area PN. The text image TX1 is an image that prompts the user to confirm the numerical value indicated by the meter MT1 or the meter MT2.

画像判定部１６８によって操作対象としてのメーターＭＴ１等が設定されて、画像設定部１６５によってテキスト画像ＴＸ１等の画像が画像表示最大領域ＰＮに表示されると（図４のステップＳ１６）、画像判定部１６８は、ジェスチャーを判断するための記憶部１２０に記憶された判断対象の画像データと同じ画像が撮像画像に含まれているか否かを検出する（ステップＳ１８）。撮像画像に判断対象の画像が検出されなかった場合には（ステップＳ１８：ＮＯ）、画像判定部１６８は、判断対象の検出を待機する（ステップＳ１８）。撮像画像に判断対象の画像が検出された場合には（ステップＳ１８：ＹＥＳ）、ＣＰＵ１４０の画像設定部１６５は、記憶部１２０に記憶され、テキスト画像ＴＸ１が促す確認行為をするために使用者が行なうべきジェスチャーを指示するためのジェスチャー指示画像を、画像表示最大領域ＰＮに表示させる（ステップＳ２０）。  When theimage determination unit 168 sets the meter MT1 or the like as an operation target and theimage setting unit 165 displays an image such as the text image TX1 in the maximum image display area PN (step S16 in FIG. 4), the image determination unit In 168, it is detected whether or not the same image as the determination target image data stored in thestorage unit 120 for determining a gesture is included in the captured image (step S18). When the determination target image is not detected in the captured image (step S18: NO), theimage determination unit 168 waits for detection of the determination target (step S18). When an image to be determined is detected in the captured image (step S18: YES), theimage setting unit 165 of theCPU 140 is stored in thestorage unit 120, and the user performs a confirmation action prompted by the text image TX1. A gesture instruction image for instructing a gesture to be performed is displayed in the image display maximum area PN (step S20).

図６は、判断対象が検出された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図６には、判断対象としての検出された使用者の右手ＨＤ１の人差し指ＦＦ１が立てられた状態が示されている。図６に示すように、画像設定部１６５は、判断対象である右手ＨＤ１が検出された場合に、記憶部１２０に記憶されたメーターＭＴ１およびメーターＭＴ２の数値が定められた閾値未満であることを確認するために実行すべきジェスチャーを示すジェスチャー指示画像を画像表示最大領域ＰＮに表示させる。なお、右手ＨＤ１の人差し指ＦＦ１は、請求項における特定のオブジェクトに相当する。ジェスチャー指示画像は、請求項における対象物対応虚像に相当する。  FIG. 6 is an explanatory diagram illustrating an example of a visual field VR visually recognized by the user when a determination target is detected. FIG. 6 shows a state in which the index finger FF1 of the detected user's right hand HD1 as the determination target is raised. As shown in FIG. 6, theimage setting unit 165 determines that the numerical values of the meter MT1 and the meter MT2 stored in thestorage unit 120 are less than a predetermined threshold when the right hand HD1 that is a determination target is detected. A gesture instruction image indicating a gesture to be executed for confirmation is displayed in the maximum image display area PN. The index finger FF1 of the right hand HD1 corresponds to a specific object in the claims. The gesture instruction image corresponds to the object corresponding virtual image in the claims.

ジェスチャー指示画像は、右手ＨＤ１の人差し指ＦＦ１の先端からメーターＭＴ１へと放物線の矢印画像ＣＳ１と、使用者が発生すべき判断音声である「ヨシ！」を示すテキスト画像ＴＸ２と、で構成される。本実施形態では、画像設定部１６５は、撮像画像において人差し指ＦＦ１がメーターＭＴ１に重なる位置に移動した後に、マイク６９および音声処理部１７０によって「ヨシ！」の判断音声が検出されると、確認行為の制御指示を実行する。なお、記憶部１２０に記憶された機器確認処理では、メーターＭＴ１とメーターＭＴ２との両方が検出された場合には、メーターＭＴ１の機器確認を先に優先するように設定されている。使用者は、テキスト画像ＴＸ１，ＴＸ２および矢印画像ＣＳ１と重複する外景ＳＣを透過して視認できる。確認行為の制御指示は、請求項における決定された対象物の制御に相当する。  The gesture instruction image includes a parabolic arrow image CS1 from the tip of the index finger FF1 of the right hand HD1 to the meter MT1, and a text image TX2 indicating “Yoshi!” Which is a judgment sound to be generated by the user. In the present embodiment, theimage setting unit 165 confirms the confirmation action when themicrophone 69 and thesound processing unit 170 detect the determination sound “Yoshi!” After the index finger FF1 moves to the position where the meter MT1 overlaps the captured image. The control instruction is executed. Note that, in the device confirmation process stored in thestorage unit 120, when both the meter MT1 and the meter MT2 are detected, the device confirmation of the meter MT1 is set first. The user can see through the outside scene SC overlapping the text images TX1, TX2 and the arrow image CS1. The confirmation action control instruction corresponds to the control of the object determined in the claims.

画像設定部１６５によって、ジェスチャー指示画像が画像表示最大領域ＰＮに表示されると（図４のステップＳ２０）、画像判定部１６８は、矢印画像ＣＳ１に沿った人差し指ＦＦ１のジェスチャーの検出を待機する（ステップＳ２２）。画像判定部１６８は、カメラ６１によって連続的に撮像される撮像画像の各フレームにおける人差し指ＦＦ１の画像に対して、パターンマッチング等の画像認識処理を行なうことによって、人差し指ＦＦ１のジェスチャーを検出する。矢印画像ＣＳ１に沿った人差し指ＦＦ１のジェスチャーが検出されない場合には（ステップＳ２２：ＮＯ）、画像判定部１６８は、引き続き、矢印画像ＣＳ１に沿った人差し指ＦＦ１のジェスチャーの検出を待機する（ステップＳ２２）。矢印画像ＣＳ１に沿った人差し指ＦＦ１のジェスチャーが検出された場合には（ステップＳ２２：ＹＥＳ）、画像設定部１６５は、ジェスチャー後の人差し指ＦＦ１の位置が撮像画像においてメーターＭＴ１に重なっている状態で、音声処理部１７０がマイク６９を介してテキスト画像ＴＸ２に示す判断音声の「ヨシ！」の検出を待機する（ステップＳ２４）。判断音声が検出されない、または、人差し指ＦＦ１の位置がメーターＭＴ１と重なっていない場合には（ステップＳ２４：ＮＯ）、画像設定部１６５は、引き続き、撮像画像において人差し指ＦＦ１の位置とメーターＭＴ１とが重なっている状態での判断音声の検出を待機する（ステップＳ２４）。撮像画像において、人差し指ＦＦ１の位置とメーターＭＴ１とが重なっている状態で、判断音声の「ヨシ！」が検出された場合には（ステップＳ２４：ＹＥＳ）、画像設定部１６５は、確認行為をするためのジェスチャーが行なわれたと判定し、確認行為が済んだ後に表示する確認済画像を画像表示最大領域ＰＮに表示させ（ステップＳ２６）、機器確認処理を終了する。なお、確認済画像は、請求項における特定確認画像に相当する。  When theimage setting unit 165 displays the gesture instruction image in the maximum image display area PN (step S20 in FIG. 4), theimage determination unit 168 waits for detection of the gesture of the index finger FF1 along the arrow image CS1 ( Step S22). Theimage determination unit 168 detects the gesture of the index finger FF1 by performing image recognition processing such as pattern matching on the image of the index finger FF1 in each frame of the captured images continuously captured by thecamera 61. When the gesture of the index finger FF1 along the arrow image CS1 is not detected (step S22: NO), theimage determination unit 168 continues to wait for detection of the gesture of the index finger FF1 along the arrow image CS1 (step S22). . When the gesture of the index finger FF1 along the arrow image CS1 is detected (step S22: YES), theimage setting unit 165 is in a state where the position of the index finger FF1 after the gesture overlaps the meter MT1 in the captured image. Thevoice processing unit 170 waits for the detection of the determination voice “Yoshi!” Shown in the text image TX2 via the microphone 69 (step S24). When the determination sound is not detected or the position of the index finger FF1 does not overlap the meter MT1 (step S24: NO), theimage setting unit 165 continues to overlap the position of the index finger FF1 and the meter MT1 in the captured image. It waits for detection of the judgment voice in the state where it is present (step S24). In the captured image, when the position of the index finger FF1 and the meter MT1 overlap with each other and the determination sound “Yoshi!” Is detected (step S24: YES), theimage setting unit 165 performs a confirmation act. It is determined that a gesture has been performed, and a confirmed image to be displayed after the confirmation action is completed is displayed in the image display maximum area PN (step S26), and the device confirmation process is terminated. The confirmed image corresponds to the specific confirmed image in the claims.

図７は、確認済画像が表示された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図７には、使用者による確認行為が検出されて確認済画像としての「ＭＴ１確認ＯＫ！」のテキスト画像ＴＸ３が表示されたときに使用者に視認される視野ＶＲが示されている。撮像画像において、人差し指ＦＦ１の位置とメーターＭＴ１とが重なっている場合に、画像設定部１６５は、メーターＭＴ１の位置を示す画像ＩＭ１に加えて、メーターＭＴ１の数値が確認済みであることを示すために、メーターＭＴ１を囲っている実線の円の画像ＩＭ３を画像表示最大領域ＰＮに表示させる。使用者は、画像表示最大領域ＰＮに表示されたテキスト画像ＴＸ３および画像ＩＭ３を視認することで、ジェスチャーが正常に処理されて、機器確認の制御指示が実行されたことを確認できる。  FIG. 7 is an explanatory diagram illustrating an example of a visual field VR visually recognized by the user when a confirmed image is displayed. FIG. 7 shows a visual field VR visually recognized by the user when a confirmation action by the user is detected and a text image TX3 of “MT1 confirmation OK!” As a confirmed image is displayed. In the captured image, when the position of the index finger FF1 and the meter MT1 overlap, theimage setting unit 165 indicates that the numerical value of the meter MT1 has been confirmed in addition to the image IM1 indicating the position of the meter MT1. In addition, a solid circle image IM3 surrounding the meter MT1 is displayed in the image display maximum region PN. By visually recognizing the text image TX3 and the image IM3 displayed in the image display maximum area PN, the user can confirm that the gesture has been processed normally and the control instruction for device confirmation has been executed.

以上説明したように、本実施形態におけるＨＭＤ１００では、画像判定部１６８が撮像画像の中に含まれる操作対象と判断対象とを検出し、画像設定部１６５は、検出された操作対象に対応付けられた画像ＩＭ１，ＩＭ２およびテキスト画像ＴＸ１を画像表示最大領域ＰＮに表示させ、検出された判断対象のジェスチャーに対応する機器確認の制御指示を決定して実行する。そのため、本実施形態のＨＭＤ１００では、使用者は、操作する対象の操作対象と自身が行なうジェスチャーに対応付けられた制御とを視線方向を変えないで同時に視認でき、操作対象の制御を直感的に行なうことができ、使用者の利便性が向上する。  As described above, in theHMD 100 according to the present embodiment, theimage determination unit 168 detects the operation target and the determination target included in the captured image, and theimage setting unit 165 is associated with the detected operation target. The images IM1 and IM2 and the text image TX1 are displayed in the maximum image display area PN, and a device confirmation control instruction corresponding to the detected gesture to be determined is determined and executed. Therefore, in theHMD 100 of this embodiment, the user can visually recognize the operation target to be operated and the control associated with the gesture performed by the user at the same time without changing the line-of-sight direction, and intuitively control the operation target. This can be performed and the convenience for the user is improved.

また、本実施形態におけるＨＭＤ１００では、画像設定部１６５は、判断対象としての右手ＨＤ１が検出されると、メーターＭＴ１およびメーターＭＴ２と右手ＨＤ１の人差し指ＦＦ１との組み合わせに対応付けられた画像として、人差し指ＦＦ１の変化を示した矢印画像ＣＳ１を画像表示最大領域ＰＮに表示させる。そのため、本実施形態のＨＭＤ１００では、使用者は、制御指示を実行するために必要なジェスチャーを視覚情報として認識でき、使用者にとってのＨＭＤ１００の使い勝手が向上する。  Further, in theHMD 100 according to the present embodiment, when the right hand HD1 as a determination target is detected, theimage setting unit 165 displays an index finger as an image associated with the combination of the meter MT1 and the meter MT2 and the index finger FF1 of the right hand HD1. An arrow image CS1 showing the change of FF1 is displayed in the image display maximum area PN. Therefore, in theHMD 100 of the present embodiment, the user can recognize gestures necessary for executing the control instruction as visual information, and the usability of theHMD 100 for the user is improved.

また、本実施形態におけるＨＭＤ１００では、画像設定部１６５は、判断対象である人差し指ＦＦ１の位置と操作対象であるメーターＭＴ１とが重なっている状態で、音声処理部１７０によって判断音声が検出された場合に、確認済画像であるテキスト画像ＴＸ３を画像表示最大領域ＰＮに表示させる。そのため、本実施形態のＨＭＤ１００では、ジェスチャーが行われた後に判断対象が重なっている操作対象に対応する制御指示が実行されるため、使用者は、意図した制御指示に対応するジェスチャーを行ないやすい。また、ジェスチャーと音声との組み合わせによって制御指示が実行されるため、ジェスチャーのみによって実行される制御指示よりも、使用者は、より多くの制御指示を直感的に行なうことができる。  Further, in theHMD 100 according to the present embodiment, theimage setting unit 165 detects the determination sound by thesound processing unit 170 in a state where the position of the index finger FF1 that is the determination target overlaps the meter MT1 that is the operation target. Then, the text image TX3 that is the confirmed image is displayed in the image display maximum area PN. Therefore, in theHMD 100 of the present embodiment, the control instruction corresponding to the operation target with which the determination target overlaps is executed after the gesture is performed, and thus the user can easily perform the gesture corresponding to the intended control instruction. Further, since the control instruction is executed by a combination of the gesture and the voice, the user can intuitively give more control instructions than the control instruction executed only by the gesture.

また、本実施形態におけるＨＭＤ１００では、距離測定部１６６によって測定された画像表示部２０と仮対象との距離が所定の距離以下である場合に、画像設定部１６５は、検出された仮対象を選択可能な操作対象として設定する。そのため、本実施形態のＨＭＤ１００では、撮像画像に複数の仮対象が検出された場合に、使用者から近いものを選択可能な操作対象として設定するので、使用者に選択される可能性の高いものを使用者に視認させるため、使用者の利便性が向上する。  In theHMD 100 according to the present embodiment, when the distance between theimage display unit 20 measured by thedistance measurement unit 166 and the temporary object is equal to or less than a predetermined distance, theimage setting unit 165 selects the detected temporary object. Set as possible operation target. Therefore, in theHMD 100 of the present embodiment, when a plurality of temporary objects are detected in the captured image, an object close to the user is set as an operation object that can be selected, so that the user is highly likely to be selected. The user's convenience is improved.

Ｂ．第２実施形態：
第２実施形態では、第１実施形態と異なり、ＨＭＤ１００ａと制御装置３００とを備える制御システム５００において、ＨＭＤ１００ａと制御装置３００との間で制御指示の信号の送受信が行なわれる。これにより、制御装置３００からの操作対象を特定する情報をＨＭＤ１００ａが受信した後に、ＨＭＤ１００ａで入力された制御指示に基づいて制御装置３００の制御が行なわれる。B. Second embodiment:
In the second embodiment, unlike the first embodiment, in acontrol system 500 including the HMD 100a and thecontrol device 300, a control instruction signal is transmitted and received between the HMD 100a and thecontrol device 300. Thereby, after the HMD 100a receives information specifying the operation target from thecontrol device 300, thecontrol device 300 is controlled based on the control instruction input by the HMD 100a.

図８は、第２実施形態における制御システム５００の構成を機能的に示すブロック図である。制御システム５００は、ＨＭＤ１００ａと制御装置３００とを備えている。なお、図８では、ＨＭＤ１００ａと制御装置３００とをそれぞれ１つずつしか図示していないが、制御システム５００は、複数のＨＭＤ１００ａや制御装置３００を備えていてもよいし、ＨＭＤ１００ａや制御装置３００とは異なる機器（例えば、サーバー）を介して情報の送受信が行なわれてもよい。第２実施形態におけるＨＭＤ１００ａは、第１実施形態のＨＭＤ１００の構成に加えて、制御部１０に無線通信部１３２を備えている。図８では、ＨＭＤ１００ａが第１実施形態（図２）のＨＭＤ１００と比較して、無線通信部１３２以外の構成が同じであるため、ＨＭＤ１００ａの構成については、一部の図示を省略している。  FIG. 8 is a block diagram functionally showing the configuration of thecontrol system 500 in the second embodiment. Thecontrol system 500 includes an HMD 100a and acontrol device 300. In FIG. 8, only one HMD 100a and onecontrol device 300 are shown, but thecontrol system 500 may include a plurality of HMDs 100a andcontrol devices 300, or the HMD 100a and thecontrol device 300. Information may be transmitted and received via different devices (for example, servers). The HMD 100 a according to the second embodiment includes awireless communication unit 132 in thecontrol unit 10 in addition to the configuration of theHMD 100 according to the first embodiment. In FIG. 8, since the HMD 100a has the same configuration other than thewireless communication unit 132 as compared with theHMD 100 of the first embodiment (FIG. 2), a part of the configuration of the HMD 100a is omitted.

ＨＭＤ１００ａの無線通信部１３２は、無線ＬＡＮやブルートゥース（登録商標）といった所定の無線通信方式に則って他の機器との間で無線通信を行なう。無線通信部１３２は、使用者のジェスチャーによって決定された制御指示の情報を制御装置３００へと送信する。また、無線通信部１３２は、操作対象、判断対象、判断音声、および、ジェスチャー等を特定する情報を制御装置３００から受信する。なお、第２実施形態における無線通信部１３２は、請求項における第２の通信部に相当する。  Thewireless communication unit 132 of the HMD 100a performs wireless communication with other devices in accordance with a predetermined wireless communication method such as a wireless LAN or Bluetooth (registered trademark). Thewireless communication unit 132 transmits the control instruction information determined by the user's gesture to thecontrol device 300. In addition, thewireless communication unit 132 receives information specifying the operation target, the determination target, the determination sound, and the gesture from thecontrol device 300. Thewireless communication unit 132 in the second embodiment corresponds to the second communication unit in the claims.

制御装置３００は、無線通信部３３０と、記憶部３２０と、ＣＰＵ３１０と、を備えている。無線通信部３３０は、無線ＬＡＮやブルートゥースといった所定の無線通信方式に則って、ＨＭＤ１００との間で無線通信を行なう。なお、第２実施形態における無線通信部３３０は、請求項における第１の通信部に相当する。記憶部３２０は、例えば、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部３２０は、制御装置３００を制御するための制御指示に対応付けられた制御内容を記憶している。また、記憶部３２０は、カメラ６１の撮像画像に含まれる場合に検出される操作対象の画像データと制御を行なう判断の基となる判断対象の画像データとを記憶している。なお、第２実施形態における記憶部３２０は、請求項における対象物特定部に相当する。  Thecontrol device 300 includes awireless communication unit 330, astorage unit 320, and aCPU 310. Thewireless communication unit 330 performs wireless communication with theHMD 100 in accordance with a predetermined wireless communication method such as a wireless LAN or Bluetooth. Thewireless communication unit 330 in the second embodiment corresponds to the first communication unit in the claims. Thestorage unit 320 is configured by, for example, a ROM, a RAM, a DRAM, a hard disk, and the like. Thestorage unit 320 stores control content associated with a control instruction for controlling thecontrol device 300. In addition, thestorage unit 320 stores operation target image data detected when included in the captured image of thecamera 61 and determination target image data that is a basis for determination for control. In addition, the memory |storage part 320 in 2nd Embodiment is corresponded to the target object specific part in a claim.

ＣＰＵ３１０は、記憶部３２０に格納されたコンピュータープログラムを読み出して実行することにより、情報処理部３１２、制御処理部３１４、として機能する。情報処理部３１２は、無線通信部３３０を介して、ＨＭＤ１００の無線通信部１３２との間で送受信される制御指示や操作対象を特定する情報を処理する。制御処理部３１４は、情報処理部３１２によって処理された制御指示の情報に基づいて、当該制御指示に対応して制御装置３００を制御する。なお、第２実施形態における制御装置３００は、請求項における制御実行部に相当する。  TheCPU 310 functions as theinformation processing unit 312 and thecontrol processing unit 314 by reading out and executing the computer program stored in thestorage unit 320. Theinformation processing unit 312 processes information specifying a control instruction and an operation target transmitted / received to / from thewireless communication unit 132 of theHMD 100 via thewireless communication unit 330. Based on the control instruction information processed by theinformation processing unit 312, thecontrol processing unit 314 controls thecontrol device 300 in response to the control instruction. In addition, thecontrol apparatus 300 in 2nd Embodiment is corresponded to the control execution part in a claim.

図９は、制御処理の流れを示す説明図である。制御処理におけるステップＳ３０からステップＳ３６までの処理は、第１実施形態の機器確認処理（図４）における画像表示部２０と操作対象との距離を特定する処理を除いたステップＳ１０からステップＳ１８までの処理が同じである。そのため、第２実施形態では、制御処理のステップＳ３０からステップＳ３６までの処理については、簡単に説明する。  FIG. 9 is an explanatory diagram showing the flow of control processing. The processing from step S30 to step S36 in the control processing is from step S10 to step S18 excluding the processing for specifying the distance between theimage display unit 20 and the operation target in the device confirmation processing (FIG. 4) of the first embodiment. The process is the same. Therefore, in 2nd Embodiment, the process from step S30 of a control process to step S36 is demonstrated easily.

制御処理では、カメラ６１によって外景ＳＣが撮像され（ステップＳ３０）、撮像画像に操作対象が検出されると（ステップＳ３２：ＹＥＳ）、画像設定部１６５は、操作対象に対応付けられた画像を画像表示最大領域ＰＮに表示させる。  In the control process, when the outside scene SC is imaged by the camera 61 (step S30) and an operation target is detected in the captured image (step S32: YES), theimage setting unit 165 displays an image associated with the operation target as an image. Display in the maximum display area PN.

図１０は、操作対象が検出された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図１０には、リビングにいる使用者が視認する外景ＳＣと画像表示最大領域ＰＮに表示された画像ＩＭ４および画像ＩＭ５とが示されている。図１０に示すように、使用者は、画像判定部１６８によって設定された操作対象であるテレビのリモコンＲＣ１および部屋の照明のスイッチであるスイッチＳＷと、記憶部３２０に記憶され、リモコンＲＣ１に対応付けられた画像ＩＭ４およびスイッチＳＷに対応付けられた画像ＩＭ５と、を視認している。なお、リモコンＲＣ１およびスイッチＳＷは、請求項における対象物に相当する。  FIG. 10 is an explanatory diagram illustrating an example of a visual field VR visually recognized by the user when an operation target is detected. FIG. 10 shows the outside scene SC visually recognized by the user in the living room and the images IM4 and IM5 displayed in the maximum image display area PN. As shown in FIG. 10, the user stores the television remote controller RC1 that is the operation target set by theimage determination unit 168 and the switch SW that is a room illumination switch, and is stored in thestorage unit 320 and corresponds to the remote control RC1. The attached image IM4 and the image IM5 associated with the switch SW are visually recognized. The remote controller RC1 and the switch SW correspond to objects in the claims.

画像ＩＭ４およびＩＭ５が表示された状態で（図９のステップＳ３４）、画像判定部１６８によって判断対象が検出されると（ステップＳ３６：ＹＥＳ）、画像設定部１６５は、使用者のジェスチャーを検出できる状態を示すジェスチャー検出モードの画像を画像表示最大領域ＰＮに表示させる（ステップＳ３８）。  When theimage determination unit 168 detects a determination target (step S36: YES) with the images IM4 and IM5 displayed (step S34 in FIG. 9), theimage setting unit 165 can detect the user's gesture. An image in the gesture detection mode indicating the state is displayed in the image display maximum area PN (step S38).

図１１は、ジェスチャー検出モードの場合に使用者が視認する視野ＶＲの一例を示す説明図である。図１１に示すように、画像判定部１６８によって判断対象としての右手ＨＤ１が検出され、画像設定部１６５によって、リモコンＲＣ１に対応付けられた画像ＩＭ６が表示され、スイッチＳＷに対応付けられた矢印画像ＣＳ２と画像ＩＭ７とが表示される。画像ＩＭ６は、右手ＨＤ１の人差し指ＦＦ１の位置が重なると制御する内容を示す複数のアイコンを含む画像である。例えば、表示されたアイコンの内の「ＯＮ／ＯＦＦ」のアイコンが指ＦＦ１の位置の変化によって選択されると、制御処理部３１４は、テレビＴＶ１の電源のオンとオフとを切り替える制御を実行する。また、図１１に示す矢印画像ＣＳ２は、スイッチＳＷを選択する制御を実行するために使用者が行なうべきジェスチャーを示す画像である。画像ＩＭ７は、矢印画像ＣＳ２に沿った人差し指ＦＦ１のジェスチャーが行なわれると、実行される制御内容を示す画像である。すなわち、画像ＩＭ７は、使用者の人差し指ＦＦ１が矢印画像ＣＳ２に沿ってスイッチＳＷを囲むように動くと、スイッチＳＷが選択されることを示している。  FIG. 11 is an explanatory diagram illustrating an example of the visual field VR visually recognized by the user in the gesture detection mode. As shown in FIG. 11, theimage determination unit 168 detects the right hand HD1 as a determination target, theimage setting unit 165 displays the image IM6 associated with the remote controller RC1, and the arrow image associated with the switch SW. CS2 and image IM7 are displayed. The image IM6 is an image including a plurality of icons indicating the contents to be controlled when the position of the index finger FF1 of the right hand HD1 overlaps. For example, when an “ON / OFF” icon among the displayed icons is selected by a change in the position of the finger FF1, thecontrol processing unit 314 performs control to switch on / off the power of the television TV1. . Further, an arrow image CS2 shown in FIG. 11 is an image showing a gesture to be performed by the user in order to execute control for selecting the switch SW. The image IM7 is an image showing the content of control executed when the gesture of the index finger FF1 along the arrow image CS2 is performed. That is, the image IM7 indicates that the switch SW is selected when the user's index finger FF1 moves so as to surround the switch SW along the arrow image CS2.

画像設定部１６５によってジェスチャー検出モードの画像が画像表示最大領域ＰＮに表示されると（図９のステップＳ３８）、画像判定部１６８は、リモコンＲＣ１またはスイッチＳＷの制御を実行するための右手ＨＤ１のジェスチャーの検出を待機する（ステップＳ４０）。右手ＨＤ１のジェスチャーが検出されなかった場合には（ステップＳ４０：ＮＯ）、画像判定部１６８は、引き続き、右手ＨＤ１のジェスチャーの検出を待機する（ステップＳ４０）。右手ＨＤ１のジェスチャーが検出された場合には（ステップＳ４０：ＹＥＳ）、画像設定部１６５は、検出されたジェスチャーである検出ジェスチャーに対応する制御を実行する（ステップＳ４２）。画像設定部１６５は、検出ジェスチャーに対応して実行された制御の次に設定されている別の制御を実行するために対応するジェスチャーである設定ジェスチャーがあるか否かを判定する（ステップＳ４４）。設定ジェスチャーがあると判定された場合には（ステップＳ４４：ＹＥＳ）、画像設定部１６５は、設定ジェスチャーに対応したジェスチャー検出モードの画像を画像表示最大領域ＰＮに表示させる（ステップＳ３８）。  When the image in the gesture detection mode is displayed in the maximum image display area PN by the image setting unit 165 (step S38 in FIG. 9), theimage determination unit 168 has the right hand HD1 for executing the control of the remote controller RC1 or the switch SW. Waiting for gesture detection (step S40). When the gesture of the right hand HD1 is not detected (step S40: NO), theimage determination unit 168 continues to wait for the detection of the gesture of the right hand HD1 (step S40). When the gesture of the right hand HD1 is detected (step S40: YES), theimage setting unit 165 executes control corresponding to the detected gesture that is the detected gesture (step S42). Theimage setting unit 165 determines whether or not there is a setting gesture that is a corresponding gesture for executing another control that is set next to the control that is executed corresponding to the detected gesture (step S44). . When it is determined that there is a setting gesture (step S44: YES), theimage setting unit 165 displays an image in the gesture detection mode corresponding to the setting gesture in the image display maximum area PN (step S38).

図１２は、設定ジェスチャーに対応するジェスチャー検出モードの画像が表示された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図１２には、検出ジェスチャーとして矢印画像ＣＳ２（図１１）に沿った人差し指ＦＦ１の動きが検出された後の設定ジェスチャーに対応したジェスチャー指示画像である画像ＩＭ８が示されている。画像ＩＭ８は、人差し指ＦＦ１が上方向に動かされた場合にはスイッチＳＷをオンにし、人差し指ＦＦ１が下方向に動かされた場合にはスイッチＳＷをオフにする制御を示す画像である。  FIG. 12 is an explanatory diagram illustrating an example of the visual field VR visually recognized by the user when an image in the gesture detection mode corresponding to the setting gesture is displayed. FIG. 12 shows an image IM8 that is a gesture instruction image corresponding to the set gesture after the movement of the index finger FF1 along the arrow image CS2 (FIG. 11) is detected as a detected gesture. The image IM8 is an image showing control for turning on the switch SW when the index finger FF1 is moved upward, and turning off the switch SW when the index finger FF1 is moved downward.

画像設定部１６５によってジェスチャー検出モードの画像が画像表示最大領域ＰＮに表示され（図９のステップＳ３８）、スイッチＳＷをオンまたはオフにするジェスチャーが検出されると（ステップＳ４０：ＹＥＳ）、画像設定部１６５は、検出ジェスチャーに対応する制御を実行する（ステップＳ４２）。実行された制御の次に実行される制御に対応する設定ジェスチャーがある場合には（ステップＳ４４：ＹＥＳ）、ステップＳ３８以降の処理が行なわれる。ステップＳ４４の処理において、実行された制御の次に実行される制御に対応する設定ジェスチャーがない場合には（ステップＳ４４：ＮＯ）、画像設定部１６５は、検出ジェスチャーに対応する制御が実行されたことを示す制御後画像を画像表示最大領域ＰＮに表示させる（ステップＳ４６）。  When theimage setting unit 165 displays an image in the gesture detection mode in the maximum image display area PN (step S38 in FIG. 9) and a gesture for turning on or off the switch SW is detected (step S40: YES), the image setting is performed. Theunit 165 executes control corresponding to the detected gesture (step S42). When there is a setting gesture corresponding to the control executed next to the executed control (step S44: YES), the processing after step S38 is performed. In the process of step S44, when there is no setting gesture corresponding to the control executed next to the executed control (step S44: NO), theimage setting unit 165 has executed the control corresponding to the detected gesture. A post-control image indicating this is displayed in the maximum image display area PN (step S46).

図１３は、制御後画像が表示された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図１３には、検出ジェスチャーとしてのスイッチＳＷをオフに設定ジェスチャーが検出された後に、制御後画像であるテキスト画像ＴＸ４が表示された状態が示されている。図１３に示すように、制御処理部３１４によってスイッチＳＷがオフに設定されると、その旨を使用者に伝えるための「オフにしました」のテキスト画像ＴＸ４が画像設定部１６５によって画像表示最大領域ＰＮに表示される。  FIG. 13 is an explanatory diagram illustrating an example of a visual field VR visually recognized by the user when a post-control image is displayed. FIG. 13 shows a state in which a text image TX4, which is a post-control image, is displayed after a switch gesture as a detection gesture is turned off and a gesture is detected. As shown in FIG. 13, when the switch SW is turned off by thecontrol processing unit 314, the text image TX4 of “turned off” is transmitted by theimage setting unit 165 to notify the user to that effect. It is displayed in the area PN.

制御後画像のテキスト画像ＴＸ４が画像表示最大領域ＰＮに表示されると（図９のステップＳ４６）、画像設定部１６５は、所定の時間、テキスト画像ＴＸ４を画像表示最大領域ＰＮに表示する。テキスト画像ＴＸ４が画像表示最大領域ＰＮに表示されている間に、操作部１３５は、撮像画像において検出された操作対象等を用いた制御処理を終了する所定の操作の検出を待機する（ステップＳ４８）。テキスト画像ＴＸ４が画像表示最大領域ＰＮに表示されている間に、操作部１３５が制御処理を終了する所定の操作を検出しなかった場合には（ステップＳ４８：ＮＯ）、画像設定部１６５がテキスト画像ＴＸ４を非表示にした後、ステップＳ３２以降の処理が行なわれる。ステップＳ４８の処理において、操作部１３５が制御処理を終了する所定の操作を検出した場合には（ステップＳ４８：ＹＥＳ）、制御部１０は、制御処理を終了する。なお、第２実施形態では、操作部１３５が所定の操作を検出することで、制御処理の途中であっても、制御部１０は、制御処理を終了できる。  When the text image TX4 of the post-control image is displayed in the image display maximum area PN (step S46 in FIG. 9), theimage setting unit 165 displays the text image TX4 in the image display maximum area PN for a predetermined time. While the text image TX4 is displayed in the image display maximum area PN, theoperation unit 135 waits for detection of a predetermined operation for ending the control process using the operation target detected in the captured image (step S48). ). When theoperation unit 135 does not detect a predetermined operation for ending the control process while the text image TX4 is displayed in the image display maximum area PN (step S48: NO), theimage setting unit 165 displays the text. After hiding the image TX4, the processing after step S32 is performed. In the process of step S48, when theoperation unit 135 detects a predetermined operation for ending the control process (step S48: YES), thecontrol unit 10 ends the control process. In the second embodiment, thecontrol unit 10 can end the control process even when the control process is in progress by theoperation unit 135 detecting a predetermined operation.

以上説明したように、第２実施形態におけるＨＭＤ１００ａでは、図１２に示すように、画像設定部１６５は、右手ＨＤ１の人差し指ＦＦ１が上下方向に沿って動いた方向に対応して実行されるスイッチＳＷのオンとオフとの制御を示す画像ＩＭ８を画像表示最大領域ＰＮに表示させる。そのため、第２実施形態のＨＭＤ１００ａでは、使用者が自身のジェスチャーに対応して次に実行される制御の内容を視覚情報として認識できるので、使用者にとっての使い勝手が向上する。  As described above, in the HMD 100a according to the second embodiment, as illustrated in FIG. 12, theimage setting unit 165 performs the switch SW that is executed in accordance with the direction in which the index finger FF1 of the right hand HD1 moves along the vertical direction. The image IM8 indicating the control of turning on and off is displayed in the image display maximum area PN. Therefore, in the HMD 100a of the second embodiment, the user can recognize the content of the control that is executed next in response to his / her gesture as visual information, which improves usability for the user.

Ｃ．第３実施形態：
第３実施形態では、第１実施形態および第２実施形態と比較して、操作対象の位置情報が光情報や無線通信などによって取得されることと、判断対象の加速度を検出することで判断対象の位置の変化を特定することと、が主に異なる。C. Third embodiment:
In the third embodiment, compared with the first embodiment and the second embodiment, the position information of the operation target is acquired by optical information or wireless communication, and the determination target is detected by detecting the acceleration of the determination target. It is mainly different from specifying the change of the position of.

図１４は、第３実施形態における制御システム５００ｂの構成を示す概略図である。制御システム５００ｂは、ＨＭＤ１００ｂと、サーバー４００と、制御装置３００ｂと、を備えている。ＨＭＤ１００ｂは、画像表示部２０ｂと、制御部１０ｂと、判断対象としての外部センサー７０と、を備えている。外部センサー７０は、外部センサー７０の動きを検出するための加速度センサーを内蔵している。外部センサー７０は、検出した加速度を、ブルートゥースなどの通信手段を用いて制御部１０ｂに送信する。制御部１０ｂは、送信された外部センサー７０の加速度に基づいて、外部センサー７０の位置の変化を算出する。制御部１０ｂは、算出した外部センサー７０の位置の変化に基づいて、制御装置３００ｂを制御する。画像表示部２０ｂは、第１実施形態および第２実施形態におけるＴＯＦセンサー６３と赤外線ＬＥＤ６４とを有していない。なお、本実施形態では、図１に示すように、制御装置３００ｂをテレビとして説明しているが、他の実施形態では、制御装置３００ｂとして、テレビ以外の照明装置などであってもよい。  FIG. 14 is a schematic diagram illustrating a configuration of acontrol system 500b according to the third embodiment. Thecontrol system 500b includes anHMD 100b, aserver 400, and acontrol device 300b. TheHMD 100b includes animage display unit 20b, acontrol unit 10b, and anexternal sensor 70 as a determination target. Theexternal sensor 70 incorporates an acceleration sensor for detecting the movement of theexternal sensor 70. Theexternal sensor 70 transmits the detected acceleration to thecontrol unit 10b using communication means such as Bluetooth. Thecontrol unit 10b calculates a change in the position of theexternal sensor 70 based on the transmitted acceleration of theexternal sensor 70. Thecontrol unit 10b controls thecontrol device 300b based on the calculated change in the position of theexternal sensor 70. Theimage display unit 20b does not include theTOF sensor 63 and theinfrared LED 64 in the first embodiment and the second embodiment. In the present embodiment, as illustrated in FIG. 1, thecontrol device 300b is described as a television. However, in other embodiments, thecontrol device 300b may be a lighting device other than a television.

サーバー４００は、検出されたジェスチャーによって制御指示される制御機器と、制御機器に制御指示を与えるための操作対象と、の制御装置３００ｂの情報を記憶する記憶部４２０を有する。なお、第３実施形態におけるジェスチャーとは、外部センサー７０の位置の変化を含む。サーバー４００は、ＨＭＤ１００ｂから送信される信号に対応させて、記憶部４２０に記憶された情報の少なくとも一部を、ＨＭＤ１００ｂへと送信する。ＨＭＤ１００ｂの制御部１０ｂの無線通信部１３２ｂは、サーバー４００から送信された情報を受信する。  Theserver 400 includes astorage unit 420 that stores information on thecontrol device 300b, which is a control device that is instructed by a detected gesture and an operation target for giving the control instruction to the control device. Note that the gesture in the third embodiment includes a change in the position of theexternal sensor 70. Theserver 400 transmits at least a part of the information stored in thestorage unit 420 to theHMD 100b in correspondence with the signal transmitted from theHMD 100b. Thewireless communication unit 132b of thecontrol unit 10b of theHMD 100b receives information transmitted from theserver 400.

図１５は、サーバー４００の記憶部４２０に記憶された制御装置の情報の一部を示す概略図である。記憶部４２０は、複数の制御装置３００ｂの情報を記憶している。例えば、図１５に示すように、１つの制御装置３００ｂとしてのテレビは、放映される番組を表示する制御機器と、制御機器を操作するコントローラーと、のそれぞれについて、三次元モデルと位置座標とに関連付けられている。また、制御装置３００ｂのテレビは、表示情報に関連付けられている。図１５に示す三次元モデルは、制御機器とコントローラーとのそれぞれについて記憶された立体的な画像データである。位置座標は、ＨＭＤ１００ｂがサーバー４００からの情報を受信したときに、ＨＭＤ１００ｂを基準とした場合に制御機器とコントローラーとのそれぞれが位置する場所を示す。表示画像は、コントローラーが検出された場合に、画像表示部２０ｂに表示される画像の内容の一例である。  FIG. 15 is a schematic diagram illustrating a part of the control device information stored in thestorage unit 420 of theserver 400. Thestorage unit 420 stores information on a plurality ofcontrol devices 300b. For example, as shown in FIG. 15, a television as onecontrol device 300b includes a three-dimensional model and position coordinates for each of a control device that displays a program to be aired and a controller that operates the control device. Associated. The television set of thecontrol device 300b is associated with display information. The three-dimensional model shown in FIG. 15 is stereoscopic image data stored for each of the control device and the controller. The position coordinates indicate where the control device and the controller are located when theHMD 100b receives information from theserver 400 and theHMD 100b is used as a reference. The display image is an example of the content of the image displayed on theimage display unit 20b when the controller is detected.

第３実施形態では、制御装置３００ｂの記憶部３２０ｂは、複数の手順によって実行されるシーケンス制御におけるそれぞれの手順を記憶している。例えば、制御装置３００ｂがテレビであり、将来の時間を指定して放映される番組を録画する（単に、「録画予約を行なう」ともいう）場合には、日時や放映される番組のチャンネルなどの複数の手順が正しく入力されると、録画予約が行なわれる。  In 3rd Embodiment, the memory | storage part 320b of thecontrol apparatus 300b has memorize | stored each procedure in the sequence control performed by a some procedure. For example, when thecontrol device 300b is a television and records a program to be aired by designating a future time (also simply referred to as “recording reservation”), the date and time, the channel of the aired program, etc. When a plurality of procedures are correctly input, a recording reservation is made.

図１６は、第３実施形態におけるＨＭＤ１００ｂの構成を機能的に示すブロック図である。第３実施形態の記憶部１２０ｂは、第１実施形態および第２実施形態の記憶部１２０と異なり、ＨＭＤ１００ｂの使用者を識別するための個人情報を記憶している。図１６に示すように、第３実施形態の制御部１０ｂのＣＰＵ１４０ｂは、第１実施形態および第２実施形態における距離測定部１６６を有しておらず、位置特定部１６３と識別部１６１とを有している。識別部１６１は、ＨＭＤ１００ｂの電源が入ると、ＨＭＤ１００ｂの使用者を識別するための画像を画像表示最大領域ＰＮに表示させる。その後、操作部１３５が受け付けた操作に基づいて、識別部１６１は、ＨＭＤ１００ｂの使用者を特定する。使用者の識別方法として、例えば、以下のステップが行なわれる場合がある。初めに、識別部１６１が、予め登録されたＨＭＤ１００ｂの過去の使用者を選択させる画像を画像表示最大領域ＰＮに表示させる。その後、操作部１３５が受け付けた操作によって選択された使用者に対応するように、識別部１６１は、記憶部３２０ｂに記憶されたパスワードの入力を要求する画像を画像表示最大領域ＰＮに表示させ、要求したパスワードが入力されると、ＨＭＤ１００ｂの使用者を特定する。  FIG. 16 is a block diagram functionally showing the configuration of theHMD 100b in the third embodiment. Unlike thestorage unit 120 of the first and second embodiments, thestorage unit 120b of the third embodiment stores personal information for identifying the user of theHMD 100b. As shown in FIG. 16, theCPU 140b of thecontrol unit 10b of the third embodiment does not have thedistance measurement unit 166 in the first embodiment and the second embodiment, and includes theposition specifying unit 163 and theidentification unit 161. Have. When theHMD 100b is turned on, theidentification unit 161 displays an image for identifying the user of theHMD 100b in the image display maximum area PN. Thereafter, theidentification unit 161 identifies the user of theHMD 100b based on the operation received by theoperation unit 135. As a user identification method, for example, the following steps may be performed. First, theidentification unit 161 displays an image for selecting a past user of theHMD 100b registered in advance in the image display maximum area PN. Thereafter, in order to correspond to the user selected by the operation received by theoperation unit 135, theidentification unit 161 displays an image for requesting input of the password stored in the storage unit 320b in the image display maximum area PN, When the requested password is input, the user of theHMD 100b is specified.

位置特定部１６３は、無線通信部１３２ｂを介して、サーバー４００の記憶部４２０から取得した制御機器の位置情報と操作対象であるコントローラーの位置情報とに基づいて、画像表示部２０ｂと制御機器と操作対象との位置関係を特定する。なお、画像表示部２０ｂの位置は、電波の強さや複数の基地局などによって送受信される電波の時差などに基づいて特定される。また、位置特定部１６３は、外部センサー７０が検出した加速度に基づいて、外部センサー７０の位置の変化を特定する。なお、外部センサー７０は、請求項における特定のオブジェクトに相当する。  Theposition specifying unit 163 includes theimage display unit 20b, the control device, and the control device based on the position information of the control device and the position information of the controller that is the operation target acquired from thestorage unit 420 of theserver 400 via thewireless communication unit 132b. Identify the positional relationship with the operation target. Note that the position of theimage display unit 20b is specified based on the strength of radio waves, the time difference of radio waves transmitted and received by a plurality of base stations, and the like. Further, theposition specifying unit 163 specifies a change in the position of theexternal sensor 70 based on the acceleration detected by theexternal sensor 70. Theexternal sensor 70 corresponds to a specific object in the claims.

図１７は、第３実施形態における制御処理の流れを示す説明図である。第３実施形態の制御処理は、検出された外部センサー７０の変化に基づいて、位置が特定された制御機器の制御指示が実行される処理である。  FIG. 17 is an explanatory diagram showing a flow of control processing in the third embodiment. The control process of the third embodiment is a process in which a control instruction for the control device whose position is specified is executed based on the detected change of theexternal sensor 70.

第３実施形態の制御処理では、初めに、識別部１６１は、ＨＭＤ１００ｂの使用者を識別する（ステップＳ５０）。第３実施形態では、識別された使用者ごとに、検出される制御装置３００ｂの種類が異なる。具体的には、ある使用者では、特定の制御装置を制御指示が可能な対象として検出されるが、異なる使用者では、特定の制御装置を制御指示が不可能な対象として判定し、特定の制御装置が検出されない。  In the control process of the third embodiment, first, theidentification unit 161 identifies the user of theHMD 100b (step S50). In the third embodiment, the type of thecontrol device 300b to be detected is different for each identified user. Specifically, a certain user detects a specific control device as a target that can be controlled, but a different user determines that a specific control device is a target that cannot be controlled, The control unit is not detected.

使用者が識別されると、位置特定部１６３は、無線通信部１３２ｂを介して、サーバー４００から、画像表示部２０ｂを装着している使用者から所定の範囲内にある制御装置の位置を特定する（ステップＳ５１）。次に、カメラ６１は、外景を撮像する（ステップＳ５２）。次に、位置特定部１６３は、使用者から所定の範囲内に位置が特定された制御装置３００ｂが検出されたか否かを判定する（ステップＳ５４）。位置特定部１６３は、制御装置３００ｂを検出しなかった場合には（ステップＳ５４：ＮＯ）、引き続き、使用者から所定の範囲内にある制御装置３００ｂの位置の特定を待機する（ステップＳ５１）。なお、第３実施形態において検出有無の対象となる制御装置３００ｂとは、制御機器とコントローラーとの少なくとも一方であればよい。  When the user is identified, theposition specifying unit 163 specifies the position of the control device within a predetermined range from the user wearing theimage display unit 20b from theserver 400 via thewireless communication unit 132b. (Step S51). Next, thecamera 61 captures an outside scene (step S52). Next, theposition specifying unit 163 determines whether or not thecontrol device 300b whose position is specified within a predetermined range from the user has been detected (step S54). If theposition specifying unit 163 does not detect thecontrol device 300b (step S54: NO), theposition specifying unit 163 waits for the specification of the position of thecontrol device 300b within a predetermined range from the user (step S51). In the third embodiment, thecontrol device 300b that is subject to detection may be at least one of a control device and a controller.

ステップＳ５４の処理において、制御装置３００ｂが検出された場合には（ステップＳ５４：ＹＥＳ）、画像設定部１６５は、制御装置３００ｂの位置を示す画像を画像表示最大領域ＰＮに表示させる（ステップＳ５６）。なお、第３実施形態では、位置特定部１６３は、制御装置３００ｂの位置として特定した場所の撮像範囲に対して、サーバー４００の記憶部４２０に記憶された制御装置３００ｂの三次元モデルを基準としてパターンマッチング等を用いることで、使用者に対する制御装置３００ｂの位置の精度を向上させている。なお、他の実施形態では、位置特定部１６３は、画像認識によって制御装置３００ｂの位置を特定する必要はない。  When thecontrol device 300b is detected in the process of step S54 (step S54: YES), theimage setting unit 165 displays an image indicating the position of thecontrol device 300b in the image display maximum region PN (step S56). . In the third embodiment, theposition specifying unit 163 uses the three-dimensional model of thecontrol device 300b stored in thestorage unit 420 of theserver 400 as a reference for the imaging range of the place specified as the position of thecontrol device 300b. By using pattern matching or the like, the accuracy of the position of thecontrol device 300b with respect to the user is improved. In other embodiments, theposition specifying unit 163 does not need to specify the position of thecontrol device 300b by image recognition.

図１８は、制御装置３００ｂが検出された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図１８に示すように、検出された制御装置３００ｂとしての３つの組み合わせを表す対応マーカーＭＫ１，ＭＫ２，ＭＫ３と、鳥瞰図ＶＩと、が画像表示最大領域ＰＮに表示されている。図１８に示す例において、検出された３つの制御装置３００ｂは、下記の通りである。
（１）制御機器としてのテレビＴＶ１およびコントローラーとしてのリモコンＲＣ１
（２）制御機器としての照明ＬＴおよびコントローラーとしてのスイッチＳＷ
（３）制御機器としてのエアコンＡＣおよびコントローラーとしてのリモコンＲＣ２
３つの制御装置における制御機器とコントローラーとのそれぞれは、同じ形で同じ色の画像である対応マーカーＭＫ１，ＭＫ２，ＭＫ３で関連付けて示されている。例えば、制御機器ＭＣとしてのテレビＴＶ１と、コントローラー１０としてのリモコンＲＣ１との近くには、対応マーカーＭＫ１が表示画像として画像表示最大領域ＰＮに表示される。なお、第３実施形態における同じ形の対応マーカーとは、表示された対応マーカーのサイズが異なっていても、同じ形の対応マーカーという。FIG. 18 is an explanatory diagram illustrating an example of a visual field VR visually recognized by the user when thecontrol device 300b is detected. As shown in FIG. 18, corresponding markers MK1, MK2, and MK3 representing the three combinations as the detectedcontrol device 300b and the bird's eye view VI are displayed in the image display maximum region PN. In the example shown in FIG. 18, the detected threecontrol devices 300b are as follows.
(1) Television TV1 as a control device and remote controller RC1 as a controller
(2) Lighting LT as a control device and switch SW as a controller
(3) Air conditioner AC as control equipment and remote controller RC2 as controller
Each of the control devices and the controllers in the three control devices is shown in association with corresponding markers MK1, MK2, and MK3 that are images of the same shape and the same color. For example, the corresponding marker MK1 is displayed in the maximum image display area PN as a display image near the television TV1 as the control device MC and the remote controller RC1 as thecontroller 10. Note that the corresponding marker having the same shape in the third embodiment is referred to as the corresponding marker having the same shape even if the displayed corresponding marker size is different.

鳥瞰図ＶＩは、画像表示部２０ｂを装着している使用者を中心として、使用者の上から見たときの使用者と、カメラ６１の撮像範囲ｅｙと、撮像範囲には含まれない検出されたリモコンＲＣ２と、の位置関係の概略を示す縮小図である。位置特定部１６３によって位置が特定された制御装置３００ｂの一部がカメラ６１の撮像範囲に含まれていない場合に、画像設定部１６５は、使用者と撮像範囲に含まれていない制御装置３００ｂの一部との位置関係を示す鳥瞰図ＶＩを画像表示最大領域ＰＮに表示させる。鳥瞰図ＶＩに示すように、使用者の右方向にエアコンＡＣのリモコンＲＣ２が存在している。  The bird's-eye view VI is detected by the user wearing theimage display unit 20b as the center, the user when viewed from above the user, the imaging range ey of thecamera 61, and not included in the imaging range. It is a reduced view which shows the outline of the positional relationship with remote control RC2. When a part of thecontrol device 300b whose position is specified by theposition specifying unit 163 is not included in the imaging range of thecamera 61, theimage setting unit 165 includes the user and thecontrol device 300b that is not included in the imaging range. A bird's eye view VI showing the positional relationship with a part is displayed in the image display maximum region PN. As shown in the bird's eye view VI, there is a remote controller RC2 for the air conditioner AC in the right direction of the user.

画像表示最大領域ＰＮに制御装置３００ｂの位置を示す画像が表示されると（図１７のステップＳ５６）、位置特定部１６３は、判断対象としての外部センサー７０の位置の変化を検出の有無を判定する（ステップＳ５８）。位置特定部１６３は、外部センサー７０の位置の変化を検出しない場合には（ステップＳ５８：ＮＯ）、引き続き、判断対象としての外部センサー７０の位置の変化の検出を待機する（ステップＳ５８）。  When an image indicating the position of thecontrol device 300b is displayed in the maximum image display area PN (step S56 in FIG. 17), theposition specifying unit 163 determines whether or not a change in the position of theexternal sensor 70 as a determination target is detected. (Step S58). If theposition specifying unit 163 does not detect a change in the position of the external sensor 70 (step S58: NO), theposition specifying unit 163 continues to wait for detection of a change in the position of theexternal sensor 70 as a determination target (step S58).

ステップＳ５８の処理において、判断対象としての外部センサー７０の位置の変化が検出された場合には（ステップＳ５８：ＹＥＳ）、画像設定部１６５は、検出された外部センサー７０の位置の変化に対応した制御装置３００ｂの制御指示を実行する（ステップＳ６０）。外部センサー７０の位置の変化に対応した制御指示としては、制御装置３００ｂのそれぞれに対して異なる制御指示が設定されている場合がある。例えば、テレビＴＶ１のリモコンＲＣ１を選択する場合には、外部センサー７０から、対応付けられた対応マーカーの丸の形状を描く位置の変化が検出されると、画像設定部１６５は、画像ＩＭ４に対応したテレビＴＶ１のメニュー画像を画像表示最大領域ＰＮに表示させる。なお、他の実施形態では、カメラ６１の撮像画像の中に外部センサー７０が含まれる場合には、画像設定部１６５は、検出された外部センサー７０の加速度と撮像された外部センサー７０の変化とに基づいて、制御装置３００ｂに対する制御指示を実行してもよい。  When a change in the position of theexternal sensor 70 as a determination target is detected in the process of step S58 (step S58: YES), theimage setting unit 165 responds to the detected change in the position of theexternal sensor 70. The control instruction of thecontrol device 300b is executed (step S60). As a control instruction corresponding to a change in the position of theexternal sensor 70, a different control instruction may be set for each of thecontrol devices 300b. For example, when the remote controller RC1 of the TV TV1 is selected, theimage setting unit 165 corresponds to the image IM4 when theexternal sensor 70 detects a change in the position of drawing the corresponding corresponding marker circle shape. The menu image of theTV 1 thus displayed is displayed in the image display maximum area PN. Note that in another embodiment, when theexternal sensor 70 is included in the captured image of thecamera 61, theimage setting unit 165 includes the detected acceleration of theexternal sensor 70 and the change of the capturedexternal sensor 70. Based on the above, a control instruction to thecontrol device 300b may be executed.

検出された操作対象としての外部センサー７０の位置の変化に応じた制御指示が実行されると（図１７のステップＳ６０）、画像設定部１６５は、制御後の画像を画像表示最大領域ＰＮに表示させる（ステップＳ６２）。第３実施形態では、制御装置３００ｂの記憶部３２０ｂには、複数の手順によって実行されるシーケンス制御の手順が記憶されているため、制御後の画像が画像表示最大領域ＰＮに表示された後に、画像設定部１６５は、無線通信部１３２ｂを介して、シーケンス制御の次の手順として設定された対応シーケンスが制御装置３００ｂの記憶部３２０ｂにあるか否かを判定する（ステップＳ６４）。画像設定部１６５は、対応シーケンスがあると判定した場合には（ステップＳ６４：ＹＥＳ）、対応シーケンスに対応付けられた画像を画像表示最大領域ＰＮに表示させる（ステップＳ６６）。  When a control instruction according to the detected change in the position of theexternal sensor 70 as the operation target is executed (step S60 in FIG. 17), theimage setting unit 165 displays the controlled image in the image display maximum area PN. (Step S62). In the third embodiment, since the sequence control procedure executed by a plurality of procedures is stored in the storage unit 320b of thecontrol device 300b, after the controlled image is displayed in the image display maximum area PN, Theimage setting unit 165 determines whether or not the corresponding sequence set as the next procedure of sequence control is in the storage unit 320b of thecontrol device 300b via thewireless communication unit 132b (step S64). If it is determined that there is a corresponding sequence (step S64: YES), theimage setting unit 165 displays an image associated with the corresponding sequence in the image display maximum area PN (step S66).

図１９は、対応シーケンスに対応付けられた画像が画像表示最大領域ＰＮに表示された場合に使用者が視認する視野ＶＲを示す説明図である。図１９には、図１８に示すリモコンＲＣ１に対応付けられた画像ＩＭ４のメニューが選択され、その後、予約録画を行なう際のチャンネルを設定するための画面を表す画像ＩＭ９が画像表示最大領域ＰＮに表示された状態が示されている。リモコンＲＣ１が操作されて予約録画が行なわれる際には、録画するチャンネルの設定、予約録画が行なわれる日時、一週間ごとの定期的な予約録画を行なうか否かの順序に沿ったシーケンス制御が行なわれる。  FIG. 19 is an explanatory diagram showing the visual field VR visually recognized by the user when an image associated with the corresponding sequence is displayed in the image display maximum area PN. In FIG. 19, the menu of the image IM4 associated with the remote controller RC1 shown in FIG. 18 is selected, and then an image IM9 representing a screen for setting a channel for performing scheduled recording is displayed in the image display maximum area PN. The displayed state is shown. When reservation recording is performed by operating the remote controller RC1, sequence control is performed in accordance with the order of setting the recording channel, the date and time when reservation recording is performed, and whether or not to perform periodic reservation recording every week. Done.

画像ＩＭ９が画像表示最大領域ＰＮに表示されると、図１７のステップＳ５８の処理として、外部センサー７０が数字を描く動作を検出すると（ステップＳ５８：ＹＥＳ）、画像設定部１６５は、検出された動作に対応した数字をチャンネルとして設定し（ステップＳ６０）、画像ＩＭ９の「＊＊」の部分に設定された数字を表示させる（ステップＳ６２）。例えば、使用者が何もない空間で「８」の数字を描くように外部センサー７０を動かすと、録画するチャンネルとして「８」チャンネルが設定される。また、外部センサー７０が画像ＩＭ９に示してある矢印の方向の左に振られる変化を検出すると、画像設定部１６５は、検出に応じた制御として、シーケンス制御における録画するチャンネルの設定の１つ前の画像を画像表示最大領域ＰＮに表示させる。また、録画するチャンネルの数字が入力された状態、外部センサー７０が画像ＩＭ９に示してある矢印の方向の右に振られる変化を検出すると、画像設定部１６５は、録画するチャンネルを設定して、シーケンス制御における録画するチャンネルの設定の次の画像を画像表示最大領域ＰＮに表示させる。その後、同じようにステップＳ６４以降の処理が行なわれる。  When the image IM9 is displayed in the image display maximum area PN, when theexternal sensor 70 detects an operation of drawing a number as the process of step S58 in FIG. 17 (step S58: YES), theimage setting unit 165 detects The number corresponding to the operation is set as a channel (step S60), and the set number is displayed in the “**” portion of the image IM9 (step S62). For example, when theexternal sensor 70 is moved to draw a number “8” in a space where there is no user, “8” channel is set as a recording channel. Also, when theexternal sensor 70 detects a change that is swung to the left in the direction of the arrow shown in the image IM9, theimage setting unit 165 performs the control corresponding to the detection immediately before the setting of the channel to be recorded in the sequence control. Are displayed in the image display maximum area PN. When the number of channels to be recorded is input, and theexternal sensor 70 detects a change to the right in the direction of the arrow shown in the image IM9, theimage setting unit 165 sets the channel to be recorded, The next image of the channel setting for recording in the sequence control is displayed in the image display maximum area PN. Thereafter, the processing after step S64 is similarly performed.

以上説明したように、第３実施形態のＨＭＤ１００ｂでは、制御部１０ｂの無線通信部１３２ｂは、サーバー４００の記憶部４２０に記憶された制御装置３００ｂの位置情報を受信する。また、そのため、第３実施形態のＨＭＤ１００ｂでは、使用者が視認できない範囲の制御装置３００ｂの位置も認識でき、使用者の使い勝手が向上する。  As described above, in theHMD 100b of the third embodiment, thewireless communication unit 132b of thecontrol unit 10b receives the position information of thecontrol device 300b stored in thestorage unit 420 of theserver 400. For this reason, theHMD 100b of the third embodiment can also recognize the position of thecontrol device 300b in a range that cannot be visually recognized by the user, improving the usability of the user.

また、第３実施形態のＨＭＤ１００ｂでは、画像設定部１６５は、図１９に示すように、画像表示部２０ｂを装着した使用者と検出されたリモコンＲＣ２との位置関係を示す鳥瞰図ＶＩを画像表示最大領域ＰＮに表示させる。そのため、第３実施形態のＨＭＤ１００ｂでは、使用者が視認できない範囲の制御装置３００ｂの位置と使用者との位置関係を画像として視認でき、使用者の使い勝手がより向上する。  In theHMD 100b according to the third embodiment, theimage setting unit 165 displays a bird's eye view VI indicating the positional relationship between the user wearing theimage display unit 20b and the detected remote controller RC2, as shown in FIG. Display in the area PN. Therefore, in HMD100b of 3rd Embodiment, the positional relationship of thecontrol apparatus 300b of the range which a user cannot visually recognize and the user can be visually recognized as an image, and a user's usability improves more.

また、第３実施形態のＨＭＤ１００ｂでは、外部センサー７０は、外部センサー７０の位置の変化としての加速度を検出する。画像設定部１６５は、検出された外部センサー７０の位置の変化に基づいて、制御装置３００ｂへの制御指示を実行する。そのため、第３実施形態のＨＭＤ１００ｂでは、使用者が制御装置３００ｂへの制御指示を実行する場合に、特定の場所を操作したり、操作として対応付けられ動作を撮像される範囲で行なう必要がなく、使用者の利便性が向上する。  In theHMD 100b of the third embodiment, theexternal sensor 70 detects acceleration as a change in the position of theexternal sensor 70. Theimage setting unit 165 executes a control instruction to thecontrol device 300b based on the detected change in the position of theexternal sensor 70. Therefore, in theHMD 100b according to the third embodiment, when the user executes a control instruction to thecontrol device 300b, it is not necessary to operate a specific place or perform an operation associated with the operation as long as the image is captured. , User convenience is improved.

また、第３実施形態のＨＭＤ１００ｂでは、図１８に示すように、画像設定部１６５は、検出された制御機器の位置と検出された制御機器のコントローラーの位置とを、同じ形で同じ色の画像である対応マーカーによって対応付けて画像表示最大領域ＰＮに表示させる。そのため、第３実施形態のＨＭＤ１００ｂでは、検出された制御機器と検出された制御機器のコントローラーとの対応関係を視認させることができ、使用者の使い勝手が向上する。  In theHMD 100b according to the third embodiment, as illustrated in FIG. 18, theimage setting unit 165 uses the same shape and the same color for the detected position of the control device and the detected position of the controller of the control device. Are displayed in the image display maximum area PN in association with the corresponding marker. Therefore, in HMD100b of 3rd Embodiment, the correspondence of the detected control apparatus and the controller of the detected control apparatus can be visually recognized, and a user's usability improves.

また、第３実施形態のＨＭＤ１００ｂでは、識別部１６１がＨＭＤ１００ｂの使用者を特定し、画像設定部１６５は、特定された使用者の制御指示が可能な制御装置についての画像を画像表示最大領域ＰＮに表示させる。そのため、第３実施形態のＨＭＤ１００ｂでは、特定された使用者ごとに異なる画像が画像表示最大領域ＰＮに表示されるため、使用者のニーズにあった情報を提供できる。  Further, in theHMD 100b of the third embodiment, theidentification unit 161 identifies the user of theHMD 100b, and theimage setting unit 165 displays an image of the control device capable of giving the control instruction of the identified user as the image display maximum area PN. To display. Therefore, in theHMD 100b of the third embodiment, different images are displayed for each identified user in the image display maximum area PN, so that information that meets the needs of the user can be provided.

Ｄ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。D. Variations:
In addition, this invention is not limited to the said embodiment, It can implement in a various aspect in the range which does not deviate from the summary, For example, the following deformation | transformation is also possible.

Ｄ１．変形例１：
上記実施形態では、画像設定部１６５は、設定された操作対象および検出された判断対象に対応する画像やジェスチャー指示画像を画像表示最大領域ＰＮに表示したが、必ずしもこれらの画像を表示しなくてもよい。例えば、画像設定部１６５は、設定された操作対象に対応する画像を表示し、判断対象に対応する画像やジェスチャー指示画像を表示せずに、検出されたジェスチャーに対応する制御を実行してもよい。D1. Modification 1:
In the above-described embodiment, theimage setting unit 165 displays the image corresponding to the set operation target and the detected determination target and the gesture instruction image in the maximum image display area PN, but does not necessarily display these images. Also good. For example, theimage setting unit 165 displays an image corresponding to the set operation target, and executes control corresponding to the detected gesture without displaying the image corresponding to the determination target or the gesture instruction image. Good.

上記実施形態では、距離測定部１６６は、赤外線ＬＥＤ６４とＴＯＦセンサー６３とによって、画像表示部２０と仮対象との距離を測定したが、必ずしも当該距離を測定する必要もなく、また、他の方法によって距離を測定してもよい。例えば、画像設定部１６５は、画像表示部２０と操作対象との距離に関係なく、画像判定部１６８によって検出された仮対象の全てを選択可能な操作対象として設定してもよい。また、距離測定部１６６は、ステレオカメラによって撮像された操作対象の画像を比較することで、画像表示部２０と操作対象との距離を測定してもよい。  In the above embodiment, thedistance measuring unit 166 measures the distance between theimage display unit 20 and the temporary object using theinfrared LED 64 and theTOF sensor 63, but it is not always necessary to measure the distance, and other methods are also available. The distance may be measured by For example, theimage setting unit 165 may set all of the temporary targets detected by theimage determination unit 168 as selectable operation targets regardless of the distance between theimage display unit 20 and the operation target. Thedistance measuring unit 166 may measure the distance between theimage display unit 20 and the operation target by comparing the images of the operation target captured by the stereo camera.

上記実施形態では、画像判定部１６８は、判断対象として右手ＨＤ１の人差し指ＦＦ１を検出したが、検出する判断対象については、種々変形可能である。例えば、判断対象は、制御部１０であってもよいし、ボールペンや制御部１０のトラックパッド１４を操作するためのタッチペンであってもよい。また、判断対象は、人差し指ＦＦ１の延長線上を指示するための棒状の器具であってもよいし、レーザーポインターにおける特定の光の形状であってもよいし、発光部を有する特定の形状の器具（例えば、懐中電灯）などであってもよい。発光状態のペンライトが判断対象として検出され、発光状態ではないペンライトが判断対象として検出されないように、発光の有無によって判断対象の検出の有無が判定されてもよい。発光の有無によって判断対象として検出されるか否かが決定される場合、判断対象としてより精度の高い検出が行なわれる。判断対象は、操作部１３５が操作されることにより、使用者に任意に設定されてもよい。また、判断対象は、使用者の腕に装着される腕時計型のウェアラブルデバイスや使用者の指に装着されるリング型ウェアラブルデバイスなどであってもよい。  In the above embodiment, theimage determination unit 168 detects the index finger FF1 of the right hand HD1 as a determination target. However, the determination target to be detected can be variously modified. For example, the determination target may be thecontrol unit 10 or a ballpoint pen or a touch pen for operating thetrack pad 14 of thecontrol unit 10. Further, the determination target may be a rod-shaped instrument for instructing on the extension line of the index finger FF1, a specific light shape in the laser pointer, or a specific-shaped instrument having a light emitting unit. (For example, a flashlight). The presence / absence of detection of the determination target may be determined based on the presence / absence of light emission so that the penlight in the light emission state is detected as the determination target and the penlight that is not in the light emission state is not detected as the determination target. When it is determined whether or not to be detected as a determination target depending on the presence or absence of light emission, more accurate detection is performed as the determination target. The determination target may be arbitrarily set by the user by operating theoperation unit 135. Further, the determination target may be a wristwatch-type wearable device worn on the user's arm or a ring-type wearable device worn on the user's finger.

また、検出される判断対象は１つに限られず、２つ以上であってもよい。例えば、判断対象として、２つの指が検出されて、２つの指の距離や形状がジェスチャーの代わりに認識されてもよい。例えば、判断対象として検出された２つの指の動きによって、表示画像の拡大または縮小の制御を実行するピンチインやピンチアウトに相当するジェスチャーが検出されてもよい。同じような２つの指による操作として、ボリュームのつまみを判断対象として２つの指で摘んで時計回りなどに回すことで、出力されるボリュームが変化してもよい。また、例えば、キーボードを操作する場合に、シフトキーを押しながら特定の文字を選択すると大文字のアルファベットが入力されるような操作の代替手段として、検出された２つの指の位置関係において、一方の指の位置に対するもう一方の指の相対的な動きを検出することで、種々の入力が検出されてもよい。  Further, the number of determination targets to be detected is not limited to one, and may be two or more. For example, two fingers may be detected as a determination target, and the distance and shape of the two fingers may be recognized instead of the gesture. For example, a gesture corresponding to a pinch-in or a pinch-out for controlling enlargement or reduction of the display image may be detected based on the movement of two fingers detected as the determination target. As an operation with two similar fingers, the output volume may be changed by picking the knob of the volume with two fingers as a determination target and turning it clockwise. In addition, for example, when operating a keyboard, as an alternative to an operation in which a capital letter is input when a specific character is selected while pressing the shift key, one finger in the positional relationship between two detected fingers is used. Various inputs may be detected by detecting the relative movement of the other finger with respect to the position of.

上記第１実施形態では、画像設定部１６５は、ジェスチャーとジェスチャー後に検出された判断音声との組み合わせによってメーターＭＴ１の確認行為を判定したが、必ずしも判断音声が検出される必要はなく、ジェスチャーのみによってメーターＭＴ１の確認行為を判定してもよい。また、画像設定部１６５は、ジェスチャー後の判断音声を検出することで、メーターＭＴ１の確認行為を判定したが、判断音声を検出するタイミングはジェスチャー後に限られず、ジェスチャー前であってもよいし、ジェスチャーを検出している間に検出される判断音声によって確認行為を判定してもよい。  In the first embodiment, theimage setting unit 165 determines the confirmation action of the meter MT1 by a combination of the gesture and the determination sound detected after the gesture. However, the determination sound is not necessarily detected, and only the gesture is detected. The confirmation action of the meter MT1 may be determined. In addition, theimage setting unit 165 determines the confirmation action of the meter MT1 by detecting the determination sound after the gesture, but the timing for detecting the determination sound is not limited to after the gesture, and may be before the gesture. The confirmation action may be determined by a determination sound detected while detecting the gesture.

請求項における対応物対応虚像とは、画像表示最大領域ＰＮに表示された選択可能な画像や次の処理に進むために必要なジェスチャーを示唆する画像など、何らかの制御や処理が行なわれる前に表示される画像を広く意味する。また、請求項における特定確認画像は、対応物対応虚像に基づく何らかの処理や制御が行なわれた後の画像を広く意味する。特定確認画像は、実行された処理や制御を報知する画像であったり、何らかの処理の受付を確認したことを示す画像などが含まれる。そのため、同一の画像が対応物対応虚像であると共に特定確認虚像である場合もある。逆に、同一の画像であっても、表示される状況に応じて、対応物対応虚像に相当する場合や、対応物対応虚像に相当しない場合がある。  The counterpart corresponding virtual image in the claims is displayed before any control or processing is performed, such as a selectable image displayed in the maximum image display area PN or an image suggesting a gesture necessary for proceeding to the next processing. Widely means the image to be. Further, the specific confirmation image in the claims broadly means an image after some processing or control based on the counterpart corresponding virtual image is performed. The specific confirmation image includes an image notifying the executed processing and control, an image indicating that the reception of some processing has been confirmed, and the like. For this reason, the same image may be a specific object corresponding virtual image as well as a corresponding object corresponding virtual image. Conversely, even the same image may correspond to a counterpart corresponding virtual image or may not correspond to a counterpart corresponding virtual image depending on the displayed situation.

Ｄ２．変形例２：
上記第２実施形態では、スイッチＳＷがオフにされる制御について説明したが、この変形例では、リモコンＲＣ１に対応する画像ＩＭ６に表示されたアイコンが選択された場合の制御について説明する。図２０は、画像ＩＭ６のアイコンが選択された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図２０に示すように、右手ＨＤ１の人差し指ＦＦ１の位置は、画像ＩＭ６の「ＯＮ／ＯＦＦ」のアイコンに重なっている。この場合に、制御処理部３１４は、テレビＴＶ１の電源のオンとオフとを切り替える。図２０に示す例では、人差し指ＦＦ１の位置がアイコンに重なる前には、テレビＴＶ１の電源がオフであったため、制御処理部３１４は、撮像画像において、人差し指ＦＦ１の位置が「ＯＮ／ＯＦＦ」のアイコンに重なると、テレビＴＶ１の電源をオンにする。このように、この変形例では、使用者が行なうべきジェスチャー画像は表示されないが、画像ＩＭ６が表示された後に人差し指ＦＦ１の位置が変化することで、画像設定部１６５は、テレビＴＶ１を操作する制御信号を制御装置３００に送信している。D2. Modification 2:
In the second embodiment, the control for turning off the switch SW has been described. In this modification, the control when the icon displayed on the image IM6 corresponding to the remote controller RC1 is selected will be described. FIG. 20 is an explanatory diagram illustrating an example of the visual field VR visually recognized by the user when the icon of the image IM6 is selected. As shown in FIG. 20, the position of the index finger FF1 of the right hand HD1 overlaps the “ON / OFF” icon of the image IM6. In this case, thecontrol processing unit 314 switches the power of theTV TV 1 on and off. In the example shown in FIG. 20, since the power of the TV TV1 was turned off before the position of the index finger FF1 overlapped with the icon, thecontrol processing unit 314 indicates that the position of the index finger FF1 is “ON / OFF” in the captured image. When it overlaps with the icon, theTV TV 1 is turned on. As described above, in this modified example, the gesture image to be performed by the user is not displayed, but theimage setting unit 165 performs control for operating thetelevision TV 1 by changing the position of the index finger FF1 after the image IM6 is displayed. A signal is transmitted to thecontrol device 300.

上記実施形態では、画像判定部１６８がカメラ６１によって撮像された撮像画像の中に操作対象や判断対象の画像が含まれているか否かを検出したが、操作対象や判断対象を検出する方法としては、種々変形可能である。例えば、赤外線センサーや超音波センサーが操作対象や判断対象を検出してもよい。また、レーダー波を検出するレーダー探知機が操作対象や判断対象を検出してもよい。  In the above embodiment, theimage determination unit 168 detects whether or not the captured image captured by thecamera 61 includes an image of the operation target or the determination target. However, as a method of detecting the operation target or the determination target, Can be variously modified. For example, an infrared sensor or an ultrasonic sensor may detect an operation target or a determination target. Further, a radar detector that detects a radar wave may detect an operation target or a determination target.

Ｄ３．変形例３：
上記第３実施形態では、ＨＭＤ１００ｂの無線通信部１３２ｂがサーバー４００の記憶部４２０から制御装置３００ｂとしての制御機器および当該制御機器のコントローラーの位置情報を取得したが、取得される位置情報は、制御機器またはコントローラーの位置情報のみであってもよい。例えば、制御機器とコントローラーとが一体化している場合には、無線通信部１３２ｂは、制御機器またはコントローラーの一方の位置情報を取得すればよい。また、制御機器とコントローラーとの一方が位置情報は、無線通信部１３２ｂを介して取得され、もう一方の位置情報は、第１実施形態および第２実施形態のように、画像認識によって取得されてもよい。D3. Modification 3:
In the third embodiment, thewireless communication unit 132b of theHMD 100b acquires the position information of the control device as thecontrol device 300b and the controller of the control device from thestorage unit 420 of theserver 400. However, the acquired position information Only the position information of the device or the controller may be used. For example, when the control device and the controller are integrated, thewireless communication unit 132b may acquire position information of one of the control device and the controller. In addition, the position information of one of the control device and the controller is acquired via thewireless communication unit 132b, and the other position information is acquired by image recognition as in the first embodiment and the second embodiment. Also good.

上記第３実施形態では、図１８および図１９に示すように、画像設定部１６５は、検出された制御機器と検出された制御機器のコントローラーとに同一の対応マーカーの画像を画像表示最大領域ＰＮに表示させたが、表示される対応マーカーについては種々変形可能である。例えば、制御機器とコントローラーとで、対応マーカーの形状が同じで、異なる色の画像として画像表示最大領域ＰＮに表示されてもよい。また、「制御機器」や「コントローラー」といった文字画像が画像表示最大領域ＰＮに表示されてもよい。また、制御機器とコントローラーとの対応関係を表す画像として双方を指す矢印の画像が画像表示最大領域ＰＮに表示されてもよい。また、第１実施形態および第２実施形態のように、制御機器やコントローラーまでの距離が測定されて、画像設定部１６５は、測定された距離に応じて対応マーカーの画像の大きさを変化させて画像表示最大領域ＰＮに表示させてもよい。  In the third embodiment, as shown in FIGS. 18 and 19, theimage setting unit 165 displays the image of the same corresponding marker on the detected control device and the controller of the detected control device in the image display maximum region PN. However, the displayed corresponding marker can be variously modified. For example, the shape of the corresponding marker may be the same between the control device and the controller, and may be displayed in the image display maximum region PN as images of different colors. Further, a character image such as “control device” or “controller” may be displayed in the maximum image display area PN. Moreover, an image of an arrow pointing to both may be displayed in the image display maximum area PN as an image representing the correspondence relationship between the control device and the controller. Further, as in the first and second embodiments, the distance to the control device and the controller is measured, and theimage setting unit 165 changes the size of the image of the corresponding marker according to the measured distance. May be displayed in the maximum image display area PN.

上記第３実施形態では、外部センサー７０は、外部センサー７０の位置の変化として加速度を検出したが、位置の変化として検出する物性値については、種々変形可能である。例えば、外部センサー７０は、角速度を検出するジャイロセンサーであってもよい。また外部センサー７０は、棒状の形状ではなくてもよく、使用者の指に装着する指輪や使用者の腕に装着する腕時計のような形状であってもよい。また、外部センサー７０は、変形可能であり、外部センサー７０の位置の変化として外部センサー７０の変形量を測定してもよい。  In the third embodiment, theexternal sensor 70 detects acceleration as a change in position of theexternal sensor 70, but the physical property value detected as a change in position can be variously modified. For example, theexternal sensor 70 may be a gyro sensor that detects angular velocity. Theexternal sensor 70 may not have a rod-like shape, but may have a shape like a ring attached to the user's finger or a wrist watch attached to the user's arm. Further, theexternal sensor 70 can be deformed, and the deformation amount of theexternal sensor 70 may be measured as a change in the position of theexternal sensor 70.

上記第３実施形態では、カメラ６１が外景を撮像して、位置特定部１６３は、撮像画像に含まれる制御装置３００ｂの画像を用いて制御装置３００ｂの位置情報を修正したが、必ずしも、外景が撮像される必要はない。制御装置３００ｂの位置は、無線通信部１３２ｂを介して取得された位置情報のみに基づいて特定されてもよい。  In the third embodiment, thecamera 61 images the outside scene, and theposition specifying unit 163 corrects the position information of thecontrol apparatus 300b using the image of thecontrol apparatus 300b included in the captured image. There is no need to be imaged. The position of thecontrol device 300b may be specified based only on position information acquired via thewireless communication unit 132b.

図２１は、アイビーコン（iBeacon：登録商標）によって制御機器の位置情報が取得された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図２１には、制御機器であるテレビＴＶ１に備え付けられている情報発信部ＩＢから発信された光情報を、ＨＭＤがアイビーコンの仕組みを用いて取得した場合に、画像表示最大領域ＰＮに表示される画像を含む外景ＳＣを視認する使用者の視野ＶＲが示されている。この変形例では、位置特定部１６３は、サーバー４００ではなく、テレビＴＶ１の情報発信部ＩＢから、テレビＴＶ１の位置情報を取得する。このように、位置特定部１６３は、種々の方法を用いて、他の装置から制御装置３００ｂの位置情報を取得できる。通信の手段としては、例えば、電力線搬送通信（Power Line Communication）などが用いられてもよい。  FIG. 21 is an explanatory diagram illustrating an example of the visual field VR visually recognized by the user when the position information of the control device is acquired by an eye beacon (iBeacon: registered trademark). In FIG. 21, when the HMD acquires the optical information transmitted from the information transmitting unit IB provided in theTV TV 1 as the control device using the eye beacon mechanism, it is displayed in the image display maximum region PN. The visual field VR of the user who visually recognizes the outside scene SC including the image to be displayed is shown. In this modification, theposition specifying unit 163 acquires the position information of thetelevision TV 1 from the information transmission unit IB of thetelevision TV 1 instead of theserver 400. As described above, theposition specifying unit 163 can acquire the position information of thecontrol apparatus 300b from another apparatus using various methods. As the communication means, for example, power line communication or the like may be used.

図２２は、実行された制御指示に従って画像表示最大領域ＰＮに画像ＩＭ１０が表示されたときに使用者が視認する視野ＶＲを示す説明図である。この変形例では、画像設定部１６５は、識別部１６１によって特定された使用者ごとに、検出された制御機器ＭＣに対応付けられた画像を画像表示最大領域ＰＮに表示させる。図２２に示すように、制御機器ＭＣと制御機器ＭＣに関連する周辺装置との関係をブロック図で示した画像ＩＭ１０が画像表示最大領域ＰＮに表示されている。このように、実行された制御指示に従って画像表示最大領域ＰＮに表示される画像については、種々変形可能である。  FIG. 22 is an explanatory diagram showing the visual field VR visually recognized by the user when the image IM10 is displayed in the maximum image display area PN according to the executed control instruction. In this modification, theimage setting unit 165 displays an image associated with the detected control device MC in the image display maximum region PN for each user specified by theidentification unit 161. As shown in FIG. 22, an image IM10 that shows the relationship between the control device MC and peripheral devices related to the control device MC in a block diagram is displayed in the image display maximum region PN. As described above, the image displayed in the maximum image display area PN in accordance with the executed control instruction can be variously modified.

上記第３実施形態では、外部センサー７０の位置の変化に基づいて制御指示が実行されたが、制御指示を実行するために必要な操作は、種々変形可能である。例えば、画像設定部１６５は、マイク６９を介して取得した音声と、検出された外部センサー７０の位置の変化と、の組み合わせに基づいて、実行する制御指示を決定してもよい。この変形例のＨＭＤでは、音声と外部センサー７０の位置の変化との複数の要素に基づいて、制御指示が決定されるため、使用者がより多くの操作を入力でき、使用者の使い勝手が向上する。  In the third embodiment, the control instruction is executed based on the change in the position of theexternal sensor 70, but the operation necessary for executing the control instruction can be variously modified. For example, theimage setting unit 165 may determine a control instruction to be executed based on a combination of a sound acquired via themicrophone 69 and a detected change in the position of theexternal sensor 70. In the HMD of this modified example, since the control instruction is determined based on a plurality of factors including the voice and the change in the position of theexternal sensor 70, the user can input more operations, and the convenience of the user is improved. To do.

上記実施形態では、画像表示部１６５は、実行される制御指示について関連する画像を画像表示最大領域ＰＮに表示させたが、必ずしも制御指示に関連する内容を画像として画像表示最大領域ＰＮに表示させる必要はない。例えば、画像表示部１６５は、検出した操作対象や判断対象の位置を示す画像を画像表示最大領域ＰＮに表示し、実行される制御指示に関連する画像を画像表示最大領域ＰＮに表示しなくてもよい。  In the above embodiment, theimage display unit 165 displays the image related to the control instruction to be executed in the image display maximum area PN. However, theimage display unit 165 does not necessarily display the content related to the control instruction as an image in the image display maximum area PN. There is no need. For example, theimage display unit 165 displays an image indicating the position of the detected operation target or determination target in the image display maximum region PN, and does not display an image related to the control instruction to be executed in the image display maximum region PN. Also good.

なお、請求項における対象物を選択するとは、複数の選択可能な対象物から１つを選択することを含み、また、検出された１つの選択可能な対象物に対して、選択するまたは選択しないの２つの選択肢から１つを選択することも含む。  Note that selecting an object in the claims includes selecting one of a plurality of selectable objects, and selecting or not selecting one detected selectable object. Including selecting one of the two options.

Ｄ４．変形例４：
上記実施形態では、制御部１０に操作部１３５が形成されたが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者の操作性が向上する。また、操作部の動きを検出する１０軸センサーを操作部１３５に形成して、検出した動きに基づいて各種操作が行なわれることで、使用者は、感覚的にＨＭＤ１００の操作ができる。D4. Modification 4:
In the above embodiment, theoperation unit 135 is formed in thecontrol unit 10, but the mode of theoperation unit 135 can be variously modified. For example, a mode in which a user interface that is theoperation unit 135 is provided separately from thecontrol unit 10 may be used. In this case, theoperation unit 135 is separate from thecontrol unit 10 in which thepower supply 130 and the like are formed. Therefore, theoperation unit 135 can be reduced in size and user operability is improved. In addition, a 10-axis sensor that detects the movement of the operation unit is formed in theoperation unit 135, and various operations are performed based on the detected movement, so that the user can operate theHMD 100 sensuously.

例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。レーザー網膜投影型の場合、画像表示最大領域ＰＮは、使用者の眼に認識される画像領域として定義できる。  For example, the image light generation unit may include an organic EL (Organic Electro-Luminescence) display and an organic EL control unit. Further, for example, the image generation unit may use LCOS (Liquid crystal on silicon, LCoS is a registered trademark), a digital micromirror device, or the like instead of the LCD. Further, for example, the present invention can be applied to a laser retinal projection type head mounted display. In the case of the laser retina projection type, the image display maximum area PN can be defined as an image area recognized by the user's eyes.

また、例えば、ＨＭＤ１００は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ＨＭＤ１００は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。  Further, for example, theHMD 100 may be a head mounted display in which the optical image display unit covers only a part of the user's eyes, in other words, the optical image display unit does not completely cover the user's eyes. TheHMD 100 may be a so-called monocular type head mounted display.

図２３は、変形例におけるＨＭＤ１００の外観構成を示す説明図である。図２３（Ａ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｂが、右光学像表示部２６に代えて右光学像表示部２６ｂを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｂを備える点である。右光学像表示部２６ｂは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｂの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ｂは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｂの装着時における使用者の左眼の斜め上に配置されている。図２３（Ｂ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｃが、右光学像表示部２６に代えて右光学像表示部２６ｃを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｃを備える点である。右光学像表示部２６ｃは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｃは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のＨＭＤ１００として実現できる。  FIG. 23 is an explanatory diagram showing an external configuration of theHMD 100 in a modified example. In the example of FIG. 23A, the difference from theHMD 100 shown in FIG. 1 is that theimage display unit 20b includes a right opticalimage display unit 26b instead of the right opticalimage display unit 26, and the left optical image. Instead of thedisplay unit 28, a left opticalimage display unit 28b is provided. The right opticalimage display unit 26b is formed smaller than the optical member of the above-described embodiment, and is disposed obliquely above the right eye of the user when theHMD 100b is worn. Similarly, the left opticalimage display unit 28b is formed smaller than the optical member of the above-described embodiment, and is disposed obliquely above the left eye of the user when theHMD 100b is worn. In the example of FIG. 23B, the difference from theHMD 100 shown in FIG. 1 is that theimage display unit 20c includes a right opticalimage display unit 26c instead of the right opticalimage display unit 26, and the left optical image. Instead of thedisplay unit 28, a left opticalimage display unit 28c is provided. The right opticalimage display unit 26c is formed smaller than the optical member of the above-described embodiment, and is disposed obliquely below the right eye of the user when the head mounted display is mounted. The left opticalimage display unit 28c is formed smaller than the optical member of the above-described embodiment, and is disposed obliquely below the left eye of the user when the head mounted display is mounted. Thus, it is sufficient that the optical image display unit is disposed in the vicinity of the user's eyes. The size of the optical member forming the optical image display unit is also arbitrary, and the optical image display unit covers only a part of the user's eye, in other words, the optical image display unit completely covers the user's eye. It can be realized as anHMD 100 in an uncovered mode.

また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。  The earphone may be an ear-hook type or a headband type, or may be omitted. Further, for example, it may be configured as a head mounted display mounted on a vehicle such as an automobile or an airplane. Further, for example, it may be configured as a head-mounted display built in a body protective device such as a helmet.

上記実施形態におけるＨＭＤ１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６やトラックパッド１４の一方を省略したり、方向キー１６やトラックパッド１４に加えてまたは方向キー１６やトラックパッド１４に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。  The configuration of theHMD 100 in the above embodiment is merely an example and can be variously modified. For example, one of the direction key 16 and thetrack pad 14 provided in thecontrol unit 10 may be omitted, in addition to the direction key 16 and thetrack pad 14, or in place of the direction key 16 and thetrack pad 14, etc. An operation interface may be provided. Moreover, thecontrol part 10 is a structure which can connect input devices, such as a keyboard and a mouse | mouth, and is good also as what receives an input from a keyboard or a mouse | mouth.

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部が採用されてもよい。また、イヤホン３２，３４は適宜省略可能である。  In addition, instead of theimage display unit 20 worn like glasses, an image display unit of another method such as an image display unit worn like a hat may be employed as the image display unit. Theearphones 32 and 34 can be omitted as appropriate.

また、上記実施形態において、ＨＭＤ１００は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。  In the above-described embodiment, theHMD 100 may guide the image light representing the same image to the left and right eyes of the user to make the user visually recognize the two-dimensional image, or may display different images on the left and right eyes of the user. The image light to be represented may be guided to make the user visually recognize the three-dimensional image.

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。例えば、上記実施形態の制御部１０が備える構成のいくつかは、本発明の機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit）を用いて構成されてもよい。  In the above embodiment, a part of the configuration realized by hardware may be replaced by software, and conversely, a part of the configuration realized by software may be replaced by hardware. Good. For example, in the above-described embodiment, theimage processing unit 160 and thesound processing unit 170 are realized by theCPU 140 reading and executing a computer program, but these functional units may be realized by a hardware circuit. Good. For example, some of the configurations included in thecontrol unit 10 of the above embodiment may be configured using an ASIC (Application Specific Integrated Circuit) designed to realize the functions of the present invention.

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。  In addition, when part or all of the functions of the present invention are realized by software, the software (computer program) can be provided in a form stored in a computer-readable recording medium. In the present invention, the “computer-readable recording medium” is not limited to a portable recording medium such as a flexible disk or a CD-ROM, but an internal storage device in a computer such as various RAMs and ROMs, a hard disk, etc. It also includes an external storage device fixed to the computer.

また、上記実施形態では、図１および図２に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。  Moreover, in the said embodiment, as shown in FIG. 1 and FIG. 2, thecontrol part 10 and theimage display part 20 are formed as a separate structure, However, about the structure of thecontrol part 10 and theimage display part 20, about. However, the present invention is not limited to this, and various modifications are possible. For example, all of the components formed in thecontrol unit 10 may be formed inside theimage display unit 20 or a part thereof may be formed. In addition, thepower source 130 in the above embodiment may be formed independently and replaceable, or the configuration formed in thecontrol unit 10 may be overlapped and formed in theimage display unit 20. For example, theCPU 140 shown in FIG. 2 may be formed in both thecontrol unit 10 and theimage display unit 20, or a function performed by theCPU 140 formed in thecontrol unit 10 and the CPU formed in theimage display unit 20. May be configured separately.

また、制御部１０と画像表示部２０とが一体化して、使用者の衣服に取り付けられるウェアラブルコンピューターの態様であってもよい。  Moreover, the aspect of the wearable computer with which thecontrol part 10 and theimage display part 20 are integrated and attached to a user's clothes may be sufficient.

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。  The present invention is not limited to the above-described embodiments and modifications, and can be realized with various configurations without departing from the spirit of the present invention. For example, the technical features in the embodiments and the modifications corresponding to the technical features in each form described in the summary section of the invention are to solve some or all of the above-described problems, or In order to achieve part or all of the effects, replacement or combination can be performed as appropriate. Further, if the technical feature is not described as essential in the present specification, it can be deleted as appropriate.

１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６１…カメラ（撮像部）
６３…ＴＯＦセンサー
６４…赤外線ＬＥＤ
６９…マイク（音声取得部）
７０…外部センサー（特定のオブジェクト）
１００…ＨＭＤ（頭部装着型表示装置）
１２０…記憶部
１３０…電源
１３２…無線通信部（第２の通信部）
１３５…操作部
１４０…ＣＰＵ
１５０…ＯＳ
１６０…画像処理部
１６１…識別部（識別部）
１６３…位置特定部
１６５…画像設定部（制御部）
１６６…距離測定部（距離特定部）
１６８…画像判定部（画像検出部）
１７０…音声処理部（制御部）
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
３００…制御装置（制御実行部）
３１０…ＣＰＵ
３１２…情報処理部
３１４…制御処理部
３２０…記憶部（対象物特定部）
３３０…無線通信部（第１の通信部）
３４０…被制御部
４００…サーバー
４２０…記憶部
５００…制御システム
ＯＡ…外部機器
ＭＣ…制御機器
ＳＣ…外景
ＲＥ…右眼
ＬＥ…左眼
ＥＬ…端部
ＩＬ…照明光
ＰＬ…画像光
ＬＭ…ランプ群
ＰＮ…画像表示最大領域
ＡＰ…先端部
ＥＲ…端部
ＶＲ…視野
ＢＴ…ボタン群
ＳＷ…スイッチ（対象物）
ＲＣ１，ＲＣ２…リモコン（対象物）
ＨＤ１…右手
ＦＦ１…人差し指（特定のオブジェクト）
ＩＭ１，ＩＭ２，ＩＭ３，ＩＭ４，ＩＭ５，ＩＭ６，ＩＭ７，ＩＭ８，ＩＭ９，ＩＭ１０…画像
ＣＳ１，ＣＳ２…矢印画像（対象物対応虚像）
ＭＴ１，ＭＴ２…メーター（対象物）
ＴＶ１…テレビ
ＴＸ１，ＴＸ２，…テキスト画像（対象物対応虚像）
ＴＸ３，ＴＸ４…テキスト画像（特定確認画像）
ＡＣ…エアコン
ＩＢ…情報発信部
ＭＫ１，ＭＫ２，ＭＫ３…対応マーカー
ＶＩ…鳥瞰図
ｅｙ…撮像範囲DESCRIPTION OFSYMBOLS 10 ...Control part 11 ... Decision key 12 ...Illumination part 13 ...Display switching key 14 ...Trackpad 15 ... Luminance switching key 16 ... Direction key 17 ...Menu key 18 ...Power switch 20 ...Image display part 21 ... Right holdingpart 22 ... Rightdisplay drive unit 23 ... Left holdingunit 24 ... Leftdisplay drive unit 26 ... Right opticalimage display unit 28 ... Left opticalimage display unit 30 ...Earphone plug 32 ...Right earphone 34 ...Left earphone 40 ...Connection unit 42 ...Right cord 44 ...Left code 46 ... Connectingmember 48 ...Body code 51,52 ... Transmittingpart 53,54 ... Receivingpart 61 ... Camera (imaging part)
63 ...TOF sensor 64 ... Infrared LED
69 ... Microphone (voice acquisition unit)
70 ... External sensor (specific object)
100 ... HMD (head-mounted display device)
120:Storage unit 130 ...Power source 132 ... Wireless communication unit (second communication unit)
135:Operation unit 140 ... CPU
150 ... OS
160: Image processing unit 161: Identification unit (identification unit)
163 ...Position specifying unit 165 ... Image setting unit (control unit)
166 ... Distance measuring unit (distance specifying unit)
168 ... Image determination unit (image detection unit)
170 ... voice processing unit (control unit)
180 ... interface 190 ...display control unit 201 ... rightbacklight control unit 202 ... leftbacklight control unit 211 ... rightLCD control unit 212 ... leftLCD control unit 221 ...right backlight 222 ... leftbacklight 241 ... right LCD
242 ... Left LCD
251 ... Right projectionoptical system 252 ... Left projectionoptical system 261 ... Rightlight guide plate 262 ... Leftlight guide plate 300 ... Control device (control execution unit)
310 ... CPU
312 ...Information processing unit 314 ...Control processing unit 320 ... Storage unit (object specifying unit)
330 ... wireless communication unit (first communication unit)
340 ...Controlled unit 400 ...Server 420 ...Storage unit 500 ... Control system OA ... External device MC ... Control device SC ... Outside view RE ... Right eye LE ... Left eye EL ... End IL ... Illumination light PL ... Image light LM ... Lamp Group PN ... Maximum image display area AP ... Tip part ER ... End part VR ... Field of view BT ... Button group SW ... Switch (object)
RC1, RC2 ... Remote control (object)
HD1 ... right hand FF1 ... index finger (specific object)
IM1, IM2, IM3, IM4, IM5, IM6, IM7, IM8, IM9, IM10 ... image CS1, CS2 ... arrow image (virtual image corresponding to the object)
MT1, MT2 ... Meter (object)
TV1 ... TV TX1, TX2, ... Text image (virtual image corresponding to the object)
TX3, TX4 ... Text image (specific confirmation image)
AC ... Air conditioner IB ... Information transmitter MK1, MK2, MK3 ... Corresponding marker VI ... Bird's eye view ey ... Imaging range

Claims (18)

Translated fromJapanese

透過型の頭部装着型表示装置であって、
虚像を表示し、外景を透過可能な画像表示部と、
前記画像表示部から所定の距離の範囲にある選択可能な対象物と、前記外景に含まれる特定のオブジェクトの位置と、を取得する対象取得部と、
取得された前記対象物に対応付けられている対象物対応虚像を、前記画像表示部を用いて前記虚像として表示し、取得された前記特定のオブジェクトの位置に基づいて前記特定のオブジェクトの位置の変化を特定し、特定した前記特定のオブジェクトの位置の変化と取得された前記対象物の位置との関係に基づいて前記対象物を選択し、選択した前記対象物に対応付けられている特定確認画像を、前記画像表示部を用いて前記虚像として表示する制御部と、を備える、頭部装着型表示装置。A transmissive head-mounted display device,
An image display unit that displays a virtual image and transmits the outside scene;
A target acquisition unit that acquires a selectable target within a predetermined distance from the image display unit, and a position of a specific object included in the outside scene;
An object corresponding virtual image associated with the acquired object is displayed as the virtual image using the image display unit, and the position of the specific object is determined based on the acquired position of the specific object. The change is identified, the object is selected based on the relationship between the position change of the identified specific object and the acquired position of the object, and the identification confirmation associated with the selected object A head-mounted display device comprising: a control unit that displays an image as the virtual image using the image display unit. 請求項１に記載の頭部装着型表示装置であって、
前記対象取得部は、前記外景を撮像する撮像部と、撮像された前記外景に含まれる前記特定のオブジェクトの位置と前記対象物とを検出して取得する画像検出部と、を有し、
前記制御部は、選択した前記対象物の制御を決定し、決定した前記対象物の制御を実行する、頭部装着型表示装置。The head-mounted display device according to claim 1,
The target acquisition unit includes an imaging unit that images the outside scene, and an image detection unit that detects and acquires the position of the specific object and the target object included in the captured outside scene,
The head-mounted display device, wherein the control unit determines control of the selected object and executes control of the determined object. 請求項２に記載の頭部装着型表示装置であって、
前記制御部は、取得された前記特定のオブジェクトの位置と取得された前記対象物との組み合わせに予め対応付けられている前記対象物対応虚像を、前記画像表示部を用いて前記虚像として表示する、頭部装着型表示装置。The head-mounted display device according to claim 2,
The control unit displays the object-corresponding virtual image associated in advance with a combination of the acquired position of the specific object and the acquired object as the virtual image using the image display unit. Head mounted display device. 請求項３に記載の頭部装着型表示装置であって、
前記制御部は、取得された前記特定のオブジェクトの位置と取得された前記対象物との組み合わせに予め対応付けられている前記対象物対応虚像として、前記対象物の制御を実行するために必要な前記特定のオブジェクトの位置の変化を示す前記虚像を、前記画像表示部を用いて表示する、頭部装着型表示装置。The head-mounted display device according to claim 3,
The control unit is necessary to execute control of the object as the object-corresponding virtual image previously associated with a combination of the acquired position of the specific object and the acquired object. A head-mounted display device that displays the virtual image indicating a change in position of the specific object using the image display unit. 請求項２から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
前記制御部は、取得された前記対象物に予め対応付けられている前記対象物対応虚像として、実行する前記対象物の制御の内容を示す前記虚像を、前記画像表示部を用いて表示する、頭部装着型表示装置。The head-mounted display device according to any one of claims 2 to 4,
The control unit displays, using the image display unit, the virtual image indicating the content of control of the target to be executed as the target corresponding virtual image previously associated with the acquired target. Head-mounted display device. 請求項２から請求項５までのいずれか一項に記載の頭部装着型表示装置であって、
前記制御部は、撮像された前記外景において、前記特定のオブジェクトの変化後の位置と前記対象物とが重なっている場合に、前記特定のオブジェクトの変化後の位置と重なっている前記対象物に予め対応付けられている前記対象物の制御を決定する、頭部装着型表示装置。A head-mounted display device according to any one of claims 2 to 5,
When the position after the change of the specific object overlaps the target object in the imaged outside scene, the control unit applies the target object that overlaps the position after the change of the specific object. A head-mounted display device that determines control of the object associated in advance. 請求項２から請求項６までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
取得された前記対象物と前記画像表示部との距離を特定する距離特定部を備え、
前記制御部は、取得されると共に特定された前記距離が閾値以下の前記対象物を、選択可能な前記対象物として設定する、頭部装着型表示装置。The head-mounted display device according to any one of claims 2 to 6, further comprising:
A distance specifying unit that specifies a distance between the acquired object and the image display unit;
The control unit is a head-mounted display device that sets, as the selectable object, the object whose acquired distance is equal to or less than a threshold value. 請求項２から請求項７までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
外部の音声を取得する音声取得部を備え、
前記制御部は、特定された前記特定のオブジェクトの位置の変化と取得された前記音声との組み合わせに基づいて前記対象物の制御を決定する、頭部装着型表示装置。The head-mounted display device according to any one of claims 2 to 7, further comprising:
It has an audio acquisition unit that acquires external audio,
The head-mounted display device, wherein the control unit determines control of the object based on a combination of a change in position of the specified object specified and the acquired sound. 請求項１に記載の頭部装着型表示装置であって、
前記対象取得部は、他の装置から少なくとも１つの前記対象物の位置情報を取得する、頭部装着型表示装置。The head-mounted display device according to claim 1,
The target acquisition unit is a head-mounted display device that acquires position information of at least one of the objects from another device. 請求項９に記載の頭部装着型表示装置であって、
前記制御部は、取得された前記対象物が前記外景に含まれない場合に、前記画像表示部を用いて、前記画像表示部と取得された前記対象物との位置関係を前記虚像として表示する、頭部装着型表示装置。The head-mounted display device according to claim 9,
The control unit displays the positional relationship between the image display unit and the acquired object as the virtual image using the image display unit when the acquired object is not included in the outside scene. Head mounted display device. 請求項１から請求項１０までのいずれか一項に記載の頭部装着型表示装置であって、
前記制御部は、前記特定のオブジェクトの加速度を検出し、検出した前記特定のオブジェクトの加速度に基づいて、前記特定のオブジェクトの位置の変化を特定する、頭部装着型表示装置。The head-mounted display device according to any one of claims 1 to 10,
The head-mounted display device, wherein the control unit detects an acceleration of the specific object, and specifies a change in a position of the specific object based on the detected acceleration of the specific object. 請求項１１に記載の頭部装着型表示装置であって、さらに、
外部の音声を取得する音声取得部を備え、
前記制御部は、取得された前記外部の音声と、特定された前記特定のオブジェクトの位置の変化との組み合わせに基づいて、選択した前記対象物の制御を決定する、頭部装着型表示装置。The head-mounted display device according to claim 11, further comprising:
It has an audio acquisition unit that acquires external audio,
The head-mounted display device, wherein the control unit determines control of the selected object based on a combination of the acquired external sound and a change in the position of the specified specific object. 請求項１から請求項１２までのいずれか一項に記載の頭部装着型表示装置であって、
前記制御部は、選択した前記対象物に対応付けられた制御装置の制御を実行し、前記外景に選択した前記対象物と前記制御装置とが取得される場合に、前記画像表示部を用いて、選択した前記対象物と前記制御装置とが対応関係にあることを前記虚像として表示する、頭部装着型表示装置。The head-mounted display device according to any one of claims 1 to 12,
The control unit executes control of the control device associated with the selected object, and when the object selected as the outside scene and the control device are acquired, the image display unit is used. A head-mounted display device that displays, as the virtual image, that the selected object and the control device are in a correspondence relationship. 請求項１３に記載の頭部装着型表示装置であって、
前記制御部は、選択した前記対象物と前記制御装置とが対応関係にあることを示す前記虚像として、前記画像表示部を用いて、同じ形で同じ色の虚像を表示する、頭部装着型表示装置。The head-mounted display device according to claim 13,
The control unit displays a virtual image of the same color in the same shape using the image display unit as the virtual image indicating that the selected object and the control device are in a correspondence relationship. Display device. 請求項１から請求項１４までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
前記画像表示部の使用者の属性を識別する識別部を備え、
前記制御部は、前記対象物に対応付けられている虚像と前記特定確認画像との少なくとも一方を、識別された前記属性に対応させて前記画像表示部を用いて前記虚像として表示する、頭部装着型表示装置。The head-mounted display device according to any one of claims 1 to 14, further comprising:
An identification unit for identifying an attribute of a user of the image display unit;
The control unit displays at least one of a virtual image associated with the object and the specific confirmation image as the virtual image using the image display unit in association with the identified attribute. Wearable display device. 請求項２から請求項８までのいずれか一項に記載の頭部装着型表示装置を含む制御システムであって、
前記対象物を特定する対象物特定部と、
特定された前記対象物の情報を送信する第１の通信部と、
制御実行部と、を備え、
前記頭部装着型表示装置は、
送信された前記対象物の情報を受信し、決定された前記対象物の制御の情報を送信する第２の通信部を備え、
前記第１の通信部は、送信された前記対象物の制御の情報を受信し、
前記制御実行部は、前記第１の通信部によって受信された前記対象物の制御に基づく制御を実行する、制御システム。A control system including the head-mounted display device according to any one of claims 2 to 8,
An object specifying unit for specifying the object;
A first communication unit for transmitting information on the identified object;
A control execution unit,
The head-mounted display device is
A second communication unit that receives the transmitted information of the object and transmits the determined control information of the object;
The first communication unit receives the transmitted control information of the object,
The control execution unit executes control based on control of the object received by the first communication unit. 虚像を表示し、外景を透過可能な画像表示部を備える、透過型の頭部装着型表示装置の制御方法であって、
前記画像表示部から所定の距離の範囲にある選択可能な対象物と、前記外景に含まれる特定のオブジェクトの位置と、取得する工程と、
取得された前記対象物に対応付けられている対象物対応虚像を、前記画像表示部を用いて前記虚像として表示し、取得された前記特定のオブジェクトの位置に基づいて、前記特定のオブジェクトの位置の変化を特定し、特定した前記特定のオブジェクトの位置の変化と取得された前記対象物の位置との関係に基づいて前記対象物を選択し、選択した前記対象物に対応付けられた特定確認画像を、前記画像表示部を用いて前記虚像として表示する工程と、を備える、制御方法。A control method for a transmissive head-mounted display device that includes an image display unit that displays a virtual image and is able to transmit an outside scene,
A selectable object within a predetermined distance from the image display unit, a position of a specific object included in the outside scene, and a step of acquiring,
The object corresponding virtual image associated with the acquired object is displayed as the virtual image using the image display unit, and the position of the specific object is based on the acquired position of the specific object. Identifying the change, selecting the target based on the relationship between the change in the position of the specified specific object and the acquired position of the target, and identifying confirmation associated with the selected target And a step of displaying an image as the virtual image using the image display unit. 虚像を表示し、外景を透過可能な画像表示部を備える、透過型の頭部装着型表示装置のためのコンピュータープログラムであって、
前記画像表示部から所定の距離の範囲にある選択可能な対象物と、前記外景に含まれる特定のオブジェクトの位置と、取得する対象取得機能と、
取得された前記対象物に対応付けられている対象物対応虚像を、前記画像表示部を用いて前記虚像として表示し、取得された前記特定のオブジェクトの位置に基づいて、前記特定のオブジェクトの位置の変化を特定し、特定した前記特定のオブジェクトの位置の変化と取得された前記対象物の位置との関係に基づいて前記対象物を選択し、選択した前記対象物に対応付けられた特定確認画像を、前記画像表示部を用いて前記虚像として表示する制御機能と、をコンピューターに実現させるコンピュータープログラム。A computer program for a transmissive head-mounted display device that includes an image display unit that displays a virtual image and is capable of transmitting an outside scene.
A selectable target within a predetermined distance from the image display unit, a position of a specific object included in the outside scene, and a target acquisition function to acquire;
The object corresponding virtual image associated with the acquired object is displayed as the virtual image using the image display unit, and the position of the specific object is based on the acquired position of the specific object. Identifying the change, selecting the target based on the relationship between the change in the position of the specified specific object and the acquired position of the target, and identifying confirmation associated with the selected target A computer program that causes a computer to realize a control function of displaying an image as the virtual image using the image display unit.

Images