JP7685831B2 - Entertainment Systems and Programs - Google Patents
Entertainment Systems and ProgramsDownload PDFInfo
- Publication number
- JP7685831B2 JP7685831B2JP2020218578AJP2020218578AJP7685831B2JP 7685831 B2JP7685831 B2JP 7685831B2JP 2020218578 AJP2020218578 AJP 2020218578AJP 2020218578 AJP2020218578 AJP 2020218578AJP 7685831 B2JP7685831 B2JP 7685831B2
- Authority
- JP
- Japan
- Prior art keywords
- display device
- display
- information
- content
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Description
Translated fromJapanese本発明は、エンターテインメントシステム及びプログラム等に関する。The present invention relates to an entertainment system and a program.
従来より２つの表示画像の組み合わせによるコンテンツ画像をユーザに視認させるシステムが知られている。特許文献１のシステムは、特定色が透過される透過画像を表示する透過型モニターと、当該透過画像と組み合わせることによりゲーム画面を形成する基礎画面を、透過型モニターの後方に投影するプロジェクタとを備えている。そして透過画像と基礎画面の組み合わせにより情報提供用画像を形成する。Systems that allow users to view a content image that is a combination of two display images are known. The system in Patent Document 1 includes a transmissive monitor that displays a transmissive image that allows a specific color to be transmitted, and a projector that projects a basic screen that forms a game screen by combining the transmissive image onto the rear of the transmissive monitor. An information providing image is then formed by combining the transmissive image with the basic screen.
しかしながら、これまでは、第１表示装置と第２表示装置との連動制御を行って、第１表示装置の表示物等に関連するコンテンツ情報を、ユーザに通知するようなシステムについては提案されていなかった。However, until now, there has been no proposal for a system that controls the linkage between the first and second display devices to notify the user of content information related to the display items on the first display device.
本開示によれば、第１表示装置と第２表示装置を用いたシステムにおいて第１表示装置に関連するコンテンツ情報をユーザに対して通知することができるエンターテインメントシステム及びプログラム等を提供できる。The present disclosure provides an entertainment system and program that can notify a user of content information related to a first display device in a system using a first display device and a second display device.
本開示の一態様は、第１表示装置と、前記第１表示装置の表示画像が視認可能な第２表示装置とを用いたエンターテインメントシステムであって、前記ユーザの視線方向の情報に基づいて、前記第１表示装置の表示画面での前記ユーザの注視領域を検出する注視領域検出部と、前記第１表示装置の表示画像に対して前記第２表示装置の表示画像が付加されたコンテンツ画像を前記ユーザに視認させる処理を行うコンテンツ処理部と、を含み、前記コンテンツ処理部は、検出された前記注視領域に対応するコンテンツ情報を、前記第２表示装置を用いて前記ユーザに通知する通知処理を行うエンターテインメントシステムに関係する。また本開示の一態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。One aspect of the present disclosure relates to an entertainment system using a first display device and a second display device on which the display image of the first display device is visible, the entertainment system including a gaze area detection unit that detects the gaze area of the user on the display screen of the first display device based on information on the user's line of sight, and a content processing unit that performs processing to make the user view a content image in which the display image of the second display device is added to the display image of the first display device, the content processing unit performing a notification process to notify the user of content information corresponding to the detected gaze area using the second display device. Another aspect of the present disclosure relates to a program that causes a computer to function as each of the above-mentioned units, or a computer-readable information storage medium that stores the program.
本開示の一態様によれば、第１表示装置の表示画面でのユーザの注視領域が検出される。また第１表示装置の表示画像に対して第２表示装置の表示画像が付加されたコンテンツ画像をユーザに視認させる処理が行われる。そして、この際に、注視領域に対応するコンテンツ情報を、第２表示装置を用いてユーザに通知する通知処理が行われる。このようにすれば、ユーザは、第１表示装置の表示画面において自身が注視した注視領域に対応するコンテンツ情報を、第２表示装置を利用して知ることが可能になる。従って、第１表示装置と第２表示装置を用いたシステムにおいて第１表示装置に関連するコンテンツ情報をユーザに対して通知することができるエンターテインメントシステム等の提供が可能になる。According to one aspect of the present disclosure, a user's gaze area on the display screen of the first display device is detected. A process is performed in which the user is allowed to view a content image in which the display image of the second display device is added to the display image of the first display device. At this time, a notification process is performed in which the user is notified of content information corresponding to the gaze area using the second display device. In this way, the user can use the second display device to know content information corresponding to the gaze area that the user is gazing at on the display screen of the first display device. Therefore, it is possible to provide an entertainment system or the like that can notify the user of content information related to the first display device in a system using the first and second display devices.
また本開示の一態様では、前記通知処理は、前記第２表示装置を用いて前記コンテンツ情報を表示する処理であってもよい。In one aspect of the present disclosure, the notification process may be a process of displaying the content information using the second display device.
このようにすれば、ユーザは、第１表示装置の表示画面において自身が注視した注視領域に対応するコンテンツ情報を、第２表示装置の表示画像により視覚的に認識できるようになる。In this way, the user can visually recognize the content information corresponding to the area of interest that the user is gazing at on the display screen of the first display device through the display image of the second display device.
また本開示の一態様では、前記コンテンツ処理部は、前記第１表示装置に表示される表示物の情報又は前記第１表示装置の表示態様に応じて、前記コンテンツ情報の通知態様を変化させてもよい。In one aspect of the present disclosure, the content processing unit may change the notification mode of the content information depending on the information of the display object displayed on the first display device or the display mode of the first display device.
このようにすれば、第１表示装置の表示画像に第２表示装置の表示画像が付加されたコンテンツ画像をユーザに視認させるエンターテインメントシステムにおいて、第１表示装置の表示物又は表示態様に応じた適切なコンテンツ情報をユーザに通知することが可能になる。In this way, in an entertainment system that allows a user to view a content image in which a display image of a second display device is added to a display image of a first display device, it becomes possible to notify the user of appropriate content information according to the display object or display mode of the first display device.
また本開示の一態様では、前記コンテンツ処理部は、前記第１表示装置の前記表示物の情報又は前記第１表示装置の表示態様に応じて、前記第２表示装置に表示されるオブジェクトの表示制御を行ってもよい。In one aspect of the present disclosure, the content processing unit may perform display control of an object displayed on the second display device according to information about the display object of the first display device or a display mode of the first display device.
このようにすれば、第１表示装置の表示物又は表示態様に応じて表示制御されるオブジェクトを第２表示装置に表示して、第１表示装置の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。In this way, an object whose display is controlled according to the display state or display object of the first display device can be displayed on the second display device, and the user can view a content image in which an image of the object is added to the display image of the first display device.
また本開示の一態様では、前記表示物の情報は、前記第１表示装置の前記表示画面において前記ユーザにより注視された注視表示物の情報であり、前記コンテンツ処理部は、前記注視表示物の情報又は前記第１表示装置の表示態様に応じて、前記第２表示装置に表示される前記オブジェクトの表示位置を設定してもよい。In one aspect of the present disclosure, the information on the display object is information on a gaze display object gazed upon by the user on the display screen of the first display device, and the content processing unit may set a display position of the object displayed on the second display device according to the information on the gaze display object or the display mode of the first display device.
このようにすれば、第１表示装置の注視表示物の情報又は第１表示装置の表示態様に応じた表示位置にオブジェクトを表示して、第１表示装置の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。In this way, the object can be displayed at a display position that corresponds to the information on the gaze object of the first display device or the display mode of the first display device, allowing the user to view a content image in which the image of the object is added to the display image of the first display device.
また本開示の一態様では、前記表示物の情報は、前記第１表示装置の前記表示画面において前記ユーザにより注視された注視表示物の情報であり、前記コンテンツ処理部は、前記注視表示物の情報又は前記第１表示装置の表示態様に応じて、前記第２表示装置に表示される前記オブジェクトの表示態様を設定してもよい。In one aspect of the present disclosure, the information on the display object is information on a gaze display object gazed upon by the user on the display screen of the first display device, and the content processing unit may set the display mode of the object displayed on the second display device according to the information on the gaze display object or the display mode of the first display device.
このようにすれば、第１表示装置の注視表示物の情報又は表示態様に応じた表示態様でオブジェクトを表示して、第１表示装置の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。In this way, the object is displayed in a display mode that corresponds to the information or display mode of the gaze object of the first display device, and the user can view a content image in which the image of the object is added to the display image of the first display device.
また本開示の一態様は、第１表示装置と、前記第１表示装置の表示画像が視認可能な第２表示装置とを用いたエンターテインメントシステムであって、前記第１表示装置に表示される表示物の情報又は前記第１表示装置の表示態様の情報を取得する情報取得部と、前記第１表示装置の表示画像に対して前記第２表示装置の表示画像が付加されたコンテンツ画像を前記ユーザに視認させる処理を行うコンテンツ処理部を含み、前記コンテンツ処理部は、コンテンツ情報を前記第２表示装置を用いて前記ユーザに通知する通知処理を行い、前記第１表示装置の前記表示物の情報又は前記第１表示装置の前記表示態様に応じて、前記コンテンツ情報の通知態様を変化させるエンターテインメントシステムに関係する。また本開示の一態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。Another aspect of the present disclosure relates to an entertainment system using a first display device and a second display device on which a display image of the first display device is visible, the entertainment system including an information acquisition unit that acquires information on an object displayed on the first display device or information on a display mode of the first display device, and a content processing unit that performs processing to cause the user to view a content image in which a display image of the second display device is added to a display image of the first display device, the content processing unit performing a notification process to notify the user of content information using the second display device, and changing the notification mode of the content information according to the information on the object of the first display device or the display mode of the first display device. Another aspect of the present disclosure relates to a program that causes a computer to function as each of the above-mentioned units, or a computer-readable information storage medium that stores the program.
本開示の一態様によれば、第１表示装置に表示される表示物の情報又は表示態様の情報が取得される。また第１表示装置の表示画像に対して第２表示装置の表示画像が付加されたコンテンツ画像をユーザに視認させる処理が行われる。そして、この際に、第１表示装置の表示物の情報又は表示態様に応じて、コンテンツ情報の通知態様を変化させる処理が行われる。このようにすれば、第１表示装置の表示画像に第２表示装置の表示画像が付加されたコンテンツ画像をユーザに視認させるエンターテインメントシステムにおいて、第１表示装置の表示物又は表示態様に応じた適切なコンテンツ情報をユーザに通知することが可能になる。従って、第１表示装置と第２表示装置を用いたシステムにおいて第１表示装置に関連するコンテンツ情報をユーザに対して通知することができるエンターテインメントシステム等の提供が可能になる。According to one aspect of the present disclosure, information on the display object or information on the display mode displayed on the first display device is acquired. A process is also performed in which the user is allowed to view a content image in which the display image of the second display device is added to the display image of the first display device. At this time, a process is performed in which the notification mode of the content information is changed according to the information on the display object or the display mode of the first display device. In this way, in an entertainment system in which the user is allowed to view a content image in which the display image of the second display device is added to the display image of the first display device, it is possible to notify the user of appropriate content information according to the display object or the display mode of the first display device. Therefore, it is possible to provide an entertainment system or the like that can notify the user of content information related to the first display device in a system using the first display device and the second display device.
また本開示の一態様では、前記コンテンツ処理部は、前記第１表示装置の前記表示物の情報又は前記第１表示装置の表示態様に応じて、前記第２表示装置に表示されるオブジェクトの表示制御を行ってもよい。In one aspect of the present disclosure, the content processing unit may perform display control of an object displayed on the second display device according to information about the display object of the first display device or a display mode of the first display device.
このようにすれば、第１表示装置の表示物又は表示態様に応じて表示制御されるオブジェクトを第２表示装置に表示して、第１表示装置の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。In this way, an object whose display is controlled according to the display state or display object of the first display device can be displayed on the second display device, and the user can view a content image in which an image of the object is added to the display image of the first display device.
また本開示の一態様では、前記コンテンツ処理部は、前記第１表示装置の前記表示物の情報又は前記第１表示装置の表示態様に応じて、前記第２表示装置に表示される前記オブジェクトの表示位置を設定してもよい。In one aspect of the present disclosure, the content processing unit may set a display position of the object displayed on the second display device according to information about the display object of the first display device or a display mode of the first display device.
このようにすれば、第１表示装置の表示物の情報又は表示態様に応じた表示位置にオブジェクトを表示して、第１表示装置の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。In this way, the object can be displayed at a display position that corresponds to the information or display mode of the display item on the first display device, and the user can view a content image in which the image of the object is added to the display image on the first display device.
また本開示の一態様では、前記コンテンツ処理部は、前記第１表示装置の前記表示物の情報又は前記第１表示装置の表示態様に応じて、前記第２表示装置に表示される前記オブジェクトの表示態様を設定してもよい。In one aspect of the present disclosure, the content processing unit may set the display mode of the object displayed on the second display device according to the information of the display object of the first display device or the display mode of the first display device.
このようにすれば、第１表示装置の表示物の情報又は表示態様に応じた表示態様でオブジェクトを表示して、第１表示装置の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。In this way, the object can be displayed in a display mode that corresponds to the information or display mode of the display item on the first display device, and the user can view a content image in which the image of the object is added to the display image on the first display device.
また本開示の一態様では、前記第２表示装置に表示される前記オブジェクトは、前記第１表示装置に表示される前記表示物に関連するオブジェクトであってもよい。In one aspect of the present disclosure, the object displayed on the second display device may be an object related to the display object displayed on the first display device.
このようにすれば、第１表示装置の表示物に関連するオブジェクトを、第１表示装置の表示画像に重畳表示されるオブジェクトとして、第２表示装置により表示できるようになる。In this way, an object related to the display object of the first display device can be displayed by the second display device as an object superimposed on the display image of the first display device.
また本開示の一態様では、前記第１表示装置の前記表示物の情報は、前記表示物のパラメータ情報、前記表示物の表示位置情報又は前記表示物の表示態様情報であってもよい。In one aspect of the present disclosure, the information on the display object of the first display device may be parameter information on the display object, display position information on the display object, or display mode information on the display object.
このようにすれば、表示物のパラメータ情報、表示位置情報又は表示態様情報に応じて、第２表示装置を用いて通知されるコンテンツ情報の通知態様を変化させることなどが可能になる。In this way, it becomes possible to change the notification mode of the content information notified using the second display device depending on the parameter information, display position information, or display mode information of the displayed object.
また本開示の一態様は、第１表示装置と、前記第１表示装置の表示画像が視認可能な第２表示装置とを用いたエンターテインメントシステムであって、前記第２表示装置のカメラにより前記第１表示装置を撮影した撮影画像の解析処理を行う画像解析部と、前記第１表示装置の表示画像に対して前記第２表示装置の表示画像が付加されたコンテンツ画像を前記ユーザに視認させる処理を行うコンテンツ処理部と、を含み、前記コンテンツ処理部は、前記撮影画像の前記解析処理の結果に基づくコンテンツ情報を、前記第２表示装置を用いて前記ユーザに通知する通知処理を行うエンターテインメントシステムに関係する。また本開示の一態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。Another aspect of the present disclosure relates to an entertainment system using a first display device and a second display device on which a display image of the first display device is visible, the entertainment system including an image analysis unit that performs an analysis process of a captured image of the first display device by a camera of the second display device, and a content processing unit that performs a process of making the user view a content image in which the display image of the second display device is added to the display image of the first display device, the content processing unit performing a notification process of notifying the user of content information based on the result of the analysis process of the captured image using the second display device. Another aspect of the present disclosure relates to a program that causes a computer to function as each of the above-mentioned units, or a computer-readable information storage medium that stores the program.
本開示の一態様によれば、第２表示装置が有するカメラにより第１表示装置を撮影した撮影画像の解析処理が行われる。また第１表示装置の表示画像に対して第２表示装置の表示画像が付加されたコンテンツ画像をユーザに視認させる処理が行われる。そして、この際に、撮影画像の解析処理の結果に基づくコンテンツ情報を、第２表示装置を用いてユーザに通知する通知処理が行われる。このようにすれば、ユーザは、第２表示装置のカメラにより第１表示装置を撮影することで得られた撮影画像の解析処理の結果に基づくコンテンツ情報を、第２表示装置を利用して知ることが可能になる。従って、第１表示装置と第２表示装置を用いたシステムにおいて第１表示装置に関連するコンテンツ情報をユーザに対して通知することができるエンターテインメントシステム等の提供が可能になる。According to one aspect of the present disclosure, an analysis process is performed on a captured image of the first display device by a camera of the second display device. A process is also performed in which the user is allowed to view a content image in which the display image of the second display device is added to the display image of the first display device. At this time, a notification process is performed to notify the user of content information based on the results of the analysis process of the captured image using the second display device. In this way, the user can use the second display device to know content information based on the results of the analysis process of the captured image obtained by capturing an image of the first display device with the camera of the second display device. Therefore, it is possible to provide an entertainment system or the like that can notify the user of content information related to the first display device in a system using the first and second display devices.
また本開示の一態様では、前記コンテンツ処理部は、前記第１表示装置と前記第２表示装置の位置関係に応じて、前記第１表示装置又は前記第２表示装置の表示内容、或いは前記コンテンツ情報の通知態様を変化させてもよい。In one aspect of the present disclosure, the content processing unit may change the display content of the first display device or the second display device, or the notification mode of the content information, depending on the positional relationship between the first display device and the second display device.
このようにすれば、第１表示装置と第２表示装置の位置関係に応じた適切な表示内容で、第１表示装置又は第２表示装置に画像を表示したり、或いは第１表示装置と第２表示装置の位置関係に応じた適切な通知態様で、第２表示装置によりコンテンツ情報をユーザに通知できるようになる。In this way, an image can be displayed on the first or second display device with appropriate display content according to the relative positions of the first and second display devices, or content information can be notified to the user by the second display device in an appropriate notification manner according to the relative positions of the first and second display devices.
また本開示の一態様では、前記コンテンツ処理部は、前記第１表示装置と前記第２表示装置の位置関係と、前記第１表示装置に表示される表示物の情報とに応じて、前記第１表示装置又は前記第２表示装置の表示内容、或いは前記コンテンツ情報の通知態様を変化させてもよい。In one aspect of the present disclosure, the content processing unit may change the display content of the first display device or the second display device, or the notification mode of the content information, depending on the positional relationship between the first display device and the second display device and information on an object displayed on the first display device.
このようにすれば、第１表示装置と第２表示装置の位置関係と第１表示装置の表示物の情報に応じた適切な表示内容で、第１表示装置又は第２表示装置に画像を表示したり、或いは当該位置関係と表示物の情報に応じた適切な通知態様で、第２表示装置によりコンテンツ情報をユーザに通知できるようになる。In this way, an image can be displayed on the first or second display device with appropriate display content according to the positional relationship between the first and second display devices and the information of the displayed object on the first display device, or content information can be notified to the user by the second display device in an appropriate notification manner according to the positional relationship and the information of the displayed object.
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲の記載内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、必須構成要件であるとは限らない。The present embodiment will be described below. Note that the present embodiment described below does not unduly limit the contents of the claims. Furthermore, not all of the configurations described in the present embodiment are necessarily essential components.
１．エンターテインメントシステム
図１に本実施形態のエンターテインメントシステムのシステム構成例を示す。本実施形態のエンターテインメントシステムは、第１表示装置１０と第２表示装置２００を用いて実現される。例えば本実施形態のエンターテインメントシステムは、第１表示装置１０と、第１表示装置１０の表示画像が視認可能な第２表示装置２００を用いてユーザに対して種々のエンターテインメントコンテンツを提供するシステムである。第１表示装置１０は、例えばメインの表示装置である。具体的には第１表示装置１０は、ＰＣ（パーソナルコンピュータ）などの情報処理装置のモニター（ディスプレイ）や、テレビのモニターや、ゲーム装置のモニターや、或いはライブやクラブの会場に設置される大型モニターなどである。図１では、第１表示装置１０には、例えばキャラクタＣＨ１、ＣＨ２、ＣＨ３とキャラクタＣＥ１、ＣＥ２、ＣＥ３とが対戦するゲームコンテンツの画像が表示されている。第２表示装置２００は、例えばサブの表示装置である。例えば第２表示装置２００は、第１表示装置１０の表示画像が視認可能な表示装置である。例えばユーザは、第２表示装置２００の表示部により、第１表示装置１０の表示画像の視認が可能になっている。図１では、第２表示装置２００として透過型ＨＭＤ（広義にはＨＭＤ、透過型表示装置）が用いられている。透過型ＨＭＤは、ユーザが装着する透過型の頭部装着型表示装置（Head Mounted Display）である。透過型ＨＭＤは例えば光学透過型のＨＭＤである。 1. Entertainment System FIG. 1 shows an example of the system configuration of the entertainment system of this embodiment. The entertainment system of this embodiment is realized by using a
なお、以下では、第２表示装置２００が透過型ＨＭＤである場合を主に例にとり説明するが、第２表示装置２００は、透過型ＨＭＤ以外の透過型表示装置であってもよい。例えば透過型ＨＭＤは、ユーザが頭部に装着する表示装置であるが、第２表示装置２００は、ユーザが頭部に装着しないタイプの透過型表示装置であってもよい。例えば第２表示装置２００は、ユーザが手に所持したり、ユーザが所望の場所に置いて使用する透過型表示装置であってもよい。或いは、第２表示装置２００は、透過型表示装置以外の表示装置であってもよく、例えばカメラによる第１表示装置１０の撮影画像が表示部に表示されることで、第１表示装置１０の表示画像の視認が可能になるような表示装置であってもよい。Note that, in the following, the
図２は、第１表示装置１０の表示画像ＩＭＤに対して第２表示装置２００の表示画像ＩＭＨが付加されたコンテンツ画像の説明図である。本実施形態では、第１表示装置１０の表示画像ＩＭＤに対して、第２表示装置２００の表示画像ＩＭＨが付加（重畳）されたコンテンツ画像をユーザに視認させる処理が行われる。例えば第２表示装置２００が透過型ＨＭＤである場合には、第１表示装置１０の表示画像ＩＭＤは、第２表示装置２００の光学素子を透過してユーザに視認される。そして第２表示装置２００の表示画像ＩＭＨが、第２表示装置２００を透過する第１表示装置１０の表示画像ＩＭＤに対して重ねて表示される。第２表示装置２００の表示画像ＩＭＨは、例えば第２表示装置２００により表示される虚像である。後述する図５を例にとれば、表示画像ＩＭＨは、第２表示装置２００である透過型ＨＭＤ２０２の表示装置２４３の表示画像である。こうすることで、第１表示装置１０の表示画像ＩＭＤに対して第２表示装置２００の表示画像ＩＭＨが付加されたコンテンツ画像をユーザに視認させることが可能になる。2 is an explanatory diagram of a content image in which the display image IMH of the
なお図２では、コンテンツ画像として、ゲームコンテンツの画像の例が示されている。しかしながら、本実施形態のコンテンツ画像は、このようなゲームコンテンツの画像には限定されず、配信動画、映画、環境映像、観光映像又はシミュレーション映像などの種々のコンテンツ（視覚コンテンツ）の画像を想定できる。In FIG. 2, an example of an image of game content is shown as the content image. However, the content image in this embodiment is not limited to such an image of game content, and can be an image of various content (visual content) such as streaming video, movies, environmental footage, sightseeing footage, or simulation footage.
また第２表示装置２００が、透過型ＨＭＤ以外の透過型表示装置である例えば透過型タブレット端末である場合には、第１表示装置１０の表示画像ＩＭＤは、透過型タブレット端末を透過してユーザに表示される。そして、透過型タブレット端末を透過した表示画像ＩＭＤと、透過型タブレット端末により生成された表示画像ＩＭＨとがユーザに表示されることで、第１表示装置１０の表示画像ＩＭＤ（透過画像）に対して、第２表示装置２００の表示画像ＩＭＨが付加されたコンテンツ画像を、ユーザが視認できるようになる。また第２表示装置２００が、透過型表示装置以外の表示装置である例えばスマートフォン、携帯型ゲーム装置等の端末装置である場合には、例えば第１表示装置１０の表示画像ＩＭＤをカメラにより撮影する。そしてカメラの撮影画像に対して、第２表示装置２００により生成された表示画像ＩＭＨを重畳表示することで、第１表示装置１０の表示画像ＩＭＤ（撮影画像）に対して、第２表示装置２００の表示画像ＩＭＨが付加されたコンテンツ画像を、ユーザが視認できるようになる。In addition, when the
そして図２では、第２表示装置２００を用いて、第１表示装置１０に関連するコンテンツ情報が表示画像ＩＭＨとして表示される。第１表示装置１０に関連するコンテンツ情報は、具体的には例えば第１表示装置１０に表示される表示物又は第１表示装置１０の表示内容に関連するコンテンツ情報である。例えば第１表示装置１０には表示物としてキャラクタＣＨ１等が表示されている。そして、このキャラクタＣＨ１に関連するコンテンツ情報が、表示画像ＩＭＨとして第２表示装置２００に表示され、第１表示装置１０の表示画像ＩＭＤに対して、このコンテンツ情報の表示画像ＩＭＨが重ねて表示される。図２では、表示画像ＩＭＨにより通知されるコンテンツ情報は、ゲーム情報であり、第１表示装置１０の表示物であるキャラクタＣＨ１に関連するゲーム情報である。具体的にはコンテンツ情報であるゲーム情報は、キャラクタＣＨ１のヒットポイント（ＨＰ）、マジックポイント（ＭＰ）、経験値（ＥＸＰ）、レベル（ＬＶ）、装備品（ＥＱＰ）などの情報である。表示画像ＩＭＨにおいては、ヒットポイント（ＨＰ）の情報は、ヒットポイントゲージのオブジェクトＯＢ１により表示され、マジックポイント（ＭＰ）の情報は、マジックポイントゲージのオブジェクトＯＢ２により表示されている。経験値（ＥＸＰ）、レベル（ＬＶ）の情報は、各々、経験値、レベルを表す数字のオブジェクトＯＢ３、ＯＢ４により表示され、装備品（ＥＱＰ）の情報は、装備品を表象するアイコンのオブジェクトＯＢ５により表示されている。In FIG. 2, the content information related to the
このように本実施形態では、第１表示装置１０の表示物又は表示内容等に関連するコンテンツ情報を、第２表示装置２００を用いてユーザに通知する通知処理を行っている。図２を例にとれば、第１表示装置１０の表示物であるキャラクタＣＨ１に関連するコンテンツ情報（ＨＰ、ＭＰ、ＥＸＰ、ＬＶ、ＥＱＰ）を、第２表示装置２００を用いてユーザに通知している。具体的には、キャラクタＣＨ１に関連するコンテンツ情報の表示画像ＩＭＨを、第２表示装置２００（表示装置２４３）を用いて表示して、第１表示装置１０の表示画像ＩＭＤに重ねてユーザに視認させることで、コンテンツ情報をユーザに通知している。即ち、この場合のコンテンツ情報の通知処理は、第２表示装置２００を用いてコンテンツ情報（表示画像ＩＭＨ）を表示する処理である。In this manner, in this embodiment, a notification process is performed in which content information related to the display object or display content of the
このように本実施形態では、第１表示装置１０の表示画像ＩＭＤに対して第２表示装置２００の表示画像ＩＭＨが付加されたコンテンツ画像（図２）をユーザに視認させる処理を行う。また本実施形態では、ユーザの視線方向の情報に基づいて、第１表示装置１０の表示画面でのユーザの注視領域を検出する。そして検出された注視領域に対応するコンテンツ情報を、第２表示装置２００を用いてユーザに通知する通知処理を行う。In this manner, in this embodiment, a process is performed in which the user is made to view a content image (FIG. 2) in which the display image IMH of the
例えば図３では、ユーザＵＳの視線方向ＬＳが検出されている。ユーザＵＳの視線方向ＬＳは、例えば第２表示装置２００の方向（向く方向）を検出することで検出できる。具体的には視線方向ＬＳの情報は、第２表示装置２００の方向等のトラッキング処理により取得できる。或いはユーザＵＳの視線を直接に検出する視線トラッキング処理（アイトラッキング処理）によりユーザＵＳの視線方向ＬＳを検出してもよい。或いはカメラにより第１表示装置１０を撮影する場合には、カメラの撮影方向をユーザＵＳの視線方向ＬＳと見なして検出してもよい。この場合には、カメラをユーザＵＳと見なすことができ、ユーザＵＳの注視領域はカメラの注視領域になる。或いは透過型タブレット端末等の透過型表示装置が向く方向を、ユーザＵＳの視線方向と見なしてもよい。この場合には、ユーザＵＳの注視領域は、透過型表示装置が向く方向が注視する領域（向く方向に沿った線が第１表示装置１０の表示画面に交わる領域）になる。3, for example, the line of sight direction LS of the user US is detected. The line of sight direction LS of the user US can be detected, for example, by detecting the direction (facing direction) of the
そして図３に示すようにユーザＵＳの視線方向ＬＳを検出することで、第１表示装置１０の表示画面でのユーザＵＳの注視領域ＡＲＧを検出できる。例えば視線方向ＬＳ（カメラの撮影方向、透過型表示装置が向く方向）を延長した線が第１表示装置１０の表示画面に交差する位置を求めることなどで、注視領域ＡＲＧ（カメラ、透過型表示装置の注視領域）を検出できる。この場合には、第１表示装置１０と第２表示装置２００（ユーザ、カメラ）との位置関係を求めておくことが望ましい。例えば第２表示装置２００から見た第１表示装置１０の相対的な位置関係を求め、この位置関係の情報と視線方向ＬＳの情報とに基づいて、ユーザＵＳが注視（注目）する領域である注視領域ＡＲＧ（注目領域）を検出する。そして検出された注視領域ＡＲＧに対応するコンテンツ情報を第２表示装置２００を用いてユーザＵＳに通知する通知処理を行う。図３では、注視領域ＡＲＧに対応するコンテンツ情報である表示画像ＩＭＨを、第１表示装置１０の表示画像ＩＭＤに重ねて表示する通知処理を行っている。例えば図３では、ユーザＵＳは、第１表示装置１０の表示画像ＩＭＤのうち、キャラクタＣＨ１を注視しており、このキャラクタＣＨ１の表示領域が注視領域ＡＲＧになっている。従って、キャラクタＣＨ１が表示される注視領域ＡＲＧに対応するコンテンツ情報として、図２に示すようにキャラクタＣＨ１のヒットポイント、マジックポイント、経験値、レベル、装備品などのキャラクタのステータス情報が、第２表示装置２００の表示画像ＩＭＨ（虚像）として表示される。即ち、キャラクタＣＨ１のヒットポイント、マジックポイント、経験値、レベル、装備品を表すオブジェクトＯＢ１、ＯＢ２、ＯＢ３、ＯＢ４、ＯＢ５の画像が、第２表示装置２００の表示装置２４３の表示画像ＩＭＨとして、第１表示装置１０の表示画像ＩＭＤに重ねて表示される。As shown in FIG. 3, the gaze direction LS of the user US is detected, and the gaze area ARG of the user US on the display screen of the
このようにすれば、ユーザＵＳが、第１表示装置１０の表示画像ＩＭＤにおいて自身が注目するキャラクタＣＨ１を注視することで、そのキャラクタＣＨ１に関連するコンテンツ情報であるヒットポイント、マジックポイント、経験値、レベル、装備品などの情報が、ユーザＵＳに通知されるようになる。これにより、ユーザＵＳは、キャラクタＣＨ１を注視するだけで、自身が注目するキャラクタＣＨ１に関連する各種のコンテンツ情報を知ることが可能になる。また例えば第１表示装置１０に表示される全てのキャラクタＣＨ１～ＣＨ３、ＣＥ１～ＣＥ３について、ヒットポイント、マジックポイント等のコンテンツ情報（ステータス情報）の表示画像ＩＭＨを、表示画像ＩＭＤに重ねて表示してしまうと、これらのコンテンツ情報の表示が邪魔になって、ユーザＵＳにとって見にくい表示になってしまう。この点、ユーザＵＳの注視領域ＡＲＧに対応するコンテンツ情報だけを表示するようにすれば、コンテンツ情報の表示が邪魔になってユーザＵＳにとって見にくい表示なってしまう事態を防止できる。In this way, when the user US gazes at the character CH1 of interest in the display image IMD of the
このように図３の通知処理は、第２表示装置２００を用いてコンテンツ情報を表示する処理である。このようにコンテンツ情報の通知処理として、コンテンツ情報の表示処理を行うようにすれば、ユーザＵＳは、注視領域ＡＲＧに対応するコンテンツ情報の内容を視覚的に容易に認識できるようになる。但し本実施形態の通知処理はこのようなコンテンツ情報の表示処理には限定されない。例えば図４では振動や音声により通知処理が行われている。具体的には第１表示装置１０の表示画面にはレアキャラクタＲＣＨが出現している。例えばユーザＵＳの視線方向ＬＳの注視領域にレアキャラクタＲＣＨが出現している。このように第１表示装置１０（注視領域）にレアキャラクタＲＣＨなどの特定の表示物が出現した場合に、第２表示装置２００に設けられた振動デバイス（振動機構）を振動させて、レアキャラクタＲＣＨが出現したことをユーザＵＳに通知する。或いは第２表示装置２００に内蔵されるスピーカ又は第２表示装置２００とは別体に設けられたヘッドフォンのスピーカからの音声により、レアキャラクタＲＣＨが出現したことをユーザＵＳに通知する。このように、第１表示装置１０の表示物又は表示内容に関連するコンテンツ情報（注視領域に対応するコンテンツ情報）の通知処理は、第２表示装置２００の振動デバイスを振動させる処理や、第２表示装置２００に対応して設けられる音出力部１９２（図６）による音声等の音の出力処理であってもよい。或いは、第２表示装置２００に、ユーザＵＳが視認できる発光素子を設け、この発光素子の発光により、コンテンツ情報の通知処理を実現してもよい。このようにコンテンツ情報の通知処理の通知態様としては種々の態様を想定できる。3 is a process of displaying content information using the
また第１ユーザ、第２ユーザというように複数のユーザがエンターテインメントのコンテンツを楽しむ場合には、第１ユーザに対応する第１コンテンツ情報を、第１ユーザが装着する第１透過型ＨＭＤ等の第２表示装置を用いて第１ユーザに通知し、第２ユーザに対応する第２コンテンツ情報を、第２ユーザが装着する第２透過型ＨＭＤ等の第３表示装置を用いて第２ユーザに通知すればよい。具体的には、第１ユーザの視線方向の情報に基づいて第１注視領域を検出し、第１注視領域に応じた第１コンテンツ情報を、第１ユーザが装着する第１透過型ＨＭＤ等の第２表示装置を用いて第１ユーザに通知する。また第２ユーザの視線方向の情報に基づいて第２注視領域を検出し、第２注視領域に応じた第２コンテンツ情報を、第２ユーザが装着する第２透過型ＨＭＤ等の第３表示装置を用いて第２ユーザに通知する。このようにすれば、例えば第１ユーザには、第１表示装置１０の表示画像ＩＭＤに対して、第１コンテンツ情報だけが重畳された第１コンテンツ画像が表示され、第２ユーザには、第１表示装置１０の表示画像ＩＭＤに対して、第２コンテンツ情報だけが重畳された第２コンテンツ画像が表示されるようになる。従って、第１ユーザは、第１ユーザが注目する第１コンテンツ情報だけを視認できるようになり、第２ユーザは、第２ユーザが注目する第２コンテンツ情報だけを視認できるようになるため、各ユーザにとって見やすい表示態様のコンテンツ画像を表示することが可能になる。In addition, when multiple users such as a first user and a second user enjoy entertainment content, the first content information corresponding to the first user may be notified to the first user using a second display device such as a first see-through HMD worn by the first user, and the second content information corresponding to the second user may be notified to the second user using a third display device such as a second see-through HMD worn by the second user. Specifically, a first gaze area is detected based on information on the line of sight of the first user, and the first content information corresponding to the first gaze area is notified to the first user using a second display device such as a first see-through HMD worn by the first user. Also, a second gaze area is detected based on information on the line of sight of the second user, and the second content information corresponding to the second gaze area is notified to the second user using a third display device such as a second see-through HMD worn by the second user. In this way, for example, a first content image in which only the first content information is superimposed on the display image IMD of the
また、以上では、コンテンツがゲームコンテンツである場合について説明したが、本実施形態のコンテンツはこれに限定されず、配信動画、映画、環境映像、観光映像又はシミュレーション映像のコンテンツであってもよい。例えば仮想的なキャラクタが踊ったり、歌ったりする配信動画のコンテンツである場合には、そのキャラクタについての情報をコンテンツ情報として通知すればよい。また映画のコンテンツの場合には、各種の説明画面や字幕情報などをコンテンツ情報として通知すればよい。観光映像のコンテンツの場合には、例えばユーザの注視領域での種々の観光情報を、コンテンツ情報として通知すればよい。シミュレーション映像のコンテンツの場合には、シミュレーションの対象となるものについての種々の情報を、コンテンツ情報として通知すればよい。Although the above describes the case where the content is game content, the content in this embodiment is not limited to this and may be streaming video, movie, environmental video, sightseeing video, or simulation video content. For example, if the content is streaming video content in which a virtual character dances or sings, information about the character may be notified as content information. In the case of movie content, various explanatory screens and subtitle information may be notified as content information. In the case of sightseeing video content, for example, various types of sightseeing information in the user's gaze area may be notified as content information. In the case of simulation video content, various types of information about the subject of the simulation may be notified as content information.
図５に第２表示装置２００の一例である透過型ＨＭＤ２０２（広義にはＨＭＤ、透過型表示装置）の一例を示す。図５の透過型ＨＭＤは光学透過型ＨＭＤの例である。Figure 5 shows an example of a transmissive HMD 202 (broadly speaking, an HMD or transmissive display device) which is an example of the
図５の透過型ＨＭＤ２０２はテンプル部２４０とゴーグル部２４２を有する。テンプル部２４０にはスピーカが内蔵されている。ゴーグル部２４２には表示装置２４３とホログラフィック光学素子２４４が設けられている。例えばこれらの表示装置２４３、ホログラフィック光学素子２４４等により、透過型ＨＭＤ２０２（広義には第２表示装置）の表示部３０を実現できる。表示装置２４３には、マイクロディスプレイ、ミラー、プリズム等により構成される表示ユニットが設けられている。表示装置２４３には左眼用の表示ユニットと右眼用の表示ユニットが設けられており、これにより立体視が実現される。また左眼用、右眼用の各表示ユニットに一対のマイクロディスプレイを設けることで虚像の位置を可変にできる。The see-through
表示装置２４３からの表示光は、ホログラフィック光学素子２４４の導光板内部を屈折しながら、ユーザの眼前に導光される。そしてホログラフィック光学素子２４４により表示光を眼球方向に屈折させて、眼球に表示光を送る。これにより眼前に虚像（ホログラムの再生像）があるように見えるようになる。ホログラフィック光学素子２４４の導光板はコンバイナーとも呼ばれ、ハーフミラーであるコンバイナーにより、外界の実像と虚像が重なって見えるようになり、ＡＲ（Augmented Reality）やＭＲ（Mixed Reality）などの実現が可能になる。The display light from the
またゴーグル部２４２には、ＲＧＢカメラ２４６、デプスカメラ２４７、環境認識カメラ２４８、２４９が設けられている。ＲＧＢカメラ２４６を用いることでユーザの正面方向の撮影が可能になる。デプスカメラ２４７を用いることで正面方向での奥行き情報を取得できる。なおゴーグル部２４２にはデプスカメラ用のエミッター（不図示）が設けられている。環境認識カメラ２４８、２４９を用いることでユーザの周囲の環境認識が可能になる。またゴーグル部２４２には、加速度センサやジャイロセンサなどにより構成されるモーションセンサである慣性計測ユニット（ＩＭＵ）が内蔵されている。透過型ＨＭＤ２０２の位置情報や方向情報は、ゴーグル部２４２に設けられたカメラによる撮像画像と慣性計測ユニットからの測定情報などに基づいて検出され、これによりヘッドトラッキングが実現される。そして透過型ＨＭＤ２０２の位置情報や方向情報を検出することで、ユーザの位置情報や方向情報（視線方向情報）の取得も可能になる。またＲＧＢカメラ２４６やデプスカメラ２４７などを用いた処理により、ユーザの周囲に居る他のユーザの位置情報（相対的な位置情報）、方向情報（相対的な方向情報）、或いは姿勢情報を取得できる。例えばキネクト（登録商標）と呼ばれる処理によりこれらの情報を取得する。例えば姿勢情報を取得することで、他のユーザがどのようなアクションを行ったかを検出できるようになる。The
図５の透過型ＨＭＤ２０２によれば、例えば表示装置２４３、ホログラフィック光学素子２４４等により実現される表示部３０により、表示画像ＩＭＤと表示画像ＩＭＨをユーザに視認させることが可能になる。例えば第１表示装置１０の表示画像ＩＭＤについては、ホログラフィック光学素子２４４によるコンバイナーにより、透過画像（外界の実像）としてユーザに視認させることができる。また表示画像ＩＭＨについては、透過型ＨＭＤ２０２の表示装置２４３に表示することで、虚像としてユーザに視認させることができる。これにより、第１表示装置１０の表示画像ＩＭＤ（透過画像）に対して透過型ＨＭＤ２０２の表示画像ＩＭＨ（虚像）が付加されたコンテンツ画像をユーザに視認させる処理を実現できるようになる。According to the
なお透過型ＨＭＤ２０２は図５の構成に限定されるものでなく、例えば表示部３０の構成や虚像表示の手法等について、種々の変形実施が可能である。また透過型ＨＭＤ２０２を用いる場合に、ユーザの操作入力は、例えば不図示のコントローラをユーザが操作することで実現してもよいし、アイトラッキングなどによりユーザの視線が入力用表示物の方を向いていることを検出することで実現してもよい。或いは透過型ＨＭＤ２０２に設けられるモーションセンサによりユーザの頭の動き等を検出することで、ユーザの操作入力を検出してもよい。Note that the see-through
また前述したように第２表示装置２００は、透過型ＨＭＤ２０２には限定されず、透過型ディスプレイを有し、ユーザが例えば手に持って使用する透過型タブレット端末などの透過型表示装置であってよいし、スマートフォン、携帯型ゲーム装置又はタブレット端末等のカメラ機能を有する端末装置であってもよい。As mentioned above, the
図６は、本実施形態のエンターテインメントシステム（ゲームシステム、コンテンツ提供システム、処理システム）の構成例を示すブロック図である。なお、本実施形態のアミューズメントシステムは図６の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。Figure 6 is a block diagram showing an example configuration of an entertainment system (game system, content providing system, processing system) of this embodiment. Note that the amusement system of this embodiment is not limited to the configuration of Figure 6, and various modifications are possible, such as omitting some of the components or adding other components.
操作部１６０は、ユーザ（プレーヤ）が種々の入力（操作）を行うためのものである。操作部１６０は、例えば操作ボタン、方向指示キー、キーボード、ジョイスティック又はレバー等により実現できる。或いは上述のように操作部１６０の機能を、アイトラッキングやモーションなどを用いて実現してもよい。The
撮像部１６２（カメラ）は、被写体（撮像対象物）の撮影を行うものである。撮像部１６２は、例えばＣＣＤやＣＭＯＳセンサなどの画像センサや、フォーカスレンズ等により構成される光学系などにより実現できる。カメラである撮像部１６２は例えば第２表示装置２００に設けられる。The imaging unit 162 (camera) captures an image of a subject (object to be imaged). The
記憶部１７０は各種の情報を記憶する。記憶部１７０は、処理部１００や通信部１９６などのワーク領域として機能する。プログラムや、プログラムの実行に必要なデータは、この記憶部１７０に保持される。記憶部１７０の機能は、半導体メモリ（ＤＲＡＭ、ＶＲＡＭ）、ＨＤＤ（hard disk drive）、ＳＳＤ（Solid State Drive）、又は光ディスク装置などにより実現できる。記憶部１７０は、例えばコンテンツの情報を記憶する。コンテンツの情報は、コンテンツを構成する画像や音の情報などである。コンテンツの画像情報は、例えばコンテンツを構成するオブジェクト（表示物）の情報などである。The
情報記憶媒体１８０は、コンピュータにより読み取り可能な媒体であり、プログラムやデータなどを格納するものである。情報記憶媒体１８０は、光ディスク（ＤＶＤ、ＢＤ、ＣＤ）、ＨＤＤ、或いは半導体メモリ（ＲＯＭ）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（入力装置、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。The
第１表示装置１０は、例えばメインのモニターであり、テレビモニター、ＰＣ用のモニター、ゲーム装置のモニター、或いはライブ施設やアミューズメント施設などの施設に設置されるモニターなどにより実現される。表示部３０は、第２表示装置２００（透過型ＨＭＤ２０２等）に設けられるディスプレイである。第１表示装置１０、表示部３０は、例えばＬＣＤ又は有機ＥＬディスプレイなどにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ又はヘッドフォン等により実現できる。The
通信部１９６は、有線や無線のネットワークを介して外部（他の装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。The
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（或いは記憶部１７０）に配信してもよい。このようなサーバによる情報記憶媒体の使用も本実施形態の範囲内に含めることができる。The programs (data) for causing a computer to function as each part of this embodiment may be distributed from an information storage medium held by a server (host device) to information storage medium 180 (or storage unit 170) via a network and
処理部１００（プロセッサ）は、記憶部１７０に記憶されるプログラム、データや、操作部１６０の操作情報などに基づいて、情報取得処理、注視領域検出処理、画像解析処理、位置関係検出処理、或いはコンテンツ処理などを行う。The processing unit 100 (processor) performs information acquisition processing, gaze area detection processing, image analysis processing, positional relationship detection processing, content processing, etc. based on the programs and data stored in the
処理部１００の各部が行う本実施形態の各処理はプロセッサ（ハードウェアを含むプロセッサ）により実現できる。例えば本実施形態の各処理は、プログラム等の情報に基づき動作するプロセッサと、プログラム等の情報を記憶するメモリにより実現できる。プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置（例えばＩＣ等）や、１又は複数の回路素子（例えば抵抗、キャパシター等）で構成することもできる。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。但し、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路であってもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルター回路等を含んでもよい。メモリ（記憶部１７０）は、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリであってもよいし、レジスターであってもよい。或いはハードディスク装置（ＨＤＤ）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１００の各部の処理が実現されることになる。ここでの命令は、プログラムを構成する命令セットでもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。Each process of the present embodiment performed by each part of the
処理部１００は、情報取得部１０２、注視領域検出部１０４、画像解析部１０５、位置関係検出部１０６、コンテンツ処理部１１０を含む。コンテンツ処理部１１０は通知処理部１１２を含む。上述したように、これらの各部により実行される本実施形態の各処理は、プロセッサ（或いはプロセッサ及びメモリ）により実現できる。なお、これらの構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。The
情報取得部１０２は、処理部１００の処理に必要な種々の情報を取得する処理を行う。例えば情報取得部１０２は、ユーザの視線方向の情報を取得する。例えば第２表示装置２００を用いたトラッキング処理などによりユーザの視線方向の情報が取得される。例えばトラッキング処理により、第２表示装置２００の方向（向く方向）をユーザの視線方向として検出する。或いはアイトラッキング処理を行って、ユーザの視線方向を検出してもよい。第２表示装置２００の位置や方向は、カメラによる撮像画像や慣性計測ユニットからの測定情報などに基づいて検出できる。或いは、第２表示装置２００に発光部を設け、この発光部からの光を、外部に設けられたカメラなどにより撮像することで、第２表示装置２００の位置や方向を検出してもよい。或いは、外部に設けられた発光部からの光を、第２表示装置２００に設けられた受光部（カメラ）により撮像することで、第２表示装置２００の位置や方向を検出してもよい。また情報取得部１０２は、第１表示装置１０に表示される表示物の情報又は第１表示装置１０の表示態様の情報を取得する。表示物の情報は、例えば表示物の位置情報、表示物の表示態様情報（色、形状、明度又は透明度等）、或いは表示物がキャラクタである場合には、キャラクタについての種々の情報（ステータスパラメータなどのパラメータ情報等）などである。第１表示装置１０の表示態様の情報は、第１表示装置１０の表示画面の明るさ、色合い又はコントラストなどの情報である。The
注視領域検出部１０４は、ユーザの注視領域を検出する処理を行う。例えば注視領域検出部１０４は、第１表示装置１０の表示画面でのユーザの注視領域を検出する。例えば情報取得部１０２で取得された視線方向の情報に基づいて、第１表示装置１０の表示画面においてユーザが注視している領域である注視領域を検出する。例えば注視領域検出部１０４は、視線方向に沿った線と第１表示装置１０の表示画面との交点を求め、求められた交点を含む領域を、ユーザの注視領域として検出する。The gaze
なお注視領域は、ユーザが実際に視線方向を向けて注視する領域には限定されない。例えば第２表示装置２００のカメラにより第１表示装置１０を撮影することで、第１表示装置１０の表示画像を視認可能にする例では、ユーザの注視領域は、カメラが注視する領域とすることができる。例えばカメラの向く方向をユーザの視線方向と見なして、注視領域検出部１０４は、カメラの向く方向に沿った線と第１表示装置１０の表示画面との交点を求め、求められた交点を含む領域を、ユーザの注視領域として検出する。この場合に、コンテンツ処理部１１０は、第１表示装置１０の表示画面での当該交点の位置をユーザが視認できるように、当該交点の位置に、マーカ等の交点位置識別用の表示物を表示することが望ましい。或いは、透過型タブレット端末等の透過型表示装置である第２表示装置２００を第１表示装置１０の方に向けることで、第１表示装置１０の表示画像を視認可能にする例では、ユーザの注視領域は、第２表示装置２００を向けることで注視する領域とすることができる。即ち、例えば第２表示装置２００の向く方向をユーザの視線方向と見なす。第２表示装置２００の向く方向は、例えば第２表示装置２００の主面に直交する方向であり、例えば表示部３０（表示画面）に直交する方向である。そして注視領域検出部１０４は、第２表示装置２００の向く方向に沿った線と第１表示装置１０の表示画面との交点を求め、求められた交点を含む領域を、ユーザの注視領域として検出する。この場合にも、コンテンツ処理部１１０は、第１表示装置１０の表示画面での当該交点の位置をユーザが視認できるように、例えば当該交点の位置に、マーカ等の交点位置識別用の表示物を表示することが望ましい。The gaze area is not limited to the area that the user actually gazes at by directing the line of sight. For example, in an example in which the display image of the
画像解析部１０５は、撮影画像の解析処理を行う。例えば第２表示装置２００のカメラにより第１表示装置１０を撮影した撮影画像の解析処理を行う。カメラは例えば撮像部１６２であり、図５の透過型ＨＭＤ２０２の場合には、例えばＲＧＢカメラ２４６などである。また第２表示装置２００が、スマートフォン、携帯型ゲーム装置又はタブレット端末等の端末装置である場合には、撮影画像を撮影するカメラは、例えば当該端末装置が有するカメラである。画像解析部１０５は、例えばカメラの撮影画像に映る第１表示装置１０の表示画像等の解析処理を行う。例えば画像解析部１０５は、第１表示装置１０の表示画像の表示内容や、第１表示装置１０の表示態様の解析処理を行う。或いは画像解析部１０５は、第１表示装置１０の表示画面でのユーザの注視領域を検出するための画像解析処理を行ってもよい。The
位置関係検出部１０６は、第１表示装置１０と第２表示装置２００の位置関係を検出する。例えば位置関係検出部１０６は、第１表示装置１０に対する第２表示装置２００の相対的な位置関係を検出する。ここで位置関係は、第１表示装置１０の位置と第２表示装置２００の位置の関係であってもよいし、第１表示装置１０の方向（向く方向）と第２表示装置２００の方向（向く方向）の関係であってもよい。例えば位置関係は、第１表示装置１０に対する第２表示装置２００の相対的な方向関係であってもよい。一例としては、位置関係検出部１０６は、第２表示装置２００に設けられたカメラ（ＲＧＢカメラ、デプスカメラ、環境認識カメラ等）を用いて実空間の認識処理を行い、この認識処理により得られた実空間情報に基づいて、第２表示装置２００に対する第１表示装置１０の相対的な位置関係を検出する。或いは、第１表示装置１０にマーカを設置し、このマーカを用いて第２表示装置２００と第１表示装置１０の位置関係を検出してもよい。例えば第１表示装置１０に複数のマーカ（ＡＲマーカ等）を設置し、第２表示装置２００のカメラにより、これらの複数のマーカを撮像し、得られた撮像画像の解析処理を行うことで、第２表示装置２００に対する第１表示装置１０の相対的な位置関係を検出する。The positional
コンテンツ処理部１１０は、種々のコンテンツ処理を行う。コンテンツ処理は、例えば、コンテンツの画像の表示処理や、コンテンツの音の出力処理などのコンテンツに関する種々の処理である。コンテンツの画像の表示処理は、コンテンツの画像を生成して表示する処理には限定されず、コンテンツの画像の表示を指示したり、表示されるコンテンツの画像の内容を指示する処理であってもよい。コンテンツ処理部１１０は、通知処理部１１２を含む。通知処理部１１２は、コンテンツ情報を、第２表示装置２００を用いてユーザに通知する処理を行う。例えば、ユーザの注視領域に対応するコンテンツ情報を、第２表示装置２００を用いてユーザに通知する処理を行う。The
そして、第１表示装置１０と、第１表示装置１０の表示画像が視認可能な第２表示装置２００を用いた本実施形態のエンターテインメントシステムは、図６に示すように注視領域検出部１０４とコンテンツ処理部１１０を含む。The entertainment system of this embodiment, which uses a
注視領域検出部１０４は、ユーザの視線方向の情報に基づいて、第１表示装置１０の表示画面でのユーザの注視領域を検出する。例えば注視領域検出部１０４は、情報取得部１０２で取得されたユーザの視線方向の情報に基づいて、ユーザの注視領域を検出する。例えば第２表示装置２００のトラッキング処理により取得されたユーザの視線方向の情報に基づいて、注視領域を検出する。或いはカメラの向く方向や透過型表示装置である第２表示装置２００が向く方向から注視領域を検出する。The gaze
コンテンツ処理部１１０は、第１表示装置１０の表示画像に対して第２表示装置２００の表示画像が付加されたコンテンツ画像をユーザに視認させる処理を行う。例えば図２に示すように、第１表示装置１０の表示画像ＩＭＤに対して第２表示装置２００の表示画像ＩＭＨが付加されたコンテンツ画像をユーザに視認させるための制御処理を、第２表示装置２００等に対して行う。例えばコンテンツ処理部１１０は、表示画像ＩＭＤが透過画像としてユーザに表示され、表示画像ＩＭＨが虚像又は実像の重畳画像としてユーザに表示されるように、第２表示装置２００を制御する。The
そしてコンテンツ処理部１１０は、検出された注視領域に対応するコンテンツ情報を、第２表示装置２００を用いてユーザに通知する通知処理を行う。例えば注視領域が検出された場合に、注視領域に対応するコンテンツ情報を、例えば第２表示装置２００のハードウェア（表示部、音出力部、振動デバイス又は発光素子等）を利用してユーザに通知する処理を行う。例えば注視領域の表示物の情報、表示内容、表示態様、ステータス情報又はイベント発生情報等を通知する処理を行う。注視領域に対応するコンテンツ情報は、例えば注視領域に関連するコンテンツ情報である。具体的には注視領域に対応するコンテンツ情報は、注視領域に表示される表示物、注視領域での表示内容、注視領域の表示態様、或いは注視領域で発生するイベントなどに関連する情報である。コンテンツ情報は、エンターテインメントシステムが実現するエンターテインメントコンテンツに関する情報である。エンターテインメントコンテンツがゲームコンテンツである場合には、コンテンツ情報はゲーム情報である。ゲーム情報は、例えばゲームに登場する表示物の情報、ゲーム進行情報、ゲームステータス情報、又はゲームをプレイするユーザの情報などである。表示物の情報は、表示物のパラメータ情報、表示位置情報又は表示態様情報などである。或いはコンテンツ情報は、配信動画、映画、環境映像、観光映像又はシミュレーション映像などのエンターテインメントコンテンツについての種々の情報である。例えばコンテンツ情報は、これらのコンテンツの内容に関する情報、コンテンツのステータス情報、コンテンツの進行情報、或いはコンテンツの説明情報などである。Then, the
またコンテンツ情報の通知処理は、例えば第２表示装置２００を用いてコンテンツ情報を表示する処理である。例えば通知処理は、コンテンツ情報の画像を第２表示装置２００の表示装置２４３に表示する処理である。例えば通知処理は、コンテンツ情報の画像を、第１表示装置１０の表示画像に重畳される画像として表示する処理である。但し通知処理は、これに限定されず、コンテンツ情報についての音の出力処理、振動処理、或いは発光素子の発光処理などであってもよい。The content information notification process is, for example, a process of displaying the content information using the
またコンテンツ処理部１１０は、第１表示装置１０に表示される表示物の情報又は第１表示装置１０の表示態様に応じて、コンテンツ情報の通知態様を変化させる。表示物の情報は、表示物のパラメータ情報、表示位置情報又は表示態様情報などである。第１表示装置１０の表示態様は、第１表示装置１０の表示画面の明るさ、色合い、コントラスト又は表示内容などである。例えばコンテンツ処理部１１０は、第１表示装置１０の表示物の情報又は表示態様に応じて、コンテンツ情報の通知内容、通知表示物、通知位置、通知イベント又は通知タイミング等を変化させる。The
例えばコンテンツ処理部１１０は、第１表示装置１０の表示物の情報又は第１表示装置１０の表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示制御を行う。例えば第１表示装置１０の表示物の情報又は表示態様に応じてコンテンツ情報の通知態様を変化させる処理として、第２表示装置２００に表示されるオブジェクトの表示制御を行う。例えばコンテンツ処理部１１０は、第１表示装置１０の表示物の情報又は表示態様に応じて、オブジェクトの表示・非表示を決定したり、オブジェクトの表示態様を変化させる。例えば第１表示装置１０の表示物の情報又は表示態様に応じて、オブジェクトの色合い、明るさ、大きさ、形状、透明度又は輪郭等の表示態様を設定する。For example, the
例えば表示物の情報は、第１表示装置１０の表示画面においてユーザにより注視された注視表示物の情報である。そしてコンテンツ処理部１１０は、第１表示装置１０での注視表示物の情報又は第１表示装置１０の表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示位置を設定する。即ち注視表示物の情報又は第１表示装置１０の表示態様に応じたオブジェクトの表示制御として、第２表示装置２００に表示されるオブジェクトの表示位置を設定（決定）する。例えばコンテンツ処理部１１０は、ユーザの注視表示物が決定されると、その注視表示物の位置に対応する位置に、第２表示装置２００でのオブジェクトを表示する制御を行う。或いは注視表示物の大きさや形状に応じた位置に、第２表示装置２００でのオブジェクトを表示する制御を行う。或いは第１表示装置１０の表示画面の表示態様や表示内容に応じた適切な位置に、第２表示装置２００でのオブジェクトを表示する制御を行う。なお本実施形態では、記載の明確化のために、第２表示装置２００の表示装置２４３に表示される表示物（図２のＯＢ１～ＯＢ５等）を、第１表示装置１０の「表示物」と区別して、「オブジェクト」と記載することとする。このオブジェクトは、第２表示装置２００により、第１表示装置１０の表示画像への重畳画像として表示されるオブジェクトである。For example, the information on the display object is information on the gaze display object gazed upon by the user on the display screen of the
またコンテンツ処理部１１０は、注視表示物の情報又は第１表示装置１０の表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示態様を設定する。即ち第１表示装置１０の注視表示物の情報又は表示態様に応じたオブジェクトの表示制御として、第２表示装置２００に表示されるオブジェクトの表示態様を設定（決定）する。例えばコンテンツ処理部１１０は、ユーザの注視表示物が決定されると、その注視表示物に対応する表示態様で、第２表示装置２００でのオブジェクトを表示する制御を行う。或いは注視表示物の明るさ、色、形状、又は大きさに応じた表示態様で、第２表示装置２００でのオブジェクトを表示する制御を行う。或いは第１表示装置１０の表示画面の表示態様や表示内容に応じた適切な表示態様で、第２表示装置２００でのオブジェクトを表示する制御を行う。The
また本実施形態のエンターテインメントシステムは、情報取得部１０２とコンテンツ処理部１１０を含む。そして情報取得部１０２は、第１表示装置１０に表示される表示物の情報又は第１表示装置１０の表示態様の情報を取得する。またコンテンツ処理部１１０は、第１表示装置１０の表示画像に対して第２表示装置２００の表示画像が付加されたコンテンツ画像をユーザに視認させる処理を行う。そしてコンテンツ処理部１１０は、コンテンツ情報を第２表示装置２００を用いてユーザに通知する通知処理を行い、第１表示装置１０の表示物の情報又は表示態様に応じて、コンテンツ情報の通知態様を変化させる。例えばコンテンツ処理部１１０は、第１表示装置１０の表示物の情報又は表示態様に応じて、コンテンツ情報の通知内容、通知表示物、通知位置、通知イベント又は通知タイミング等を変化させる。The entertainment system of this embodiment also includes an
この場合にコンテンツ処理部１１０は、第１表示装置１０の表示物の情報又は表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示制御を行う。例えば第１表示装置１０の表示物の情報又は表示態様に応じてコンテンツ情報の通知態様を変化させる処理として、第２表示装置２００に表示されるオブジェクトの表示制御を行う。例えばコンテンツ処理部１１０は、第１表示装置１０の表示物の情報又は表示態様に応じて、オブジェクトの表示・非表示を決定したり、オブジェクトの表示態様を変化させる。In this case, the
具体的にはコンテンツ処理部１１０は、第１表示装置１０の表示物の情報又は表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示位置を設定する。即ち表示物の情報又は第１表示装置１０の表示態様に応じたオブジェクトの表示制御として、第２表示装置２００に表示されるオブジェクトの表示位置を設定（決定）する。例えばコンテンツ処理部１１０は、第１表示装置１０の表示物の位置に対応する位置に、第２表示装置２００でのオブジェクトを表示する制御を行う。或いは表示物の大きさや形状に応じた位置に、第２表示装置２００でのオブジェクトを表示する制御を行う。或いは第１表示装置１０の表示画面の表示態様や表示内容に応じた適切な位置に、第２表示装置２００でのオブジェクトを表示する制御を行う。Specifically, the
またコンテンツ処理部１１０は、第１表示装置１０の表示物の情報又は表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示態様を設定する。即ち第１表示装置１０の表示物の情報又は表示態様に応じたオブジェクトの表示制御として、第２表示装置２００に表示されるオブジェクトの表示態様を設定（決定）する。例えばコンテンツ処理部１１０は、第１表示装置１０の表示物に対応する表示態様で、第２表示装置２００でのオブジェクトを表示する制御を行う。或いは表示物の明るさ、色、形状、又は大きさに応じた表示態様で、第２表示装置２００でのオブジェクトを表示する制御を行う。或いは第１表示装置１０の表示画面の表示態様や表示内容に応じた適切な表示態様で、第２表示装置２００でのオブジェクトを表示する制御を行う。The
また第２表示装置２００に表示されるオブジェクトは、第１表示装置１０に表示される表示物に関連するオブジェクトである。例えば第２表示装置２００のオブジェクトは、第１表示装置１０の表示物に対して予め関連づけられているオブジェクトである。例えば第２表示装置２００のオブジェクトは、第１表示装置１０の表示物に対応づけられて記憶部１７０に記憶される。例えば第１表示物には、第１オブジェクト（第１オブジェクト群）が関連づけられており、第２表示物には、第２オブジェクト（第２オブジェクト群）が関連づけられている。そして例えば第１表示装置１０に表示物が表示されると、この表示物に関連づけられたオブジェクトが第２表示装置２００に表示される。The objects displayed on the
また第１表示装置１０の表示物の情報は、例えば表示物のパラメータ情報、表示物の表示位置情報又は表示物の表示態様情報である。表示物のパラメータの情報は、表示物の状態や状況を表すパラメータの情報であり、例えばゲームに登場する表示物のゲームパラメータの情報である。例えば表示物がゲームのキャラクタである場合には、パラメータ情報は、当該キャラクタに対応づけて記憶部１７０の記憶されるキャラクタのゲームのパラメータ情報である。例えばキャラクタのステータス、能力、レベル又は属性等を表すパラメータの情報である。表示物の表示位置情報は、例えば第１表示装置１０の表示画面での位置座標、表示エリア又は表示場所等についての情報である。表示物の表示位置情報は、仮想的な３次元空間での表示物の位置情報であってもよい。表示物の表示態様情報は、例えば表示物の色合い、明るさ、大きさ、形状、透明度又はテクスチャ等の情報である。The information on the display object of the
また本実施形態のエンターテインメントシステムは、画像解析部１０５とコンテンツ処理部１１０を含む。画像解析部１０５は、第２表示装置２００のカメラにより第１表示装置１０を撮影した撮影画像の解析処理を行う。例えば情報取得部１０２が、第２表示装置２００のカメラにより第１表示装置１０を撮影した撮影画像の情報を取得し、画像解析部１０５が、取得された撮影画像の解析処理を行う。例えばカメラの撮影画像に映る第１表示装置１０の表示画像等の解析処理を行う。例えば画像解析部１０５は、第１表示装置１０に表示される表示物又は第１表示装置１０の表示態様の解析処理を行う。或いは画像解析部１０５は、第１表示装置１０の表示画面でのユーザの注視領域を検出するための画像解析処理を行う。The entertainment system of this embodiment also includes an
そしてコンテンツ処理部１１０は、撮影画像の解析処理の結果に基づくコンテンツ情報を、第２表示装置２００を用いてユーザに通知する通知処理を行う。例えば第１表示装置１０を撮影したカメラの撮影画像の解析処理の結果に基づいて、第１表示装置１０に表示される表示物の情報や、第１表示装置１０の表示態様が特定される。そしてコンテンツ処理部１１０は、特定された第１表示装置１０の表示物の情報又は第１表示装置１０の表示態様に応じて、コンテンツ情報の通知態様を変化させる処理を行う。即ちコンテンツ処理部１１０は、撮影画像の解析処理の結果に基づき特定された表示物の情報又は表示態様に応じて、コンテンツ情報の通知態様を変化させる処理を行う。具体的には、第１表示装置１０の表示物の情報又は表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示制御を行う。或いは、第１表示装置１０を撮影したカメラの撮影画像の解析処理の結果に基づいて、第１表示装置１０の表示画面でのユーザの注視領域が検出される。そしてコンテンツ処理部１１０は、カメラの撮影画像の解析処理の結果に基づき検出された注視領域に対応するコンテンツ情報を、第２表示装置２００を用いてユーザに通知する通知処理を行う。例えばカメラの撮影画像の解析処理の結果に基づき、ユーザにより注視された注視表示物が特定されたとする。この場合には、コンテンツ処理部１１０は、注視表示物の情報又は第１表示装置１０の表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示位置を設定する処理を行ったり、第２表示装置２００に表示されるオブジェクトの表示態様を設定する処理を行う。Then, the
またコンテンツ処理部１１０は、第１表示装置１０と第２表示装置２００の位置関係に応じて、第１表示装置１０又は第２表示装置２００の表示内容、或いはコンテンツ情報の通知態様を変化させる。例えば位置関係検出部１０６が、第１表示装置１０と第２表示装置２００の位置関係を検出すると、コンテンツ処理部１１０は、検出された位置関係に応じて、第１表示装置１０又は第２表示装置２００の表示内容を変化させたり、コンテンツ情報の通知態様を変化させる。例えばコンテンツ処理部１１０は、第１表示装置１０と第２表示装置２００の位置関係に応じて、第１表示装置１０で表示される表示物の種類又は表示態様等を変化させたり、第２表示装置２００で表示されるオブジェクトの種類又は表示態様等を変化させる。或いはコンテンツ処理部１１０は、第１表示装置１０と第２表示装置２００の位置関係に応じて、コンテンツ情報の通知内容、通知表示物、通知位置、通知イベント又は通知タイミング等を変化させる。The
またコンテンツ処理部１１０は、第１表示装置１０と第２表示装置２００の位置関係と、第１表示装置１０に表示される表示物の情報とに応じて、第１表示装置１０又は第２表示装置２００の表示内容、或いはコンテンツ情報の通知態様を変化させる。例えばコンテンツ処理部１１０は、第１表示装置１０と第２表示装置２００の位置関係と、第１表示装置１０の表示物の情報とにより、第１表示装置１０に表示される表示物の種類又は表示態様等を変化させたり、第２表示装置２００に表示されるオブジェクトの種類又は表示態様を変化させたり、コンテンツ情報の通知内容、通知表示物、通知位置、通知イベント又は通知タイミング等を変化させる。In addition, the
図７（Ａ）、図７（Ｂ）に、本実施形態のエンターテインメントシステムのハードウェアの実現構成例を示す。図７（Ａ）では、情報処理装置４０が、有線又は無線により第１表示装置１０及び第２表示装置２００に通信接続されている。そして情報処理装置４０が第１表示装置１０及び第２表示装置２００の制御処理を行う。情報処理装置４０は、例えばパーソナルコンピュータ（ＰＣ）、ゲーム装置、或いは通信端末装置である。パーソナルコンピュータはデスクトップＰＣ、ノートＰＣ又はタブレット型ＰＣなどである。ゲーム装置は家庭用ゲーム装置であってもよいし、アミューズメント施設に設置される業務用ゲーム装置であってもよい。通信端末装置は例えばスマートフォン等の携帯型の通信端末装置である。例えば図７（Ａ）では、情報処理装置４０が、第１表示装置１０での表示画像の表示処理を行うと共に、第２表示装置２００での表示画像の表示処理を行う。第１表示装置１０での表示処理は情報処理装置４０と第１表示装置１０の分散処理により実現でき、第２表示装置２００での表示処理は情報処理装置４０と第２表示装置２００の分散処理により実現できる。そして情報処理装置４０が、第１表示装置１０の表示画像に対して第２表示装置２００の表示画像が付加されたコンテンツ画像をユーザに視認させる処理を行う。例えば情報処理装置４０が、第１表示装置１０の表示画像の情報を第１表示装置１０に送信し、第２表示装置２００の表示画像の情報を第２表示装置２００に送信する。そして、第２表示装置２００において、第１表示装置１０の表示画像の透過画像に対して、第２表示装置２００の表示画像を重畳表示する処理が行われる。7(A) and 7(B) show examples of the hardware configuration of the entertainment system of this embodiment. In FIG. 7(A), the
図７（Ｂ）では、第２表示装置２００、サーバ５０、情報処理装置４０が、ネットワーク６０を介して通信接続されている。ネットワーク６０（配信網、通信回線）は、例えばインターネットや無線ＬＡＮ等を利用した通信路であり、直接接続のための専用線（専用ケーブル）やイーサネット（登録商標）等によるＬＡＮの他、電話通信網やケーブル網や無線ＬＡＮ等の通信網を含むことができる。また通信方法については有線／無線を問わない。サーバ５０は、エンターテインメントシステムの運営者が運営するサーバであり、例えばエンターテインメントシステムの各種の制御処理や管理処理を実行する。図７（Ｂ）では、本実施形態のエンターテインメントシステムの各処理は、例えば情報処理装置４０、サーバ５０、第２表示装置２００の分散処理などにより実現できる。図７（Ｂ）では、例えば情報処理装置４０が、第１表示装置１０での表示画像の表示処理を行い、第２表示装置２００が、第２表示装置２００での表示画像の表示処理を行う。そしてサーバ５０が、情報処理装置４０、第２表示装置２００の各種の制御処理や管理処理を行う。例えばサーバ５０は、第１表示装置１０の表示画像に対して第２表示装置２００の表示画像が付加されたコンテンツ画像をユーザに視認させるための制御処理や管理処理を行うことができる。In FIG. 7B, the
２．本実施形態の手法
次に本実施形態の手法について詳細に説明する。 2. Method of the Present Embodiment Next, the method of the present embodiment will be described in detail.
２．１ 第２表示装置を用いた通知処理
本実施形態のエンターテインメントシステムは、図１で説明したように、第１表示装置１０と、第１表示装置１０の表示画像が視認可能な第２表示装置２００とを用いたエンターテインメントシステムである。そして本実施形態では第２表示装置を用いた種々の通知処理を実現する。図８は本実施形態の処理例を説明するフローチャートである。 2.1 Notification process using the second display device As described in Fig. 1, the entertainment system of this embodiment is an entertainment system using the
まず本実施形態のエンターテインメントシステムは、図３で説明したように、ユーザＵＳの視線方向ＬＳの情報を取得する（ステップＳ１）。例えばユーザＵＳが装着する第２表示装置２００の方向等のトラッキング処理を行うことで、ユーザＵＳの視線方向ＬＳを検出する。或いは、ユーザＵＳの視線トラッキング（アイトラッキング）を行うことでユーザＵＳの視線方向ＬＳを検出してもよい。First, the entertainment system of this embodiment acquires information on the gaze direction LS of the user US as described in FIG. 3 (step S1). For example, the gaze direction LS of the user US is detected by performing a tracking process on the direction of the
次にエンターテインメントシステムは、図３に示すように、ユーザＵＳの視線方向ＬＳの情報に基づいて、第１表示装置１０の表示画面でのユーザＵＳの注視領域ＡＲＧを検出する（ステップＳ２）。例えば図３では、ユーザＵＳは、自身の操作キャラクタであるキャラクタＣＨ１を注視しており、このキャラクタＣＨ１の配置位置に対応する領域が注視領域ＡＲＧとして検出されている。一例としては、ユーザＵＳの視線方向ＬＳに沿った線と第１表示装置１０の表示画面との交点を含む領域が、注視領域ＡＲＧとして検出される。なお、前述したように、第２表示装置２００のカメラの向く方向や、第２表示装置２００である透過型表示装置の向く方向に基づいて、注視領域ＡＲＧを検出してもよい。Next, as shown in FIG. 3, the entertainment system detects the gaze area ARG of the user US on the display screen of the
そしてエンターテインメントシステムは、第１表示装置１０の表示画像に対して第２表示装置２００の表示画像が付加されたコンテンツ画像をユーザＵＳに視認させる処理を行う際に、注視領域ＡＲＧに対応するコンテンツ情報を、第２表示装置２００を用いてユーザに通知する通知処理を行う（ステップＳ３）。例えば図３では、第１表示装置１０の表示画面においてユーザＵＳが注視する注視領域ＡＲＧには、キャラクタＣＨ１が表示されている。そして注視領域ＡＲＧに対応するコンテンツ情報として、第１表示装置１０の表示物であるキャラクタＣＨ１についての情報を通知する。具体的には図２に示すように、注視領域ＡＲＧに位置するキャラクタＣＨ１のステータス情報を、第１表示装置１０の表示画像ＩＭＤに重畳される第２表示装置２００の表示画像ＩＭＨとしてユーザＵＳに表示する。このようにすれば、ユーザＵＳは、第１表示装置１０の表示画面において自身が注視した注視領域ＡＲＧに対応するコンテンツ情報を、第２表示装置２００を利用して知ることが可能になる。即ち、ユーザＵＳは、第１表示装置１０の表示画面において自身が所望する領域を注視するだけで、その注視領域ＡＲＧに対応するコンテンツ情報を取得できるようになる。従って、第１表示装置１０と第２表示装置２００を用いたシステムにおいて第１表示装置１０に関連するコンテンツ情報をユーザに対して通知することができるエンターテインメントシステム等の提供が可能になる。例えば第１表示装置１０と第２表示装置２００を用いたエンターテインメントシステムにおいて興趣性の高い演出制御を実現できる。Then, when the entertainment system performs a process of making the user US view the content image in which the display image of the
また本実施形態では、図８のステップＳ３の通知処理として、第２表示装置２００を用いてコンテンツ情報を表示する処理を行っている。即ち図２、図３に示すように、第２表示装置２００を用いてコンテンツ情報に対応する表示画像ＩＭＨを、第１表示装置１０の表示画像ＩＭＤに対して重畳表示することで、注視領域ＡＲＧに対応するコンテンツ情報をユーザに通知している。このようにすれば、ユーザＵＳは、第１表示装置１０の表示画面において自身が注視した注視領域ＡＲＧに対応するコンテンツ情報を、第２表示装置２００の表示画像ＩＭＨにより視覚的に認識できるようになる。即ち、ユーザＵＳは、第１表示装置１０の表示画面において自身が所望する領域を注視するだけで、その注視領域ＡＲＧに対応するコンテンツ情報を、第２表示装置２００の表示画像ＩＭＨにより視認できるようになり、第１表示装置１０と第２表示装置２００を用いたエンターテインメントシステムにおける好適なユーザインターフェースを実現できる。なお、コンテンツ情報をユーザＵＳに通知する通知処理は、図２、図３に示すような画像表示による通知処理には限定されず、図４で説明したように、振動、音又は発光等による通知処理であってもよい。In this embodiment, the notification process of step S3 in FIG. 8 involves displaying content information using the
また本実施形態では、第１表示装置１０の表示物の情報又は表示態様に応じて、コンテンツ情報の通知態様を変化させる。図９はこの場合の本実施形態の処理例を説明するフローチャートである。In this embodiment, the notification mode of the content information is changed according to the information or display mode of the display object of the
まずエンターテインメントシステムは、第１表示装置１０に表示される表示物の情報又は第１表示装置１０の表示態様の情報を取得する（ステップＳ１１）。図１を例にとれば、第１表示装置１０に表示されるキャラクタＣＨ１～ＣＨ３、ＣＥ１～ＣＥ３や背景表示物などの表示物の情報や、第１表示装置１０の表示画面の明るさ、色合い、コントラスト又は表示内容などの表示態様の情報を取得する。この表示物の情報や表示態様の情報は、第１表示装置１０を撮影したカメラの撮影画像の解析処理の結果に基づいて取得してもよい。そして第１表示装置１０の表示物の情報又は表示態様に応じて、コンテンツ情報の通知態様を変化させる（ステップＳ１２）。例えば第１表示装置１０の表示物の情報又は表示態様に応じて、コンテンツ情報の通知内容、通知表示物、通知位置、通知イベント又は通知タイミング等を変化させる。例えば第１表示装置１０の表示物が第１表示物である場合、或いは第１表示装置１０の表示態様が第１表示態様である場合には、第１通知内容、第１通知表示物、第１通知位置、第１通知イベント又は第１通知タイミングでコンテンツ情報を通知する。第１表示装置１０の表示物が第２表示物である場合、或いは第１表示装置１０の表示態様が第２表示態様である場合には、第２通知内容、第２通知表示物、第２通知位置、第２通知イベント又は第２通知タイミングでコンテンツ情報を通知する。First, the entertainment system acquires information on the display object displayed on the
具体的にはエンターテインメントシステムは、第１表示装置１０の表示物に応じた通知内容又は通知表示物のコンテンツ情報を、ユーザに通知する。例えば第１表示装置１０の表示物がキャラクタである場合には、キャラクタに対応する通知内容のコンテンツ情報を通知したり、キャラクタに対応する通知表示物を表示する通知処理を行う。例えばキャラクタの情報を知らせる通知内容のコンテンツ情報を通知したり、キャラクタに関連する通知表示物を表示する。また第１表示装置１０の表示物に応じた通知イベントのコンテンツ情報を通知したり、第１表示装置１０の表示物に応じた通知タイミングでコンテンツ情報を通知する。例えば第１表示装置１０の表示物がキャラクタである場合には、キャラクタに関連する通知イベントが発生するようなコンテンツ情報を通知したり、キャラクタの登場タイミング等に対応する通知タイミングでコンテンツ情報を通知する。或いは、第１表示装置１０の表示画面の明るさ、色合い、コントラスト又は表示内容等の表示態様に応じて、コンテンツ情報の通知内容、通知表示物、通知位置、通知イベント又は通知タイミング等を変化させる。例えば第１表示装置１０の表示態様に適した通知内容又は通知表示物のコンテンツ情報を、ユーザに通知する。或いは、第１表示装置１０の表示態様に適した通知位置でコンテンツ情報を通知したり、第１表示装置１０の表示態様に適した通知イベントが発生するようなコンテンツ情報を通知したり、第１表示装置１０の表示態様に適した通知タイミングで、コンテンツ情報を通知する。このように本実施形態によれば、第１表示装置１０の表示物の情報又は表示態様に応じてコンテンツ情報の通知態様を変化させているため、第１表示装置１０の表示物又は表示態様に適した通知態様で、コンテンツ情報をユーザに通知できるようになる。従って、第１表示装置１０の表示画像に第２表示装置２００の表示画像が付加されたコンテンツ画像をユーザに視認させるエンターテインメントシステムにおいて、第１表示装置１０の表示物又は表示態様に応じた適切なコンテンツ情報をユーザに通知することが可能になる。Specifically, the entertainment system notifies the user of the notification content or content information of the notification display object corresponding to the
また本実施形態では、第１表示装置１０の表示物の情報又は表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示制御を行う。このようにすれば、第１表示装置１０の表示物又は表示態様に応じて表示制御されるオブジェクトを第２表示装置２００に表示して、第１表示装置１０の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。従って、第１表示装置１０の表示物又は表示態様を反映させたオブジェクトの表示制御を行って、当該オブジェクトを用いたコンテンツ情報の通知処理を実現できるようになる。図１０はこの場合の本実施形態の処理例を説明するフローチャートである。In addition, in this embodiment, display control of an object displayed on the
まずエンターテインメントシステムは、第１表示装置１０に表示される表示物（注視表示物）の情報又は第１表示装置１０の表示態様の情報を取得する（ステップＳ２１）。例えば表示物のパラメータ情報、表示位置情報又は表示態様情報などの表示物の情報や、第１表示装置１０の表示画面の明るさ、色合い、コントラスト又は表示内容などの表示態様の情報を取得する。この表示物の情報や表示態様の情報は、第１表示装置１０を撮影したカメラの撮影画像の解析処理の結果に基づいて取得してもよい。そして第１表示装置１０の表示物（注視表示物）の情報又は表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示位置又は表示態様の設定する（ステップＳ２２）。即ち、第１表示装置１０の表示物の情報又は表示態様に応じた第２表示装置２００のオブジェクトの表示制御として、第２表示装置２００に表示されるオブジェクトの表示位置又は表示態様を設定する制御を行う。First, the entertainment system acquires information on the display object (the gazed display object) displayed on the
このように本実施形態では、第１表示装置１０の表示物の情報又は表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示位置を設定する。このようにすれば、第１表示装置１０の表示物の情報又は表示態様に応じた表示位置にオブジェクトを表示して、第１表示装置１０の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。従って、第１表示装置１０の表示物又は表示態様に応じた表示位置にオブジェクトを表示して、当該オブジェクトを用いたコンテンツ情報の通知処理を実現できるようになる。In this manner, in this embodiment, the display position of an object displayed on the
例えば図１１（Ａ）では、第１表示装置１０の表示物であるキャラクタＣＨ１は、第１表示装置１０の表示画面の左側の位置に表示されている。この場合には、第２表示装置２００において表示画像ＩＭＨとして表示されるオブジェクトＯＢ１、ＯＢ２の表示位置も左側の位置に設定する。また図１１（Ｂ）では、第１表示装置１０の表示物であるキャラクタＣＨ１は、第１表示装置１０の表示画面の右側の位置に表示されている。この場合には、第２表示装置２００に表示されるオブジェクトＯＢ１、ＯＢ２の表示位置も右側の位置に設定する。即ち第１表示装置１０の表示物の情報である表示物の位置情報に応じて、第２表示装置２００に表示されるオブジェクトの表示位置を設定している。或いは、表示物の形状又は大きさの情報に応じて、第２表示装置２００に表示されるオブジェクトの表示位置を設定してもよい。例えば第１表示装置１０での表示物の表示位置、形状又は大きさなどの表示物の情報を判断して、当該表示物の視認を妨げない表示位置に、第２表示装置２００におけるオブジェクトを表示する。このようにすれば、第１表示装置１０の表示物の表示位置、形状又は大きさなどの表示物の情報に応じた適切な表示位置に、第２表示装置２００におけるオブジェクトを表示できるようになる。或いは、本実施形態では、第１表示装置１０の表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示位置を設定してもよい。例えば第１表示装置１０の明るさ、色合い、コントラスト又は表示内容などの表示態様を判断して、オブジェクトを用いたコンテンツ情報の通知に好適な表示位置に、第２表示装置２００におけるオブジェクトを表示する。或いは第１表示装置１０の表示態様を判断して、第１表示装置１０における表示を妨げない表示位置に、第２表示装置２００におけるオブジェクトを表示する。このようにすれば、第１表示装置１０の表示態様に応じた適切な表示位置に、第２表示装置２００におけるオブジェクトを表示できるようになる。For example, in FIG. 11(A), the character CH1, which is a display object of the
また本実施形態では、第１表示装置１０の表示物の情報又は表示態様に応じて、第２表示装置２００に表示されるオブジェクトの表示態様を設定する。例えば第２表示装置２００におけるオブジェクトの色合い、明るさ、大きさ、形状、透明度又は輪郭等の表示態様を設定する。このようにすれば、第１表示装置１０の表示物の情報又は表示態様に応じた表示態様でオブジェクトを表示して、第１表示装置１０の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。従って、第１表示装置１０の表示物又は表示態様に応じた表示態様でオブジェクトを表示して、当該オブジェクトを用いたコンテンツ情報の通知処理を実現できるようになる。In addition, in this embodiment, the display mode of the object displayed on the
例えば図１２では、第１表示装置１０の表示物であるキャラクタＣＨ１の情報に応じて、第２表示装置２００の表示画像ＩＭＨのオブジェクトＯＢ１、ＯＢ２の色合い、明るさ、大きさ、形状、透明度又は輪郭等の表示態様を設定している。例えば表示物であるキャラクタＣＨ１に応じた色合い、明るさに、第２表示装置２００におけるオブジェクトＯＢ１、ＯＢ２の色合い、明るさを設定する。例えばキャラクタＣＨ１と同様の色合い、明るさにオブジェクトＯＢ１、ＯＢ２の色合い、明るさを設定する。或いは表示物であるキャラクタＣＨ１に応じた大きさ、形状に、第２表示装置２００におけるオブジェクトＯＢ１、ＯＢ２の大きさ、形状を設定する。例えばキャラクタＣＨ１が大きい場合には、オブジェクトＯＢ１、ＯＢ２も大きくしたり、キャラクタＣＨ１の形状に対応する形状のオブジェクトＯＢ１、ＯＢ２を表示する。なお第１表示装置１０にどのような表示物が表示されているかは、例えば第１表示装置１０を撮影したカメラの撮影画像の解析処理の結果に基づいて特定できる。For example, in FIG. 12, the display mode such as the color, brightness, size, shape, transparency or contour of the objects OB1 and OB2 of the display image IMH of the
また図１２では、第１表示装置１０の表示画面（ＩＭＤ）の明るさ、色合い、コントラスト又は表示内容等の表示態様に応じて、第２表示装置２００の表示画像ＩＭＨのオブジェクトＯＢ１、ＯＢ２の色合い、明るさ、大きさ、形状、透明度又は輪郭等の表示態様を設定している。例えば第１表示装置１０の表示画面（ＩＭＤ）が明るい場合には、明るい表示画面においても第２表示装置２００により表示されるオブジェクトＯＢ１、ＯＢ２の視認度が高くなるように、オブジェクトＯＢ１、ＯＢ２の表示態様を設定する。例えば第１表示装置１０の表示画面（ＩＭＤ）が明るい場合には、第２表示装置２００におけるオブジェクトＯＢ１、ＯＢ２の色合いを黒くしたり、透明度を下げたり（不透明度を上げたり）、或いはオブジェクトＯＢ１、ＯＢ２の輪郭が目立つようにオブジェクトＯＢ１、ＯＢ２の表示態様を設定する。また第１表示装置１０の表示画面の色合いに応じた色合いに、第２表示装置２００におけるオブジェクトＯＢ１、ＯＢ２の色合いを設定する。例えば第２表示装置２００におけるオブジェクトＯＢ１、ＯＢ２の色合いを、第１表示装置１０の表示画面と同様の色合いに設定したり、表示画面においてオブジェクトＯＢ１、ＯＢ２の視認性が高まるような色合いに設定する。或いは、第２表示装置２００におけるオブジェクトＯＢ１、ＯＢ２の大きさ又は形状等を、第１表示装置１０の表示内容である表示コンテンツに応じた大きさ、形状又は透明度等に設定する。例えば第２表示装置２００におけるオブジェクトＯＢ１、ＯＢ２の大きさ、形状又は透明度等を、第１表示装置１０の表示コンテンツの視認の妨げにならないような大きさ、形状又は透明度に設定する。なお、環境光の明るさを検出する環境光センサを設け、この環境光センサの検出結果に基づいて、第２表示装置２００により表示されるオブジェクトＯＢ１、ＯＢ２の表示制御を行ってもよい。また第１表示装置１０の表示画面の明るさ、色合い、コントラスト又は表示内容等の表示態様は、例えば第１表示装置１０を撮影したカメラの撮影画像の解析処理の結果に基づいて特定することができる。In FIG. 12, the display modes of the objects OB1 and OB2 of the display image IMH of the
また第１表示装置１０の表示画面においてユーザにより注視された注視表示物を検出する場合には、注視表示物の情報に応じて、第２表示装置２００に表示されるオブジェクトの表示位置を設定する。例えば図３では、ユーザの視線方向ＬＳの情報に基づいてユーザの注視領域ＡＲＧが検出され、これによりユーザの注視表示物であるキャラクタＣＨ１が検出されている。この場合に、検出された注視表示物（キャラクタＣＨ１）の情報に応じて、第２表示装置２００に表示されるオブジェクト（ＯＢ１、ＯＢ２）の表示位置を設定する。例えば注視表示物のパラメータ情報、表示位置又は表示態様等に応じて、第２表示装置２００に表示されるオブジェクトの表示位置を設定する。例えば注視表示物の表示位置の近くに、第２表示装置２００におけるオブジェクトを表示したり、注視表示物の大きさ又は形状に応じた適切な表示位置に、オブジェクトを表示する。このようにすれば、第１表示装置１０の注視表示物の情報に応じた表示位置にオブジェクトを表示して、第１表示装置１０の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。従って、第１表示装置１０の注視表示物に応じた表示位置にオブジェクトを表示して、当該オブジェクトを用いたコンテンツ情報の通知処理を実現できるようになる。なお、第１表示装置１０の表示画面においてユーザにより注視された注視表示物は、例えば第１表示装置１０を撮影したカメラの撮影画像の解析処理の結果に基づいて特定することができる。In addition, when detecting a gaze display object gazed at by a user on the display screen of the
また第１表示装置１０の表示画面においてユーザにより注視された注視表示物を検出する場合に、注視表示物の情報に応じて、第２表示装置２００に表示されるオブジェクトの表示態様を設定する。例えば図３のように、ユーザの注視表示物であるキャラクタＣＨ１が検出された場合に、検出された注視表示物（キャラクタＣＨ１）の情報に応じて、第２表示装置２００に表示されるオブジェクト（ＯＢ１、ＯＢ２）の表示態様を設定する。例えば注視表示物のパラメータ情報、表示位置又は表示態様等に応じて、第２表示装置２００に表示されるオブジェクトの表示態様を設定する。例えば注視表示物のパラメータ情報に応じて、オブジェクトの色合い、明るさ、大きさ、形状又は透明度等の表示態様を変化させる。或いは、注視表示物の色合い、明るさ、大きさ又は形状等に対応する色合い、明るさ、大きさ又は形状等のオブジェクトを、第２表示装置２００により表示する。このようにすれば、第１表示装置１０の注視表示物の情報に応じた表示態様でオブジェクトを表示して、第１表示装置１０の表示画像に対して当該オブジェクトの画像が付加されたコンテンツ画像を、ユーザに視認させることが可能になる。従って、第１表示装置１０の注視表示物に応じた表示態様でオブジェクトを表示して、当該オブジェクトを用いたコンテンツ情報の通知処理を実現できるようになる。In addition, when detecting a gaze display object gazed at by a user on the display screen of the
また第２表示装置２００に表示されるオブジェクトは、第１表示装置１０に表示される表示物に関連するオブジェクトである。例えば図２において、第２表示装置２００に表示されるオブジェクトＯＢ１～ＯＢ５は、第１表示装置１０の表示物であるキャラクタＣＨ１のステータス情報等をユーザに知らせるオブジェクトであり、表示物であるキャラクタＣＨ１に関連するオブジェクトである。このようにすれば、第１表示装置１０の表示物に関連するオブジェクトを、第１表示装置１０の表示画像に重畳表示されるオブジェクトとして、第２表示装置２００により表示できるようになる。これにより、第１表示装置１０の表示画像に対して、当該表示画像の表示物に関連するオブジェクトを、第２表示装置２００により重畳表示して、当該オブジェクトによるコンテンツ情報をユーザに通知できるようになる。The objects displayed on the
また第１表示装置１０の表示物の情報は、図１３に示すように、表示物のパラメータ情報、表示位置情報又は表示態様情報である。表示物のパラメータ情報は、キャラクタ等の表示物のステータス、能力、レベル又は属性等を表すパラメータの情報である。また表示物の表示位置情報は、例えば表示物の位置座標、表示エリア又は表示場所等である。表示物の表示態様は、例えば表示物の色合い、明るさ、大きさ、形状又は透明度等である。このようにすれば、表示物のパラメータ情報、表示位置情報又は表示態様情報に応じて、第２表示装置２００を用いて通知されるコンテンツ情報の通知態様を変化させることなどが可能になる。In addition, the information on the displayed object of the
また本実施形態では、例えば第２表示装置２００のカメラにより第１表示装置１０を撮影した撮影画像の解析処理を行う。そして、当該撮影画像の解析処理の結果に基づくコンテンツ情報を、第２表示装置２００を用いてユーザに通知する通知処理を行う。例えばカメラの撮影画像の解析処理の結果に基づき特定された表示物の情報又は表示態様に応じたコンテンツ情報を、第２表示装置２００を用いてユーザに通知する通知処理を行う。例えば解析処理の結果に基づき特定された表示物の情報又は表示態様に応じて、コンテンツ情報の通知態様を変化させる処理を行う。或いはカメラの撮影画像の解析処理の結果に基づき検出された注視領域に対応するコンテンツ情報を、第２表示装置２００を用いてユーザに通知する通知処理を行う。In this embodiment, for example, an analysis process is performed on a captured image of the
２．２ 位置関係に応じた処理
本実施形態では図１４に示すように、第１表示装置１０と第２表示装置２００の位置関係を検出する。この位置関係は、第１表示装置１０の位置と第２表示装置２００の位置の関係であってもよいし、第１表示装置１０と第２表示装置２００との間の距離の関係や、第１表示装置１０の方向と第２表示装置２００の方向の関係などであってもよい。また図１４では、第２表示装置２００が透過型ＨＭＤである場合の例を示しているが、第１表示装置１０との位置関係が検出される第２表示装置２００は、透過型ＨＭＤ以外の透過型表示装置や、カメラを有する端末装置などであってもよい。 2.2 Processing According to Positional Relationship In this embodiment, as shown in Fig. 14, the positional relationship between the
そして本実施形態では、第１表示装置１０と第２表示装置２００の位置関係に応じて、第１表示装置１０又は第２表示装置２００の表示内容、或いは第２表示装置２００を用いて通知されるコンテンツ情報の通知態様を変化させる。例えば第１表示装置１０と第２表示装置２００が第１位置関係である場合には、第１表示装置１０又は第２表示装置２００の表示内容を第１表示内容にしたり、或いは第２表示装置２００を用いてコンテンツ情報を第１通知態様で通知する。また第１表示装置１０と第２表示装置２００が第２位置関係である場合には、第１表示装置１０又は第２表示装置２００の表示内容を第２表示内容にしたり、或いは第２表示装置２００を用いてコンテンツ情報を第２通知態様で通知する。このようにすれば、第１表示装置１０と第２表示装置２００の位置関係に応じた適切な表示内容で、第１表示装置１０又は第２表示装置２００に画像を表示したり、或いは第１表示装置１０と第２表示装置２００の位置関係に応じた適切な通知態様で、第２表示装置２００によりコンテンツ情報をユーザに通知できるようになる。In this embodiment, the display content of the
例えば第１表示装置１０と第２表示装置２００の距離が遠い位置関係である場合には、第１表示装置１０又は第２表示装置２００の表示内容を、距離が遠くてもユーザが視認可能な表示内容にする。一方、第１表示装置１０と第２表示装置２００の距離が近い位置関係である場合には、第１表示装置１０又は第２表示装置２００の表示内容を、例えば距離が遠いときに比べて情報の詳細度が高い表示内容にする。また第１表示装置１０と第２表示装置２００の方向関係に応じて、第１表示装置１０又は第２表示装置２００の表示内容を変化させてもよい。例えば第２表示装置２００の向く方向が、第１表示装置１０に対して正対しており、第１表示装置１０の正面側から真っ直ぐに表示画面の方に向いている場合には、第１表示装置１０又は第２表示装置２００の表示内容を第１表示内容にする。例えば情報の詳細度が高い表示内容にする。一方、第２表示装置２００の向く方向が、第１表示装置１０に対して斜め方向になっている場合に、第１表示装置１０又は第２表示装置２００の表示内容を第２表示内容にする。例えば情報の詳細度が低く、情報を簡素化して伝える表示内容にしたり、非表示状態にする。For example, when the
また第１表示装置１０と第２表示装置２００の位置関係に応じて、第２表示装置２００を用いて通知されるコンテンツ情報の通知内容、通知表示物又は通知位置等の通知態様を変化させる。例えば第１表示装置１０と第２表示装置２００の距離が遠い位置関係である場合には、コンテンツ情報の通知内容又は通知表示物を、距離が遠い場合用の通知内容又は通知表示物にする。例えば距離が近い場合に比べて、情報の詳細度が低い通知内容の通知にしたり、簡素化された通知表示物によりコンテンツ情報を通知する。一方、第１表示装置１０と第２表示装置２００の距離が近い位置関係である場合には、コンテンツ情報の通知内容又は通知表示物を、距離が近い場合用の通知内容又は通知表示物にする。例えば距離が遠い場合に比べて、情報の詳細度が高い通知内容の通知にしたり、より精細な形状の通知表示物によりコンテンツ情報を通知する。或いは、第１表示装置１０と第２表示装置２００の位置関係に応じた適切な通知位置にコンテンツ情報を表示する。例えば第１表示装置１０の表示画面において、第２表示装置２００の位置から視認しやすい領域にコンテンツ情報が表示されるようにする。In addition, the notification mode such as the notification content, notification display, or notification position of the content information notified using the
また図４のようにコンテンツ情報が音、振動又は発光により通知するものである場合に、第１表示装置１０と第２表示装置２００の位置関係に応じて、音、振動又は発光によるコンテンツ情報の通知態様を変化させてもよい。例えば第１表示装置１０と第２表示装置２００の距離が遠い位置関係である場合には、音又は振動を小さくしたり、発光を弱くし、距離が近い位置関係である場合には、音又は振動を大きくしたり、発光を強くする。また第１表示装置１０と第２表示装置２００の位置関係に応じて、コンテンツ情報の通知のオン、オフを制御してもよい。例えば第１表示装置１０と第２表示装置２００の距離が近い位置関係である場合には、コンテンツ情報の通知をオンにし、距離が遠い位置関係である場合には、コンテンツ情報の通知をオフにする。或いは、第１表示装置１０の方向と第２表示装置２００の方向の関係が、第２表示装置２００から見て第１表示装置１０の表示画面を視認しやすい関係である場合には、コンテンツ情報の通知をオンにし、視認しくい関係である場合には、コンテンツ情報の通知をオフにする。In addition, when the content information is notified by sound, vibration, or light emission as shown in FIG. 4, the notification mode of the content information by sound, vibration, or light emission may be changed according to the positional relationship between the
また本実施形態では、第１表示装置１０と第２表示装置２００の位置関係と、第１表示装置１０に表示される表示物の情報とに応じて、第１表示装置１０又は第２表示装置２００の表示内容、或いはコンテンツ情報の通知態様を変化させてもよい。即ち、第１表示装置１０と第２表示装置２００の位置関係のみならず、第１表示装置１０に表示される表示物の情報も考慮して、第１表示装置１０又は第２表示装置２００の表示内容を変化させたり、コンテンツ情報の通知態様を変化させる。このようにすれば、第１表示装置１０と第２表示装置２００の位置関係と第１表示装置１０の表示物の情報に応じた適切な表示内容で、第１表示装置１０又は第２表示装置２００に画像を表示したり、或いは第１表示装置１０と第２表示装置２００の位置関係と表示物の情報に応じた適切な通知態様で、第２表示装置２００によりコンテンツ情報をユーザに通知できるようになる。In addition, in this embodiment, the display contents of the
例えば第１表示装置１０と第２表示装置２００の距離が近い位置関係であったり、或いは第２表示装置２００から見て第１表示装置１０の表示画面を視認しやすい関係であるなどの所定の位置関係であることを条件に、第１表示装置１０の表示物の情報に応じて、第１表示装置１０又は第２表示装置２００の表示内容、或いはコンテンツ情報の通知態様を変化させる。例えば第１表示装置１０と第２表示装置２００が所定の位置関係（距離が近い関係又は視認しやすい関係等）であることを条件に、第１表示装置１０又は第２表示装置２００の表示内容を、第１表示装置１０の表示物の情報に応じた表示内容に設定する。或いは、第１表示装置１０と第２表示装置２００が所定の位置関係（距離が近い関係又は視認しやすい関係等）であることを条件に、前述の図９で説明したように、第１表示装置１０の表示物の情報に応じて、コンテンツ情報の通知態様を変化させる。例えば第１表示装置１０と第２表示装置２００が所定の位置関係であることを条件に、第１表示装置１０の表示物の情報に応じて、第２表示装置２００を用いて通知されるコンテンツ情報の通知内容、通知表示物又は通知位置等の通知態様を変化させる。或いは、第１表示装置１０と第２表示装置２００が所定の位置関係（距離が近い関係又は視認しやすい関係等）である場合には、第１表示装置１０の表示物の情報に応じて、第１表示装置１０又は第２表示装置２００の表示内容、或いはコンテンツ情報の通知態様を変化させる変化処理を行う一方で、第１表示装置１０と第２表示装置２００が所定の位置関係ではない場合には、当該変化処理を行わないようにする。For example, on the condition that the
また図３に示すようにユーザの注視表示物（ＣＨ１）が検出される場合には、第１表示装置１０と第２表示装置２００が所定の位置関係であることを条件に、注視表示物の情報に応じて、第１表示装置１０又は第２表示装置２００の表示内容、或いはコンテンツ情報の通知態様を変化させる。例えば第１表示装置１０と第２表示装置２００の距離が近い位置関係であるときに、第１表示装置１０の表示画面でのユーザの注視表示物が検出された場合に、注視表示物の情報に応じて、第１表示装置１０又は第２表示装置２００の表示内容、或いはコンテンツ情報の通知態様を変化させる。例えば注視表示物の表示に適した内容になるように、第１表示装置１０又は第２表示装置２００の表示内容を設定する。或いは、前述したように、注視表示物のパラメータ情報、位置情報又は表示態様等に応じて、第２表示装置２００を用いて通知されるコンテンツ情報の通知内容、通知表示物又は通知位置等の通知態様を変化させる。このようにすることで、第１表示装置１０と第２表示装置２００の位置関係を反映させながら、第１表示装置１０の注視表示物の情報に応じたコンテンツ情報の種々の通知処理を実現できるようになる。Also, as shown in FIG. 3, when a user's gaze display object (CH1) is detected, the display contents of the
次に第１表示装置１０と第２表示装置２００の位置関係の検出処理の一例について説明する。図５で説明した第２表示装置２００では、ユーザの周囲の実空間の認識処理を行うことにより実空間情報を取得し、取得された実空間情報に基づいて、実空間に対応する仮想空間を生成することができる。例えば図１５（Ａ）では、実空間に机ＤＫや壁ＷＬなどの物体が存在している。この実空間を、図５の第２表示装置２００に設けられたカメラによりスキャンする認識処理を行うことで、実空間情報を取得する。具体的には図１５（Ｂ）に示すように、実空間情報としてメッシュポリゴンのデータを取得する。この実空間の認識処理は例えばリアルタイムに実行され、ユーザの周囲の実空間が順次にスキャンされて実空間情報が取得される。例えばＩＤに対応づけられた空間データが順次に取得されて、実空間情報として図６の記憶部１７０に蓄積されて記憶される。この実空間情報は、デプス情報（奥行き値）も有しており、このデプス情報を用いることで、例えば仮想空間のオブジェクトと実空間の物体との隠面消去処理も可能になる。また実空間情報に基づいて仮想空間を生成することで、仮想的なオブジェクト（キャラクタ、配置オブジェクト）と、実空間の物体（机ＤＫ、壁ＷＬ）とのインタラクションが可能になる。例えば仮想的なオブジェクトと実空間の物体とのヒット処理（衝突処理）なども可能になり、これまでにないタイプのＡＲ（Augmented Reality）やＭＲ（Mixed Reality）の実現が可能になる。また、このような実空間の認識処理による実空間情報は、ユーザの位置情報や方向情報の取得処理にも利用できる。例えば実空間情報に基づいて、ユーザとユーザの周囲の物体との位置関係や距離関係を把握できる。従って、慣性計測ユニットの検出結果と実空間情報を用いることで、より正確なユーザの位置情報や方向情報を取得することが可能になる。Next, an example of the detection process of the positional relationship between the
そして図１６に示すように、第２表示装置２００のカメラ等を用いた実空間の認識処理により、第２表示装置２００から見た第１表示装置１０についての実空間情報を取得する。具体的には、第１表示装置１０のメッシュポリゴンのデータを取得する。そして第１表示装置１０の実空間情報であるメッシュポリゴンのデータに基づいて、例えば第１表示装置１０のコーナー部に対して複数の仮想的なマーカＭＫ１、ＭＫ２、ＭＫ３を設定する。図１６では、第１表示装置１０の例えば少なくとも３つのコーナー部に対して仮想的なマーカＭＫ１、ＭＫ２、ＭＫ３が設定されている。これらのマーカＭＫ１～ＭＫ３は例えばマーカレスのＡＲにおける仮想的なマーカである。そして、これらの仮想的なマーカＭＫ１～ＭＫ３を用いて、第１表示装置１０と第２表示装置２００の位置関係を検出する。例えば第２表示装置２００の位置とマーカＭＫ１～ＭＫ３の位置の距離を求めることで、第１表示装置１０と第２表示装置２００の位置関係を検出できる。このようにすれば、第２表示装置２００のカメラ等を用いた実空間の認識処理を有効利用して、第１表示装置１０と第２表示装置２００との位置関係を検出できる。そして前述したように、検出された位置関係等に応じて、第１表示装置１０又は第２表示装置２００の表示内容、或いはコンテンツ情報の通知態様を変化させる処理を実現できるようになる。As shown in FIG. 16, the real space information of the
また本実施形態では、図１７に示すように、第１表示装置１０の表示物に対応するオブジェクトＯＢが、第１表示装置１０の画面から飛び出して来るようなＡＲやＭＲの画像表示を行ってもよい。例えば図３で説明したように第１表示装置１０の表示画面でのユーザの注視表示物を検出し、検出された注視表示物に対応するオブジェクトＯＢが、第１表示装置１０の画面から第２表示装置２００の方に移動して来るような画像を、第２表示装置２００を利用してユーザに視認させる表示処理を行う。例えば立体視表示における視差を制御することで、このような表示処理を実現できる。このようにすることで、検出された注視領域（注視表示物）に対応するコンテンツ情報であるオブジェクトＯＢを、第２表示装置２００を用いてユーザに通知する通知処理を実現できる。In this embodiment, as shown in FIG. 17, an AR or MR image may be displayed in which an object OB corresponding to an object displayed on the
なお、上記のように本実施形態について詳細に説明したが、本開示の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（第２表示装置等）と共に記載された用語（透過型ＨＭＤ等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また情報取得処理、注視領域検出処理、画像解析処理、コンテンツ処理、通知処理、位置関係検出処理等も本実施形態で説明したものに限定されず、これらと均等な手法・処理・構成も本開示の範囲に含まれる。Although the present embodiment has been described in detail above, those skilled in the art will easily understand that many modifications are possible that do not substantially deviate from the novel matters and effects of the present disclosure. Therefore, all such modifications are intended to be included in the scope of the present disclosure. For example, a term (such as a see-through HMD) described at least once in the specification or drawings together with a different term with a broader or equivalent meaning (such as a second display device) can be replaced with that different term anywhere in the specification or drawings. In addition, information acquisition processing, gaze area detection processing, image analysis processing, content processing, notification processing, positional relationship detection processing, etc. are not limited to those described in the present embodiment, and equivalent methods, processing, and configurations are also included in the scope of the present disclosure.
１０…第１表示装置、３０…表示部、４０…情報処理装置、５０…サーバ、
６０…ネットワーク、１００…処理部、１０２…情報取得部、１０４…注視領域検出部、
１０５…画像解析部、１０６…位置関係検出部、１１０…コンテンツ処理部、
１１２…通知処理部、１６０…操作部、１６２…撮像部、１７０…記憶部、
１８０…情報記憶媒体、１９２…音出力部、１９６…通信部、２００…第２表示装置、
２０２…透過型ＨＭＤ、２４０…テンプル部、２４２…ゴーグル部、２４３…表示装置、
２４４…ホログラフィック光学素子、２４６…ＲＧＢカメラ、２４７…デプスカメラ、
２４８、２４９…環境認識カメラ、
ＡＲＧ…注視領域、ＣＨ１～ＣＨ３、ＣＥ１～ＣＥ３…キャラクタ、
ＩＭＤ、ＩＭＨ…表示画像、ＬＳ…視線方向、ＭＫ１～ＭＫ３…マーカ、
ＯＢ、ＯＢ１～ＯＢ５…オブジェクト、ＲＣＨ…レアキャラクタ、ＵＳ…ユーザ10: first display device, 30: display unit, 40: information processing device, 50: server,
60: network, 100: processing unit, 102: information acquisition unit, 104: gaze area detection unit,
105: image analysis unit, 106: positional relationship detection unit, 110: content processing unit,
112: notification processing unit, 160: operation unit, 162: imaging unit, 170: storage unit,
180... Information storage medium, 192... Sound output unit, 196... Communication unit, 200... Second display device,
202: See-through HMD, 240: Temple section, 242: Goggle section, 243: Display device,
244...holographic optical element, 246...RGB camera, 247...depth camera,
248, 249...Environment recognition camera,
ARG... gaze area, CH1 to CH3, CE1 to CE3... character,
IMD, IMH...display image, LS...line of sight direction, MK1 to MK3...markers,
OB, OB1 to OB5: Objects, RCH: Rare characters, US: Users
Claims (2)
Translated fromJapaneseユーザの視線方向の情報に基づいて、前記第１表示装置の表示画面での前記ユーザの注視領域を検出する注視領域検出部と、
前記第１表示装置の第１表示画像に対して前記第２表示装置の第２表示画像が付加されたコンテンツ画像を前記ユーザに視認させる処理を行うコンテンツ処理部と、
を含み、
前記コンテンツ処理部は、
検出された前記注視領域に対応するコンテンツ情報を、前記第２表示装置を用いて前記ユーザに通知する通知処理を行い、
前記コンテンツ処理部は、
前記第１表示装置と前記第２表示装置の位置関係に応じて、前記第２表示装置の表示内容を変化させ、
前記第１表示装置の前記第１表示画像に対して前記第２表示装置の前記第２表示画像が付加される領域は、前記第１表示画像の表示領域の内側領域であり、
前記コンテンツ処理部は、
前記第１表示装置と前記第２表示装置の距離が近い位置関係である場合には、前記第１表示装置と前記第２表示装置の距離が遠い場合に比べて、前記第２表示装置の表示内容を、情報の詳細度が高い表示内容にすることを特徴とするエンターテインメントシステム。 An entertainment system using a first display device and a second display device on which a display image of the first display device can be viewed,
a gaze area detection unit that detects a gaze area of the user on a display screen of the first display device based on information on a gaze direction of the user;
a content processing unit that performs processing for causing the user to visually recognize a content image in which thesecond display image of the second display device is added to thefirst display image of the first display device;
Including,
The content processing unit includes:
performing a notification process of notifying the user of content information corresponding to the detected gaze area using the second display device;
The content processing unit includes:
changing displaycontent of the second display device according to a positional relationship between the first display deviceand the second display device;
a region in which the second display image of the second display device is added to the first display image of the first display device is an inner region of a display region of the first display image,
The content processing unit includes:
An entertainment system characterized in that when the first display device and the second display device are positioned close to each other, the display content of the second display device is displayed with a higher level of detail than when the first display device and the second display device are positioned farther apart .
ユーザの視線方向の情報に基づいて、前記第１表示装置の表示画面での前記ユーザの注視領域を検出する注視領域検出部と、
前記第１表示装置の第１表示画像に対して前記第２表示装置の第２表示画像が付加されたコンテンツ画像を前記ユーザに視認させる処理を行うコンテンツ処理部として、
コンピュータを機能させ、
前記コンテンツ処理部は、
検出された前記注視領域に対応するコンテンツ情報を、前記第２表示装置を用いて前記ユーザに通知する通知処理を行い、
前記コンテンツ処理部は、
前記第１表示装置と前記第２表示装置の位置関係に応じて、前記第２表示装置の表示内容を変化させ、
前記第１表示装置の前記第１表示画像に対して前記第２表示装置の前記第２表示画像が付加される領域は、前記第１表示画像の表示領域の内側領域であり、
前記コンテンツ処理部は、
前記第１表示装置と前記第２表示装置の距離が近い位置関係である場合には、前記第１表示装置と前記第２表示装置の距離が遠い場合に比べて、前記第２表示装置の表示内容を、情報の詳細度が高い表示内容にすることを特徴とするプログラム。
A program for use in an entertainment system using a first display device and a second display device on which a display image of the first display device can be viewed,
a gaze area detection unit that detects a gaze area of the user on a display screen of the first display device based on information on a gaze direction of the user;
a content processing unit that performs processing for causing the user to visually recognize a content image in which thesecond display image of the second display device is added to thefirst display image of the first display device,
Make your computer work
The content processing unit includes:
performing a notification process of notifying the user of content information corresponding to the detected gaze area using the second display device;
The content processing unit includes:
changing displaycontent of the second display device according to a positional relationship between the first display deviceand the second display device;
a region in which the second display image of the second display device is added to the first display image of the first display device is an inner region of a display region of the first display image,
The content processing unit includes:
A program characterized in that, when the first display device and the second display device are positioned close to each other, the display content of the second display device is displayed with a higher level of detail than when the first display device and the second display device are positioned farther apart .
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020218578AJP7685831B2 (en) | 2020-12-28 | 2020-12-28 | Entertainment Systems and Programs |
| JP2025083747AJP2025114850A (en) | 2020-12-28 | 2025-05-20 | Entertainment Systems and Programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020218578AJP7685831B2 (en) | 2020-12-28 | 2020-12-28 | Entertainment Systems and Programs |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2025083747ADivisionJP2025114850A (en) | 2020-12-28 | 2025-05-20 | Entertainment Systems and Programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022103751A JP2022103751A (en) | 2022-07-08 |
| JP7685831B2true JP7685831B2 (en) | 2025-05-30 |
Family
ID=82279647
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020218578AActiveJP7685831B2 (en) | 2020-12-28 | 2020-12-28 | Entertainment Systems and Programs |
| JP2025083747APendingJP2025114850A (en) | 2020-12-28 | 2025-05-20 | Entertainment Systems and Programs |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2025083747APendingJP2025114850A (en) | 2020-12-28 | 2025-05-20 | Entertainment Systems and Programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7685831B2 (en) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015176588A (en) | 2014-03-18 | 2015-10-05 | 株式会社東芝 | Display device, image display system and information processing method |
| JP2016507970A (en) | 2013-01-04 | 2016-03-10 | ヴァジックス コーポレーションＶｕｚｉｘ Ｃｏｒｐｏｒａｔｉｏｎ | Bidirectional wearable portable smart device |
| JP2016119567A (en) | 2014-12-19 | 2016-06-30 | シャープ株式会社 | Image processing system, image processing method, electronic apparatus, and image processing program |
| JP6160154B2 (en) | 2013-03-22 | 2017-07-12 | セイコーエプソン株式会社 | Information display system using head-mounted display device, information display method using head-mounted display device, and head-mounted display device |
| JP6240353B1 (en) | 2017-03-08 | 2017-11-29 | 株式会社コロプラ | Method for providing information in virtual space, program therefor, and apparatus therefor |
| JP6255731B2 (en) | 2013-06-17 | 2018-01-10 | コニカミノルタ株式会社 | Display system, display method, and display terminal |
| JP6264014B2 (en) | 2013-12-17 | 2018-01-24 | セイコーエプソン株式会社 | Head-mounted display device |
| JP2018137505A (en) | 2017-02-20 | 2018-08-30 | セイコーエプソン株式会社 | Display device and control method thereof |
| JP2018207517A (en) | 2018-08-17 | 2018-12-27 | 株式会社コロプラ | Method executed by computer for controlling display in head mounted device, program for causing computer to execute the method, and information processing apparatus |
| WO2020003361A1 (en) | 2018-06-25 | 2020-01-02 | マクセル株式会社 | Head-mounted display, head-mounted display linking system, and method for same |
| JP6638195B2 (en) | 2015-03-02 | 2020-01-29 | セイコーエプソン株式会社 | DISPLAY DEVICE, DISPLAY DEVICE CONTROL METHOD, AND PROGRAM |
| JP6733401B2 (en) | 2016-07-28 | 2020-07-29 | セイコーエプソン株式会社 | Display system, display device, information display method, and program |
| JP6759451B2 (en) | 2016-09-30 | 2020-09-23 | 株式会社ソニー・インタラクティブエンタテインメント | Systems and methods to reduce the impact of human tracking device occlusion |
| JP2020167660A (en) | 2019-03-29 | 2020-10-08 | 株式会社ソニー・インタラクティブエンタテインメント | Image data transmission method, content processing device, head-mounted display, relay device, and content processing system |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10545623B2 (en)* | 2013-10-04 | 2020-01-28 | Sony Corporation | Information processing device and information processing method to coordinate with a plurality of information processing devices |
| JP2016031373A (en)* | 2014-07-25 | 2016-03-07 | セイコーエプソン株式会社 | Display device, display method, display system, and program |
| JP2019068143A (en)* | 2017-09-28 | 2019-04-25 | 日本精機株式会社 | Display unit, display control method and program |
- 2020
- 2020-12-28JPJP2020218578Apatent/JP7685831B2/enactiveActive
- 2025
- 2025-05-20JPJP2025083747Apatent/JP2025114850A/enactivePending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016507970A (en) | 2013-01-04 | 2016-03-10 | ヴァジックス コーポレーションＶｕｚｉｘ Ｃｏｒｐｏｒａｔｉｏｎ | Bidirectional wearable portable smart device |
| JP6160154B2 (en) | 2013-03-22 | 2017-07-12 | セイコーエプソン株式会社 | Information display system using head-mounted display device, information display method using head-mounted display device, and head-mounted display device |
| JP6255731B2 (en) | 2013-06-17 | 2018-01-10 | コニカミノルタ株式会社 | Display system, display method, and display terminal |
| JP6264014B2 (en) | 2013-12-17 | 2018-01-24 | セイコーエプソン株式会社 | Head-mounted display device |
| JP2015176588A (en) | 2014-03-18 | 2015-10-05 | 株式会社東芝 | Display device, image display system and information processing method |
| JP2016119567A (en) | 2014-12-19 | 2016-06-30 | シャープ株式会社 | Image processing system, image processing method, electronic apparatus, and image processing program |
| JP6638195B2 (en) | 2015-03-02 | 2020-01-29 | セイコーエプソン株式会社 | DISPLAY DEVICE, DISPLAY DEVICE CONTROL METHOD, AND PROGRAM |
| JP6733401B2 (en) | 2016-07-28 | 2020-07-29 | セイコーエプソン株式会社 | Display system, display device, information display method, and program |
| JP6759451B2 (en) | 2016-09-30 | 2020-09-23 | 株式会社ソニー・インタラクティブエンタテインメント | Systems and methods to reduce the impact of human tracking device occlusion |
| JP2018137505A (en) | 2017-02-20 | 2018-08-30 | セイコーエプソン株式会社 | Display device and control method thereof |
| JP6240353B1 (en) | 2017-03-08 | 2017-11-29 | 株式会社コロプラ | Method for providing information in virtual space, program therefor, and apparatus therefor |
| WO2020003361A1 (en) | 2018-06-25 | 2020-01-02 | マクセル株式会社 | Head-mounted display, head-mounted display linking system, and method for same |
| JP2018207517A (en) | 2018-08-17 | 2018-12-27 | 株式会社コロプラ | Method executed by computer for controlling display in head mounted device, program for causing computer to execute the method, and information processing apparatus |
| JP2020167660A (en) | 2019-03-29 | 2020-10-08 | 株式会社ソニー・インタラクティブエンタテインメント | Image data transmission method, content processing device, head-mounted display, relay device, and content processing system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022103751A (en) | 2022-07-08 |
| JP2025114850A (en) | 2025-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6845111B2 (en) | Information processing device and image display method | |
| JP2023542847A (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| JP5148660B2 (en) | Program, information storage medium, and image generation system | |
| US9724609B2 (en) | Apparatus and method for augmented reality | |
| JP7144796B2 (en) | Simulation system and program | |
| US11695908B2 (en) | Information processing apparatus and information processing method | |
| JP2007042073A (en) | Video presentation system, video presentation method, program for causing computer to execute video presentation method, and storage medium | |
| US10515481B2 (en) | Method for assisting movement in virtual space and system executing the method | |
| US11768576B2 (en) | Displaying representations of environments | |
| US20190114841A1 (en) | Method, program and apparatus for providing virtual experience | |
| JP2011258158A (en) | Program, information storage medium and image generation system | |
| US10403048B2 (en) | Storage medium, content providing apparatus, and control method for providing stereoscopic content based on viewing progression | |
| WO2017056892A1 (en) | Image generation device, image generation method, and image generation program | |
| JP6530453B2 (en) | Game program and game system | |
| JP2020174329A (en) | Information processing device, display method, and computer program | |
| GB2582106A (en) | Display device and display device control method | |
| JP7685831B2 (en) | Entertainment Systems and Programs | |
| US20230221833A1 (en) | Methods for displaying user interface elements relative to media content | |
| JP7325833B2 (en) | Game program, game processing method, and game device | |
| JP7619771B2 (en) | Entertainment Systems and Programs | |
| JP5213913B2 (en) | Program and image generation system | |
| US12429945B2 (en) | Information processing apparatus and adjustment screen display method | |
| JP7319686B2 (en) | Game program, game processing method, and game device | |
| KR102772657B1 (en) | Game program, game processing method and game device | |
| JP7733481B2 (en) | Information processing device and image generating method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant | Free format text:JAPANESE INTERMEDIATE CODE: A711 Effective date:20230630 | |
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20231108 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20240521 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20240522 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20240722 | |
| RD02 | Notification of acceptance of power of attorney | Free format text:JAPANESE INTERMEDIATE CODE: A7422 Effective date:20240722 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20241112 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20250114 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20250422 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20250520 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:7685831 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 |