本開示は、情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムに関する。 The present disclosure relates to an information processing method, an apparatus, and a program for causing a computer to execute the information processing method.
特許文献１は、ヘッドマウントデバイス（ＨＭＤ：Head Mount Device）を用いた仮想体験をユーザに提供するにあたって、ユーザが視認する情報量を抑えることにより、映像酔い（いわゆるＶＲ酔い）を低減する手法を開示している。 Patent Document 1 discloses a technique for reducing video sickness (so-called VR sickness) by suppressing the amount of information visually recognized by the user when providing a virtual experience using a head mounted device (HMD) to the user. Disclosure.
よりリッチな仮想体験をユーザに提供するために、ユーザに関連付けられたキャラクタオブジェクト（アバター等）とともに移動する乗り物オブジェクトを仮想空間内に用意することが考えられる。しかし、このような乗り物オブジェクトを用いた移動体験をユーザに提供するにあたっては、乗り物オブジェクトを用いた移動によって生じ得るＶＲ酔いを抑制する仕組みが求められる。一方、特許文献１に開示された手法は、このような乗り物オブジェクトを用いた移動を想定したものではない。 In order to provide the user with a richer virtual experience, it is conceivable to prepare a vehicle object that moves together with a character object (such as an avatar) associated with the user in the virtual space. However, in order to provide a user with a moving experience using such a vehicle object, a mechanism for suppressing VR sickness that may occur due to movement using the vehicle object is required. On the other hand, the method disclosed in Patent Document 1 does not assume such movement using a vehicle object.
そこで、本開示は、ＶＲ酔いを効果的に抑制し得る情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。 Therefore, an object of the present disclosure is to provide an information processing method and apparatus capable of effectively suppressing VR sickness, and a program for causing a computer to execute the information processing method.
本開示が示す一態様によれば、表示部を備えるヘッドマウントデバイスを介してユーザに仮想空間を提供するためにコンピュータによって実行される情報処理方法が提供される。この情報処理方法は、ユーザの視界を定義する仮想カメラと、ユーザに関連付けられた第１オブジェクトと、第１オブジェクトとともに移動する第２オブジェクトと、を含む仮想空間を規定する仮想空間データを生成するステップと、第２オブジェクトの動きを特定するステップと、第２オブジェクトの物理的属性に基づいて、仮想カメラの動きを調整する対象となる調整軸を特定するステップと、第２オブジェクトの動きと調整軸とに基づいて、仮想カメラの調整軸周りの動き量を決定するステップと、動き量に基づいて、仮想カメラを動かすステップと、仮想カメラの位置と仮想空間データとに基づいて視界画像を生成し、表示部に視界画像を表示させるステップと、を含む。 According to one aspect of the present disclosure, an information processing method executed by a computer to provide a virtual space to a user via a head mounted device including a display unit is provided. The information processing method generates virtual space data defining a virtual space including a virtual camera that defines a user's field of view, a first object associated with the user, and a second object that moves together with the first object. A step of identifying a movement of the second object, a step of identifying an adjustment axis that is a target for adjusting the movement of the virtual camera based on a physical attribute of the second object, and a movement and adjustment of the second object Determining the amount of movement around the adjustment axis of the virtual camera based on the axis, moving the virtual camera based on the amount of movement, and generating a view image based on the position of the virtual camera and the virtual space data And displaying a view field image on the display unit.
本開示によれば、ＶＲ酔いを効果的に抑制し得る情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラムを提供することが可能となる。 According to the present disclosure, it is possible to provide an information processing method and apparatus that can effectively suppress VR sickness, and a program for causing a computer to execute the information processing method.
以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
［ＨＭＤシステムの構成］
図１を参照して、ＨＭＤ（Head Mount Device）システム１００の構成について説明する。図１は、ある実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ある局面において、ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。[Configuration of HMD system]
A configuration of an HMD (Head Mount Device) system 100 will be described with reference to FIG. FIG. 1 is a diagram representing an outline of a configuration of an HMD system 100 according to an embodiment. In one aspect, the HMD system 100 is provided as a home system or a business system.
ＨＭＤシステム１００は、ＨＭＤ装置１１０（ヘッドマウントデバイス）と、ＨＭＤセンサ１２０と、コントローラ１６０と、コンピュータ２００とを備える。ＨＭＤ装置１１０は、ディスプレイ１１２（表示部）と、注視センサ１４０とを含む。コントローラ１６０は、モーションセンサ１３０を含み得る。 The HMD system 100 includes an HMD device 110 (head mounted device), an HMD sensor 120, a controller 160, and a computer 200. The HMD device 110 includes a display 112 (display unit) and a gaze sensor 140. The controller 160 can include a motion sensor 130.
ある局面において、コンピュータ２００は、インターネットその他のネットワーク１９に接続可能であり、ネットワーク１９に接続されているサーバ１５０その他のコンピュータと通信可能である。別の局面において、ＨＭＤ装置１１０は、ＨＭＤセンサ１２０の代わりに、センサ１１４を含み得る。 In one aspect, the computer 200 can be connected to the Internet and other networks 19, and can communicate with the server 150 and other computers connected to the network 19. In another aspect, the HMD device 110 may include a sensor 114 instead of the HMD sensor 120.
ＨＭＤ装置１１０は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、ＨＭＤ装置１１０は、右目用の画像および左目用の画像をディスプレイ１１２にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を３次元の画像として認識し得る。 The HMD device 110 may be worn on the user's head and provide a virtual space to the user during operation. More specifically, the HMD device 110 displays a right-eye image and a left-eye image on the display 112, respectively. When each eye of the user visually recognizes each image, the user can recognize the image as a three-dimensional image based on the parallax of both eyes.
ディスプレイ１１２は、例えば、非透過型の表示装置として実現される。ある局面において、ディスプレイ１１２は、ユーザの両目の前方に位置するようにＨＭＤ装置１１０の本体に配置されている。したがって、ユーザは、ディスプレイ１１２に表示される３次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、およびユーザが選択可能なメニューの画像等を含む。ある実施の形態において、ディスプレイ１１２は、所謂スマートフォンその他の情報表示端末が備える液晶ディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイとして実現され得る。ディスプレイ１１２は、ＨＭＤ装置１１０の本体と一体に構成されてもよいし、別体として構成されてもよい。 The display 112 is realized as a non-transmissive display device, for example. In one aspect, the display 112 is disposed on the main body of the HMD device 110 so as to be positioned in front of both eyes of the user. Therefore, when the user visually recognizes the three-dimensional image displayed on the display 112, the user can be immersed in the virtual space. In one embodiment, the virtual space includes, for example, a background, an object that can be operated by the user, an image of a menu that can be selected by the user, and the like. In an embodiment, the display 112 may be realized as a liquid crystal display or an organic EL (Electro Luminescence) display included in a so-called smartphone or other information display terminal. The display 112 may be configured integrally with the main body of the HMD device 110 or may be configured as a separate body.
ある局面において、ディスプレイ１１２は、右目用の画像を表示するためのサブディスプレイと、左目用の画像を表示するためのサブディスプレイとを含み得る。別の局面において、ディスプレイ１１２は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、ディスプレイ１１２は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。 In one aspect, the display 112 may include a sub-display for displaying an image for the right eye and a sub-display for displaying an image for the left eye. In another aspect, the display 112 may be configured to display a right-eye image and a left-eye image together. In this case, the display 112 includes a high-speed shutter. The high-speed shutter operates so that an image for the right eye and an image for the left eye can be displayed alternately so that the image is recognized only by one of the eyes.
ＨＭＤセンサ１２０は、複数の光源（図示しない）を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の動きを検出するためのポジショントラッキング機能を有する。ＨＭＤセンサ１２０は、この機能を用いて、現実空間内におけるＨＭＤ装置１１０の位置および傾きを検出する。 The HMD sensor 120 includes a plurality of light sources (not shown). Each light source is realized by, for example, an LED (Light Emitting Diode) that emits infrared rays. The HMD sensor 120 has a position tracking function for detecting the movement of the HMD device 110. The HMD sensor 120 detects the position and inclination of the HMD device 110 in the real space using this function.
なお、別の局面において、ＨＭＤセンサ１２０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ１２０は、カメラから出力されるＨＭＤ装置１１０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ装置１１０の位置および傾きを検出することができる。 In another aspect, HMD sensor 120 may be realized by a camera. In this case, the HMD sensor 120 can detect the position and inclination of the HMD device 110 by executing image analysis processing using image information of the HMD device 110 output from the camera.
別の局面において、ＨＭＤ装置１１０は、位置検出器として、ＨＭＤセンサ１２０の代わりに、センサ１１４を備えてもよい。ＨＭＤ装置１１０は、センサ１１４を用いて、ＨＭＤ装置１１０自身の位置および傾きを検出し得る。例えば、センサ１１４が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、ＨＭＤ装置１１０は、ＨＭＤセンサ１２０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１１４が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ装置１１０の３軸周りの角速度を経時的に検出する。ＨＭＤ装置１１０は、各角速度に基づいて、ＨＭＤ装置１１０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ装置１１０の傾きを算出する。また、ＨＭＤ装置１１０は、透過型表示装置を備えていてもよい。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視界画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、ＨＭＤ装置１１０に搭載されたカメラで撮影した画像を視界画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視界画像の一部から現実空間を視認可能にしてもよい。 In another aspect, the HMD device 110 may include a sensor 114 instead of the HMD sensor 120 as a position detector. The HMD device 110 can detect the position and inclination of the HMD device 110 itself using the sensor 114. For example, when the sensor 114 is an angular velocity sensor, a geomagnetic sensor, an acceleration sensor, a gyro sensor, or the like, the HMD device 110 uses any one of these sensors instead of the HMD sensor 120 to detect its position and inclination. Can be detected. As an example, when the sensor 114 is an angular velocity sensor, the angular velocity sensor detects angular velocities around the three axes of the HMD device 110 in real space over time. The HMD device 110 calculates the temporal change of the angle around the three axes of the HMD device 110 based on each angular velocity, and further calculates the inclination of the HMD device 110 based on the temporal change of the angle. The HMD device 110 may include a transmissive display device. In this case, the transmissive display device may be temporarily configured as a non-transmissive display device by adjusting the transmittance. Further, the view field image may include a configuration for presenting the real space in a part of the image configuring the virtual space. For example, an image captured by a camera mounted on the HMD device 110 may be displayed so as to be superimposed on a part of the field-of-view image, or a part of the transmission-type display device may be set to have a high transmittance. The real space may be visible from a part of the image.
注視センサ１４０は、ユーザ１９０の右目および左目の視線が向けられる方向（視線方向）を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ１９０の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ１９０の視線方向を検知することができる。 The gaze sensor 140 detects a direction (gaze direction) in which the gaze of the right eye and the left eye of the user 190 is directed. The detection of the direction is realized by, for example, a known eye tracking function. The gaze sensor 140 is realized by a sensor having the eye tracking function. In one aspect, the gaze sensor 140 preferably includes a right eye sensor and a left eye sensor. The gaze sensor 140 may be, for example, a sensor that irradiates the right eye and the left eye of the user 190 with infrared light and detects the rotation angle of each eyeball by receiving reflected light from the cornea and iris with respect to the irradiated light. . The gaze sensor 140 can detect the line-of-sight direction of the user 190 based on each detected rotation angle.
サーバ１５０は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ１５０は、他のユーザによって使用されるＨＭＤ装置に仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ２００は、各ユーザの動作に基づく信号を他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。サーバ１５０は、一または複数のコンピュータ装置により構成され得る。サーバ１５０は、後述するコンピュータ２００のハードウェア構成と同様のハードウェア構成（プロセッサ、メモリ、ストレージ等）を備え得る。 Server 150 may send a program to computer 200. In another aspect, the server 150 may communicate with other computers 200 for providing virtual reality to HMD devices used by other users. For example, when a plurality of users play a participatory game in an amusement facility, each computer 200 communicates a signal based on each user's operation with another computer 200, and a plurality of users are common in the same virtual space. Allows you to enjoy the game. The server 150 can be composed of one or more computer devices. The server 150 may have a hardware configuration (processor, memory, storage, etc.) similar to the hardware configuration of the computer 200 described later.
コントローラ１６０は、ユーザ１９０からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ１６０は、ユーザ１９０によって把持可能に構成される。別の局面において、コントローラ１６０は、ユーザ１９０の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ１６０は、コンピュータ２００から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ１６０は、仮想現実を提供する仮想空間に配置されるオブジェクトの位置および動き等を制御するためにユーザ１９０によって与えられる操作を受け付ける。 The controller 160 receives input of commands from the user 190 to the computer 200. In one aspect, the controller 160 is configured to be gripped by the user 190. In another aspect, the controller 160 is configured to be attachable to the body of the user 190 or a part of clothing. In another aspect, the controller 160 may be configured to output at least one of vibration, sound, and light based on a signal sent from the computer 200. In another aspect, the controller 160 receives an operation given by the user 190 to control the position, movement, and the like of an object arranged in a virtual space that provides virtual reality.
モーションセンサ１３０は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ１３０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ１３０は、例えば、手袋型のコントローラ１６０に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ１６０は、手袋型のようにユーザ１９０の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ１９０に装着されないセンサがユーザ１９０の手の動きを検出してもよい。例えば、ユーザ１９０を撮影するカメラの信号が、ユーザ１９０の動作を表す信号として、コンピュータ２００に入力されてもよい。モーションセンサ１３０とコンピュータ２００とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。 In one aspect, the motion sensor 130 is attached to the user's hand and detects the movement of the user's hand. For example, the motion sensor 130 detects the rotation speed, rotation speed, etc. of the hand. The detected signal is sent to the computer 200. The motion sensor 130 is provided in a glove-type controller 160, for example. In some embodiments, for safety in real space, it is desirable that the controller 160 be mounted on something that does not fly easily by being mounted on the hand of the user 190, such as a glove shape. In another aspect, a sensor that is not worn by the user 190 may detect the hand movement of the user 190. For example, a signal from a camera that captures the user 190 may be input to the computer 200 as a signal representing the operation of the user 190. The motion sensor 130 and the computer 200 are connected to each other by wire or wirelessly. In the case of wireless communication, the communication form is not particularly limited, and for example, Bluetooth (registered trademark) or other known communication methods are used.
［ハードウェア構成］
図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、一局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ１０と、メモリ１１と、ストレージ１２と、入出力インターフェース１３と、通信インターフェース１４とを備える。各構成要素は、それぞれ、バス１５に接続されている。[Hardware configuration]
A computer 200 according to the present embodiment will be described with reference to FIG. FIG. 2 is a block diagram illustrating an example of a hardware configuration of computer 200 according to one aspect. The computer 200 includes a processor 10, a memory 11, a storage 12, an input / output interface 13, and a communication interface 14 as main components. Each component is connected to the bus 15.
プロセッサ１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ１１またはストレージ１２に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ１０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。 The processor 10 executes a series of instructions included in the program stored in the memory 11 or the storage 12 based on a signal given to the computer 200 or based on the establishment of a predetermined condition. In one aspect, the processor 10 is realized as a CPU (Central Processing Unit), an MPU (Micro Processor Unit), an FPGA (Field-Programmable Gate Array), or other device.
メモリ１１は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ１２からロードされる。メモリ１１に保存されるデータは、コンピュータ２００に入力されたデータと、プロセッサ１０によって生成されたデータとを含む。ある局面において、メモリ１１は、ＲＡＭ（Random Access Memory）その他の揮発性メモリとして実現される。 The memory 11 temporarily stores programs and data. The program is loaded from the storage 12, for example. Data stored in the memory 11 includes data input to the computer 200 and data generated by the processor 10. In one aspect, the memory 11 is realized as a RAM (Random Access Memory) or other volatile memory.
ストレージ１２は、プログラムおよびデータを永続的に保持する。ストレージ１２は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発性記憶装置として実現される。ストレージ１２に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、および他のコンピュータ２００との通信を実現するためのプログラム等を含む。ストレージ１２に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。 The storage 12 holds programs and data permanently. The storage 12 is realized as, for example, a ROM (Read-Only Memory), a hard disk device, a flash memory, and other nonvolatile storage devices. The programs stored in the storage 12 include a program for providing a virtual space in the HMD system 100, a simulation program, a game program, a user authentication program, a program for realizing communication with another computer 200, and the like. The data stored in the storage 12 includes data and objects for defining the virtual space.
なお、別の局面において、ストレージ１２は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ１２の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムおよびデータ等の更新を一括して行うことが可能になる。 In another aspect, the storage 12 may be realized as a removable storage device such as a memory card. In still another aspect, a configuration using a program and data stored in an external storage device may be used instead of the storage 12 built in the computer 200. According to such a configuration, for example, in a scene where a plurality of HMD systems 100 are used like an amusement facility, it is possible to update programs and data in a batch.
ある実施の形態において、入出力インターフェース１３は、ＨＭＤ装置１１０、ＨＭＤセンサ１２０またはモーションセンサ１３０との間で信号を通信する。ある局面において、入出力インターフェース１３は、ＵＳＢ（Universal Serial Bus）インターフェース、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。なお、入出力インターフェース１３は上述のものに限られない。 In some embodiments, the input / output interface 13 communicates signals with the HMD device 110, the HMD sensor 120, or the motion sensor 130. In one aspect, the input / output interface 13 is realized using a USB (Universal Serial Bus) interface, a DVI (Digital Visual Interface), an HDMI (registered trademark) (High-Definition Multimedia Interface), or other terminals. The input / output interface 13 is not limited to the above.
ある実施の形態において、入出力インターフェース１３は、さらに、コントローラ１６０と通信し得る。例えば、入出力インターフェース１３は、モーションセンサ１３０から出力された信号の入力を受ける。別の局面において、入出力インターフェース１３は、プロセッサ１０から出力された命令を、コントローラ１６０に送る。当該命令は、振動、音声出力、発光等をコントローラ１６０に指示する。コントローラ１６０は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。 In certain embodiments, the input / output interface 13 may further communicate with the controller 160. For example, the input / output interface 13 receives an input of a signal output from the motion sensor 130. In another aspect, the input / output interface 13 sends an instruction output from the processor 10 to the controller 160. The command instructs the controller 160 to vibrate, output sound, emit light, and the like. When the controller 160 receives the command, the controller 160 executes vibration, sound output, or light emission according to the command.
通信インターフェース１４は、ネットワーク１９に接続されて、ネットワーク１９に接続されている他のコンピュータ（例えば、サーバ１５０）と通信する。ある局面において、通信インターフェース１４は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェース、あるいは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェースとして実現される。なお、通信インターフェース１４は上述のものに限られない。例えば、入出力インターフェース１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信インターフェースを含み得る。 The communication interface 14 is connected to the network 19 and communicates with other computers (for example, the server 150) connected to the network 19. In one aspect, the communication interface 14 is realized as, for example, a local area network (LAN) or other wired communication interface, or a wireless communication interface such as WiFi (Wireless Fidelity), Bluetooth (registered trademark), NFC (Near Field Communication), or the like. Is done. The communication interface 14 is not limited to the above. For example, the input / output interface 13 may include a wireless communication interface such as Bluetooth (registered trademark).
ある局面において、プロセッサ１０は、ストレージ１２にアクセスし、ストレージ１２に格納されている１つ以上のプログラムをメモリ１１にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ１６０を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ１０は、入出力インターフェース１３を介して、仮想空間を提供するための信号をＨＭＤ装置１１０に送る。ＨＭＤ装置１１０は、その信号に基づいてディスプレイ１１２に映像を表示する。 In one aspect, the processor 10 accesses the storage 12, loads one or more programs stored in the storage 12 into the memory 11, and executes a series of instructions included in the program. The one or more programs may include an operating system of the computer 200, an application program for providing a virtual space, game software that can be executed in the virtual space using the controller 160, and the like. The processor 10 sends a signal for providing a virtual space to the HMD device 110 via the input / output interface 13. The HMD device 110 displays an image on the display 112 based on the signal.
なお、図２に示される例では、コンピュータ２００がＨＭＤ装置１１０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ装置１１０に内蔵されてもよい。一例として、ディスプレイ１１２を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。 In the example illustrated in FIG. 2, the configuration in which the computer 200 is provided outside the HMD device 110 is illustrated. However, in another aspect, the computer 200 may be incorporated in the HMD device 110. As an example, a portable information communication terminal (for example, a smartphone) including the display 112 may function as the computer 200.
また、コンピュータ２００は、複数のＨＭＤ装置１１０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。 Further, the computer 200 may be configured to be used in common for the plurality of HMD devices 110. According to such a configuration, for example, the same virtual space can be provided to a plurality of users, so that each user can enjoy the same application as other users in the same virtual space.
ある実施の形態において、ＨＭＤシステム１００では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、グローバル座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。 In an embodiment, in the HMD system 100, a global coordinate system is set in advance. The global coordinate system has three reference directions (axes) parallel to the vertical direction in the real space, the horizontal direction orthogonal to the vertical direction, and the front-rear direction orthogonal to both the vertical direction and the horizontal direction. In the present embodiment, the global coordinate system is one of the viewpoint coordinate systems. Therefore, the horizontal direction, the vertical direction (up-down direction), and the front-rear direction in the global coordinate system are defined as an x-axis, a y-axis, and a z-axis, respectively. More specifically, in the global coordinate system, the x axis is parallel to the horizontal direction of the real space. The y axis is parallel to the vertical direction of the real space. The z axis is parallel to the front-rear direction of the real space.
ある局面において、ＨＭＤセンサ１２０は、赤外線センサを含む。赤外線センサが、ＨＭＤ装置１１０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ装置１１０の存在を検出する。ＨＭＤセンサ１２０は、さらに、各点の値（グローバル座標系における各座標値）に基づいて、ＨＭＤ装置１１０を装着したユーザ１９０の動きに応じた、現実空間内におけるＨＭＤ装置１１０の位置および傾きを検出する。より詳しくは、ＨＭＤセンサ１２０は、経時的に検出された各値を用いて、ＨＭＤ装置１１０の位置および傾きの時間的変化を検出できる。 In one aspect, HMD sensor 120 includes an infrared sensor. When the infrared sensor detects each infrared ray emitted from each light source of the HMD device 110, the presence of the HMD device 110 is detected. The HMD sensor 120 further determines the position and inclination of the HMD device 110 in the real space according to the movement of the user 190 wearing the HMD device 110 based on the value of each point (each coordinate value in the global coordinate system). To detect. More specifically, the HMD sensor 120 can detect temporal changes in the position and tilt of the HMD device 110 using each value detected over time.
グローバル座標系は現実空間の座標系と平行である。したがって、ＨＭＤセンサ１２０によって検出されたＨＭＤ装置１１０の各傾きは、グローバル座標系におけるＨＭＤ装置１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤ装置１１０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。ＨＭＤ装置１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ装置１１０を装着したユーザ１９０が仮想空間において物体を見る際の視点座標系に対応する。 The global coordinate system is parallel to the real space coordinate system. Therefore, each inclination of the HMD device 110 detected by the HMD sensor 120 corresponds to each inclination around the three axes of the HMD device 110 in the global coordinate system. The HMD sensor 120 sets the uvw visual field coordinate system to the HMD device 110 based on the inclination of the HMD device 110 in the global coordinate system. The uvw visual field coordinate system set in the HMD device 110 corresponds to a viewpoint coordinate system when the user 190 wearing the HMD device 110 views an object in the virtual space.
［ｕｖｗ視野座標系］
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ装置１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の起動時に、グローバル座標系におけるＨＭＤ装置１１０の位置および傾きを検出する。プロセッサ１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。[Uvw visual field coordinate system]
The uvw visual field coordinate system will be described with reference to FIG. FIG. 3 is a diagram conceptually showing a uvw visual field coordinate system set in HMD device 110 according to an embodiment. The HMD sensor 120 detects the position and inclination of the HMD device 110 in the global coordinate system when the HMD device 110 is activated. The processor 10 sets the uvw visual field coordinate system in the HMD device 110 based on the detected value.
図３に示されるように、ＨＭＤ装置１１０は、ＨＭＤ装置１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ装置１１０は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ装置１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ装置１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。 As shown in FIG. 3, the HMD device 110 sets a three-dimensional uvw visual field coordinate system with the head (origin) of the user wearing the HMD device 110 as the center (origin). More specifically, the HMD device 110 uses the horizontal direction, the vertical direction, and the front-rear direction (x axis, y axis, z axis) that define the global coordinate system around each axis of the HMD device 110 in the global coordinate system. The three new directions obtained by inclining around the respective axes by the inclination of the pitch are the pitch direction (u-axis), yaw direction (v-axis), and roll direction (w-axis) of the uvw visual field coordinate system in the HMD device 110. Set as.
ある局面において、ＨＭＤ装置１１０を装着したユーザ１９０が直立し、かつ、正面を視認している場合、プロセッサ１０は、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ装置１１０に設定する。この場合、グローバル座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ装置１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。 In one aspect, when the user 190 wearing the HMD device 110 stands upright and is viewing the front, the processor 10 sets the uvw visual field coordinate system parallel to the global coordinate system in the HMD device 110. In this case, the horizontal direction (x-axis), vertical direction (y-axis), and front-rear direction (z-axis) in the global coordinate system are the pitch direction (u-axis) and yaw direction (v Axis) and the roll direction (w-axis).
ｕｖｗ視野座標系がＨＭＤ装置１１０に設定された後、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ装置１１０の傾き（傾きの変化量）を検出できる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ装置１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周り（ピッチ軸周り）のＨＭＤ装置１１０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周り（ヨー軸周り）のＨＭＤ装置１１０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周り（ロール軸周り）のＨＭＤ装置１１０の傾き角度を表す。 After the uvw visual field coordinate system is set in the HMD device 110, the HMD sensor 120 can detect the inclination of the HMD device 110 in the set uvw visual field coordinate system based on the movement of the HMD device 110. . In this case, the HMD sensor 120 detects the pitch angle (θu), yaw angle (θv), and roll angle (θw) of the HMD device 110 in the uvw visual field coordinate system as the inclination of the HMD device 110. The pitch angle (θu) represents the tilt angle of the HMD device 110 around the pitch direction (around the pitch axis) in the uvw visual field coordinate system. The yaw angle (θv) represents the tilt angle of the HMD device 110 around the yaw direction (around the yaw axis) in the uvw visual field coordinate system. The roll angle (θw) represents the tilt angle of the HMD device 110 around the roll direction (around the roll axis) in the uvw visual field coordinate system.
ＨＭＤセンサ１２０は、検出されたＨＭＤ装置１１０の傾き角度に基づいて、ＨＭＤ装置１１０が動いた後のＨＭＤ装置１１０におけるｕｖｗ視野座標系を、ＨＭＤ装置１１０に設定する。ＨＭＤ装置１１０と、ＨＭＤ装置１１０のｕｖｗ視野座標系との関係は、ＨＭＤ装置１１０の位置および傾きに関わらず、常に一定である。ＨＭＤ装置１１０の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるＨＭＤ装置１１０のｕｖｗ視野座標系の位置および傾きが変化する。 Based on the detected tilt angle of the HMD device 110, the HMD sensor 120 sets the uvw visual field coordinate system in the HMD device 110 after the HMD device 110 has moved to the HMD device 110. The relationship between the HMD device 110 and the uvw visual field coordinate system of the HMD device 110 is always constant regardless of the position and inclination of the HMD device 110. When the position and inclination of the HMD device 110 change, the position and inclination of the uvw visual field coordinate system of the HMD device 110 in the global coordinate system change in conjunction with the change of the position and inclination.
ある局面において、ＨＭＤセンサ１２０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ装置１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、プロセッサ１０は、特定された相対位置に基づいて、現実空間内（グローバル座標系）におけるＨＭＤ装置１１０のｕｖｗ視野座標系の原点を決定してもよい。 In one aspect, the HMD sensor 120 is based on the infrared light intensity acquired based on the output from the infrared sensor and the relative positional relationship between a plurality of points (for example, the distance between the points). The position of the device 110 in the real space may be specified as a relative position with respect to the HMD sensor 120. Further, the processor 10 may determine the origin of the uvw visual field coordinate system of the HMD device 110 in the real space (global coordinate system) based on the specified relative position.
［仮想空間］
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である。仮想空間２は、中心２１の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間２のうちの上半分の天球が例示されている。仮想空間２では各メッシュが規定される。各メッシュの位置は、仮想空間２に規定されるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間２に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間２において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像２２が展開される仮想空間２をユーザに提供する。[Virtual space]
The virtual space will be further described with reference to FIG. FIG. 4 is a diagram conceptually showing one aspect of expressing virtual space 2 according to an embodiment. The virtual space 2 has a spherical structure that covers the entire 360 ° direction of the center 21. In FIG. 4, the upper half of the celestial sphere in the virtual space 2 is illustrated in order not to complicate the description. In the virtual space 2, each mesh is defined. The position of each mesh is defined in advance as coordinate values in the XYZ coordinate system defined in the virtual space 2. The computer 200 associates each partial image constituting content (still image, moving image, etc.) that can be developed in the virtual space 2 with each corresponding mesh in the virtual space 2, and the virtual space image 22 that can be visually recognized by the user. Is provided to the user.
ある局面において、仮想空間２では、中心２１を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、グローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。仮想空間２内の各位置は、ＸＹＺ座標系における座標値によって一意に特定される。 In one aspect, the virtual space 2 defines an XYZ coordinate system with the center 21 as the origin. The XYZ coordinate system is, for example, parallel to the global coordinate system. Since the XYZ coordinate system is a kind of viewpoint coordinate system, the horizontal direction, vertical direction (vertical direction), and front-rear direction in the XYZ coordinate system are defined as an X axis, a Y axis, and a Z axis, respectively. Therefore, the X axis (horizontal direction) of the XYZ coordinate system is parallel to the x axis of the global coordinate system, the Y axis (vertical direction) of the XYZ coordinate system is parallel to the y axis of the global coordinate system, and The Z axis (front-rear direction) is parallel to the z axis of the global coordinate system. Each position in the virtual space 2 is uniquely specified by a coordinate value in the XYZ coordinate system.
ＨＭＤ装置１１０の起動時、すなわちＨＭＤ装置１１０の初期状態において、仮想カメラ１は、例えば仮想空間２の中心２１に配置される。仮想カメラ１は、現実空間におけるＨＭＤ装置１１０の動きに連動して、仮想空間２を同様に移動する。これにより、現実空間におけるＨＭＤ装置１１０の位置および傾きの変化が、仮想空間２において同様に再現される。 When the HMD device 110 is activated, that is, in the initial state of the HMD device 110, the virtual camera 1 is disposed at the center 21 of the virtual space 2, for example. The virtual camera 1 similarly moves in the virtual space 2 in conjunction with the movement of the HMD device 110 in the real space. Thereby, changes in the position and inclination of the HMD device 110 in the real space are similarly reproduced in the virtual space 2.
仮想カメラ１には、ＨＭＤ装置１１０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間２における仮想カメラ１のｕｖｗ視野座標系は、現実空間（グローバル座標系）におけるＨＭＤ装置１１０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ装置１１０の傾きが変化すると、それに応じて、仮想カメラ１の傾きも変化する。また、仮想カメラ１は、ＨＭＤ装置１１０を装着したユーザの現実空間における移動に連動して、仮想空間２において移動することもできる。 As in the case of the HMD device 110, the uvw visual field coordinate system is defined for the virtual camera 1. The uvw visual field coordinate system of the virtual camera 1 in the virtual space 2 is defined so as to be linked to the uvw visual field coordinate system of the HMD device 110 in the real space (global coordinate system). Therefore, when the inclination of the HMD device 110 changes, the inclination of the virtual camera 1 also changes accordingly. The virtual camera 1 can also move in the virtual space 2 in conjunction with the movement of the user wearing the HMD device 110 in the real space.
仮想カメラ１の向きは、仮想カメラ１の位置および傾きに応じて決まるので、ユーザが仮想空間画像２２を視認する際に基準となる視線（基準視線５）は、仮想カメラ１の向きに応じて決まる。コンピュータ２００のプロセッサ１０は、基準視線５に基づいて、仮想空間２における視界領域２３を規定する。視界領域２３は、仮想空間２のうち、ＨＭＤ装置１１０を装着したユーザの視界に対応する。 Since the orientation of the virtual camera 1 is determined according to the position and inclination of the virtual camera 1, the reference line of sight (reference line of sight 5) when the user visually recognizes the virtual space image 22 depends on the orientation of the virtual camera 1. Determined. The processor 10 of the computer 200 defines the visual field region 23 in the virtual space 2 based on the reference line of sight 5. The view area 23 corresponds to the view of the user wearing the HMD device 110 in the virtual space 2.
注視センサ１４０によって検出されるユーザ１９０の視線方向は、ユーザ１９０が物体を視認する際の視点座標系における方向である。ＨＭＤ装置１１０のｕｖｗ視野座標系は、ユーザ１９０がディスプレイ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ装置１１０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ１９０の視線方向を、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向とみなすことができる。 The gaze direction of the user 190 detected by the gaze sensor 140 is a direction in the viewpoint coordinate system when the user 190 visually recognizes the object. The uvw visual field coordinate system of the HMD device 110 is equal to the viewpoint coordinate system when the user 190 visually recognizes the display 112. The uvw visual field coordinate system of the virtual camera 1 is linked to the uvw visual field coordinate system of the HMD device 110. Therefore, the HMD system 100 according to a certain aspect can regard the line-of-sight direction of the user 190 detected by the gaze sensor 140 as the line-of-sight direction of the user in the uvw visual field coordinate system of the virtual camera 1.
［ユーザの視線］
図５を参照して、ユーザの視線方向の決定について説明する。図５は、ある実施の形態に従うＨＭＤ装置１１０を装着するユーザ１９０の頭部を上から表した図である。[User's line of sight]
With reference to FIG. 5, determination of the user's line-of-sight direction will be described. FIG. 5 is a diagram showing the head of user 190 wearing HMD device 110 according to an embodiment from above.
ある局面において、注視センサ１４０は、ユーザ１９０の右目および左目の各視線を検出する。ある局面において、ユーザ１９０が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ１９０が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール方向ｗに対して視線Ｒ２およびＬ２がなす角度は、ロール方向ｗに対して視線Ｒ１およびＬ１がなす角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。 In one aspect, gaze sensor 140 detects each line of sight of user 190's right eye and left eye. In a certain aspect, when the user 190 is looking near, the gaze sensor 140 detects the lines of sight R1 and L1. In another aspect, when the user 190 is looking far away, the gaze sensor 140 detects the lines of sight R2 and L2. In this case, the angle formed by the lines of sight R2 and L2 with respect to the roll direction w is smaller than the angle formed by the lines of sight R1 and L1 with respect to the roll direction w. The gaze sensor 140 transmits the detection result to the computer 200.
コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ１９０の視線方向Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ１９０の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線方向Ｎ０として検出する。視線方向Ｎ０は、ユーザ１９０が両目により実際に視線を向けている方向である。また、視線方向Ｎ０は、視界領域２３に対してユーザ１９０が実際に視線を向けている方向に相当する。 When the computer 200 receives the detection values of the lines of sight R1 and L1 from the gaze sensor 140 as the line-of-sight detection result, the computer 200 identifies the point of sight N1 that is the intersection of the lines of sight R1 and L1 based on the detection value. On the other hand, when the detected values of the lines of sight R2 and L2 are received from the gaze sensor 140, the computer 200 specifies the intersection of the lines of sight R2 and L2 as the point of sight. The computer 200 specifies the line-of-sight direction N0 of the user 190 based on the specified position of the gazing point N1. For example, the computer 200 detects the direction in which the straight line passing through the midpoint of the straight line connecting the right eye R and the left eye L of the user 190 and the gazing point N1 extends as the line-of-sight direction N0. The line-of-sight direction N0 is a direction in which the user 190 is actually pointing the line of sight with both eyes. The line-of-sight direction N0 corresponds to the direction in which the user 190 actually directs his / her line of sight with respect to the field-of-view area 23.
別の局面において、ＨＭＤシステム１００は、ＨＭＤシステム１００を構成するいずれかのパーツに、マイクおよびスピーカを備えてもよい。ユーザは、マイクに発話することにより、仮想空間２に対して、音声による指示を与えることができる。 In another aspect, the HMD system 100 may include a microphone and a speaker in any part constituting the HMD system 100. The user can give a voice instruction to the virtual space 2 by speaking to the microphone.
また、別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間２においてテレビ番組を表示することができる。 In another aspect, HMD system 100 may include a television broadcast receiving tuner. According to such a configuration, the HMD system 100 can display a television program in the virtual space 2.
さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。 In still another aspect, the HMD system 100 may include a communication circuit for connecting to the Internet or a call function for connecting to a telephone line.
［視界領域］
図６および図７を参照して、視界領域２３について説明する。図６は、仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を表す図である。[Visibility area]
With reference to FIGS. 6 and 7, the visual field region 23 will be described. FIG. 6 is a diagram illustrating a YZ cross section of the visual field region 23 viewed from the X direction in the virtual space 2. FIG. 7 is a diagram illustrating an XZ cross section of the visual field region 23 viewed from the Y direction in the virtual space 2.
図６に示されるように、ＹＺ断面における視界領域２３は、領域２４を含む。領域２４は、仮想カメラ１の基準視線５と仮想空間２のＹＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心として極角αを含む範囲を、領域２４として規定する。 As shown in FIG. 6, the visual field region 23 in the YZ cross section includes a region 24. The region 24 is defined by the reference line of sight 5 of the virtual camera 1 and the YZ cross section of the virtual space 2. The processor 10 defines a range including the polar angle α around the reference line of sight 5 in the virtual space 2 as the region 24.
図７に示されるように、ＸＺ断面における視界領域２３は、領域２５を含む。領域２５は、基準視線５と仮想空間２のＸＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、領域２５として規定する。 As shown in FIG. 7, the visual field region 23 in the XZ cross section includes a region 25. The region 25 is defined by the reference line of sight 5 and the XZ cross section of the virtual space 2. The processor 10 defines a range including the azimuth angle β around the reference line of sight 5 in the virtual space 2 as a region 25.
ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像をディスプレイ１１２に表示させることにより、ユーザ１９０に仮想空間を提供する。視界画像は、仮想空間画像２２のうち視界領域２３に重畳する部分に相当する。視界領域２３内において仮想カメラ１と仮想空間画像２２との間に後述する仮想オブジェクトが配置されている場合、視界画像には当該仮想オブジェクトが含まれる。すなわち、視界画像において、仮想空間画像２２よりも手前側にある仮想オブジェクトが仮想空間画像２２に重畳して表示される。ユーザ１９０が、頭に装着したＨＭＤ装置１１０を動かすと、その動きに連動して仮想カメラ１も動く。その結果、仮想空間２における視界領域２３の位置が変化する。これにより、ディスプレイ１１２に表示される視界画像は、仮想空間画像２２のうち、仮想空間２においてユーザが向いた方向の視界領域２３に重畳する画像に更新される。ユーザは、仮想空間２における所望の方向を視認することができる。 In one aspect, the HMD system 100 provides a virtual space to the user 190 by causing the display 112 to display a view field image based on a signal from the computer 200. The visual field image corresponds to a portion of the virtual space image 22 that is superimposed on the visual field region 23. When a virtual object described later is arranged between the virtual camera 1 and the virtual space image 22 in the view field area 23, the view object image includes the virtual object. That is, in the view field image, the virtual object on the near side of the virtual space image 22 is displayed superimposed on the virtual space image 22. When the user 190 moves the HMD device 110 worn on the head, the virtual camera 1 also moves in conjunction with the movement. As a result, the position of the visual field area 23 in the virtual space 2 changes. As a result, the view image displayed on the display 112 is updated to an image that is superimposed on the view region 23 in the virtual space 2 in the direction in which the user faces in the virtual space image 22. The user can visually recognize a desired direction in the virtual space 2.
ユーザ１９０は、ＨＭＤ装置１１０を装着している間、現実世界を視認することなく、仮想空間２に展開される仮想空間画像２２のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間２への高い没入感覚をユーザに与えることができる。 The user 190 can visually recognize only the virtual space image 22 developed in the virtual space 2 without visually recognizing the real world while wearing the HMD device 110. Therefore, the HMD system 100 can give the user a high sense of immersion in the virtual space 2.
ある局面において、プロセッサ１０は、ＨＭＤ装置１１０を装着したユーザ１９０の現実空間における移動に連動して、仮想空間２において仮想カメラ１を移動し得る。この場合、プロセッサ１０は、仮想空間２における仮想カメラ１の位置および傾きに基づいて、ＨＭＤ装置１１０のディスプレイ１１２に投影される画像領域（すなわち、仮想空間２における視界領域２３）を特定する。すなわち、仮想カメラ１によって、仮想空間２におけるユーザ１９０の視野（視界）が定義される。 In one aspect, the processor 10 can move the virtual camera 1 in the virtual space 2 in conjunction with movement of the user 190 wearing the HMD device 110 in real space. In this case, the processor 10 specifies an image region (that is, a view field region 23 in the virtual space 2) projected on the display 112 of the HMD device 110 based on the position and inclination of the virtual camera 1 in the virtual space 2. That is, the visual field (view) of the user 190 in the virtual space 2 is defined by the virtual camera 1.
ある実施の形態に従うと、仮想カメラ１は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ１９０が３次元の仮想空間２を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ１が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ装置１１０のロール方向（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。 According to an embodiment, the virtual camera 1 preferably includes two virtual cameras, that is, a virtual camera for providing an image for the right eye and a virtual camera for providing an image for the left eye. Moreover, it is preferable that appropriate parallax is set in the two virtual cameras so that the user 190 can recognize the three-dimensional virtual space 2. In the present embodiment, the virtual camera 1 includes two virtual cameras, and the roll direction (w) generated by combining the roll directions of the two virtual cameras is the roll direction (w) of the HMD device 110. The technical idea concerning this indication is illustrated as what is constituted so that it may be adapted.
［コントローラ］
図８を参照して、コントローラ１６０の一例について説明する。図８は、ある実施の形態に従うコントローラ１６０の概略構成を表す図である。[controller]
An example of the controller 160 will be described with reference to FIG. FIG. 8 is a diagram showing a schematic configuration of controller 160 according to an embodiment.
図８の状態（Ａ）に示されるように、ある局面において、コントローラ１６０は、右コントローラ１６０Ｒと左コントローラ（図示しない）とを含み得る。右コントローラ１６０Ｒは、ユーザ１９０の右手で操作される。左コントローラは、ユーザ１９０の左手で操作される。ある局面において、右コントローラ１６０Ｒと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ１９０は、右コントローラ１６０Ｒを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ１６０は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ１６０Ｒについて説明する。 As shown in the state (A) of FIG. 8, in one aspect, the controller 160 may include a right controller 160R and a left controller (not shown). The right controller 160R is operated with the right hand of the user 190. The left controller is operated with the left hand of the user 190. In one aspect, the right controller 160R and the left controller are configured symmetrically as separate devices. Therefore, the user 190 can freely move the right hand holding the right controller 160R and the left hand holding the left controller. In another aspect, the controller 160 may be an integrated controller that receives operations of both hands. Hereinafter, the right controller 160R will be described.
右コントローラ１６０Ｒは、グリップ３０と、フレーム３１と、天面３２とを備える。グリップ３０は、ユーザ１９０の右手によって把持されるように構成されている。例えば、グリップ３０は、ユーザ１９０の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。 The right controller 160R includes a grip 30, a frame 31, and a top surface 32. The grip 30 is configured to be held by the right hand of the user 190. For example, the grip 30 can be held by the palm of the right hand of the user 190 and three fingers (middle finger, ring finger, little finger).
グリップ３０は、ボタン３３，３４と、モーションセンサ１３０とを含む。ボタン３３は、グリップ３０の側面に配置され、右手の中指による操作を受け付ける。ボタン３４は、グリップ３０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３３，３４は、トリガー式のボタンとして構成される。モーションセンサ１３０は、グリップ３０の筐体に内蔵されている。なお、ユーザ１９０の動作がカメラその他の装置によってユーザ１９０の周りから検出可能である場合には、グリップ３０は、モーションセンサ１３０を備えなくてもよい。 The grip 30 includes buttons 33 and 34 and a motion sensor 130. The button 33 is disposed on the side surface of the grip 30 and receives an operation with the middle finger of the right hand. The button 34 is disposed in front of the grip 30 and accepts an operation with the index finger of the right hand. In one aspect, the buttons 33 and 34 are configured as trigger buttons. The motion sensor 130 is built in the housing of the grip 30. Note that when the operation of the user 190 can be detected from around the user 190 by a camera or other device, the grip 30 may not include the motion sensor 130.
フレーム３１は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３５を含む。赤外線ＬＥＤ３５は、コントローラ１６０を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３５から発せられた赤外線は、右コントローラ１６０Ｒと左コントローラとの各位置および姿勢（傾き、向き）等を検出するために使用され得る。図８に示される例では、二列に配置された赤外線ＬＥＤ３５が示されているが、配列の数は図８に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。 The frame 31 includes a plurality of infrared LEDs 35 arranged along the circumferential direction. The infrared LED 35 emits infrared light in accordance with the progress of the program during the execution of the program using the controller 160. The infrared rays emitted from the infrared LED 35 can be used to detect the positions and postures (tilt, orientation), etc., of the right controller 160R and the left controller. In the example shown in FIG. 8, infrared LEDs 35 arranged in two rows are shown, but the number of arrays is not limited to that shown in FIG. An array of one or more columns may be used.
天面３２は、ボタン３６，３７と、アナログスティック３８とを備える。ボタン３６，３７は、プッシュ式ボタンとして構成される。ボタン３６，３７は、ユーザ１９０の右手の親指による操作を受け付ける。アナログスティック３８は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間２に配置されるオブジェクトを移動させるための操作を含む。 The top surface 32 includes buttons 36 and 37 and an analog stick 38. The buttons 36 and 37 are configured as push buttons. The buttons 36 and 37 receive an operation with the thumb of the right hand of the user 190. In one aspect, the analog stick 38 accepts an operation in an arbitrary direction of 360 degrees from the initial position (neutral position). The operation includes, for example, an operation for moving an object arranged in the virtual space 2.
ある局面において、右コントローラ１６０Ｒおよび左コントローラは、赤外線ＬＥＤ３５その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ１６０Ｒおよび左コントローラは、例えば、コンピュータ２００のＵＳＢインターフェースに接続され得る。この場合、右コントローラ１６０Ｒおよび左コントローラは、電池を必要としない。 In one aspect, the right controller 160R and the left controller include a battery for driving the infrared LED 35 and other members. The battery includes, but is not limited to, a rechargeable type, a button type, a dry battery type, and the like. In another aspect, the right controller 160R and the left controller may be connected to a USB interface of the computer 200, for example. In this case, the right controller 160R and the left controller do not require batteries.
図８の状態（Ａ）および状態（Ｂ）に示されるように、例えば、ユーザ１９０の右手８１０に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ１９０が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。 As shown in the state (A) and the state (B) of FIG. 8, for example, the yaw, roll, and pitch directions are defined for the right hand 810 of the user 190. When the user 190 extends the thumb and index finger, the direction in which the thumb extends is the yaw direction, the direction in which the index finger extends is the roll direction, and the direction perpendicular to the plane defined by the yaw direction axis and the roll direction axis is the pitch direction. Is defined as
［ＨＭＤ装置の制御装置］
図９を参照して、ＨＭＤ装置１１０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図９は、ある実施の形態に従うコンピュータ２００をモジュール構成として表すブロック図である。[Control device for HMD device]
The control device of the HMD device 110 will be described with reference to FIG. In one embodiment, the control device is realized by a computer 200 having a known configuration. FIG. 9 is a block diagram showing a computer 200 according to an embodiment as a module configuration.
図９に示されるように、コンピュータ２００は、表示制御モジュール２２０と、仮想空間制御モジュール２３０と、メモリモジュール２４０と、通信制御モジュール２５０とを備える。表示制御モジュール２２０は、サブモジュールとして、仮想カメラ制御モジュール２２１と、視界領域決定モジュール２２２と、視界画像生成モジュール２２３と、基準視線特定モジュール２２４とを含む。仮想空間制御モジュール２３０は、サブモジュールとして、仮想空間定義モジュール２３１と、仮想オブジェクト制御モジュール２３２と、操作オブジェクト制御モジュール２３３と、動き調整モジュール２３４とを含む。 As shown in FIG. 9, the computer 200 includes a display control module 220, a virtual space control module 230, a memory module 240, and a communication control module 250. The display control module 220 includes a virtual camera control module 221, a visual field region determination module 222, a visual field image generation module 223, and a reference visual line identification module 224 as submodules. The virtual space control module 230 includes a virtual space definition module 231, a virtual object control module 232, an operation object control module 233, and a motion adjustment module 234 as submodules.
ある実施の形態において、表示制御モジュール２２０と仮想空間制御モジュール２３０とは、プロセッサ１０によって実現される。別の実施の形態において、複数のプロセッサ１０が表示制御モジュール２２０と仮想空間制御モジュール２３０として作動してもよい。メモリモジュール２４０は、メモリ１１またはストレージ１２によって実現される。通信制御モジュール２５０は、通信インターフェース１４によって実現される。 In an embodiment, the display control module 220 and the virtual space control module 230 are realized by the processor 10. In another embodiment, multiple processors 10 may operate as the display control module 220 and the virtual space control module 230. The memory module 240 is realized by the memory 11 or the storage 12. The communication control module 250 is realized by the communication interface 14.
ある局面において、表示制御モジュール２２０は、ＨＭＤ装置１１０のディスプレイ１１２における画像表示を制御する。仮想カメラ制御モジュール２２１は、仮想空間２に仮想カメラ１を配置し、仮想カメラ１の挙動、向き等を制御する。視界領域決定モジュール２２２は、ＨＭＤ装置１１０を装着したユーザの頭の向きに応じて、視界領域２３を規定する。視界画像生成モジュール２２３は、決定された視界領域２３に基づいて、ディスプレイ１１２に表示される視界画像を生成する。基準視線特定モジュール２２４は、注視センサ１４０からの信号に基づいて、ユーザ１９０の視線を特定する。 In one aspect, the display control module 220 controls image display on the display 112 of the HMD device 110. The virtual camera control module 221 arranges the virtual camera 1 in the virtual space 2 and controls the behavior, orientation, and the like of the virtual camera 1. The view area determination module 222 defines the view area 23 according to the orientation of the head of the user wearing the HMD device 110. The view image generation module 223 generates a view image to be displayed on the display 112 based on the determined view area 23. The reference line-of-sight identifying module 224 identifies the line of sight of the user 190 based on the signal from the gaze sensor 140.
仮想空間制御モジュール２３０は、ユーザ１９０に提供される仮想空間２を制御する。仮想空間定義モジュール２３１は、仮想空間２を表す仮想空間データを生成することにより、ＨＭＤシステム１００における仮想空間２を規定する。 The virtual space control module 230 controls the virtual space 2 provided to the user 190. The virtual space definition module 231 defines the virtual space 2 in the HMD system 100 by generating virtual space data representing the virtual space 2.
仮想オブジェクト制御モジュール２３２は、後述するコンテンツ情報２４１およびオブジェクト情報２４２に基づいて、仮想空間２に配置される仮想オブジェクトを生成する。また、仮想オブジェクト制御モジュール２３２は、仮想空間２における仮想オブジェクトの動作（移動および状態変化等）も制御する。 The virtual object control module 232 generates a virtual object arranged in the virtual space 2 based on content information 241 and object information 242 described later. The virtual object control module 232 also controls the movement (movement, state change, etc.) of the virtual object in the virtual space 2.
仮想オブジェクトは、仮想空間２に配置されるオブジェクト全般である。仮想オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。仮想オブジェクトは、ユーザに関連付けられたキャラクタオブジェクト（第１オブジェクト）を含む。キャラクタオブジェクトは、仮想空間におけるユーザの分身であるアバター、およびユーザにより操作されるゲームのキャラクタ（プレイヤキャラクタ）等である。本実施形態では、仮想空間２は、キャラクタオブジェクトとしてアバターを含む。また、仮想オブジェクトは、アバターとともに移動する乗り物オブジェクト（第２オブジェクト）を含む。乗り物オブジェクトは、例えば飛行機、列車、車等の任意の乗り物を模したオブジェクトであり、アバターを乗せてアバターとともに移動可能なオブジェクトである。ただし、本実施形態における乗り物オブジェクトは、アバターを支持して移動可能なものであればよく、上述したような一般的な乗り物に限られない。例えば、アバターを吊り下げて移動するクレーン等も、上記乗り物オブジェクトの範囲に含まれる。また、仮想空間２内で展開されるゲームにおいて、例えば巨人の手の上にアバターを乗せて移動可能な場合には、当該巨人の手も、上記乗り物オブジェクトの範囲に含まれる。以下の説明において、誤解が生じない場合には、仮想オブジェクトのことを単に「オブジェクト」と表記する。 The virtual object is an entire object arranged in the virtual space 2. The virtual objects may include, for example, forests, mountains and other landscapes, animals, etc. that are arranged according to the progress of the game story. The virtual object includes a character object (first object) associated with the user. The character object is an avatar that is a user's alternation in a virtual space, a game character (player character) operated by the user, or the like. In the present embodiment, the virtual space 2 includes an avatar as a character object. The virtual object includes a vehicle object (second object) that moves with the avatar. The vehicle object is an object that imitates an arbitrary vehicle such as an airplane, a train, a car, and the like, and is an object that can move along with the avatar on the avatar. However, the vehicle object in the present embodiment is not limited to the general vehicle as described above as long as it can move while supporting the avatar. For example, a crane that moves with an avatar suspended is also included in the range of the vehicle object. Further, in a game developed in the virtual space 2, for example, when an avatar can be moved on a giant's hand, the giant's hand is also included in the range of the vehicle object. In the following description, when there is no misunderstanding, the virtual object is simply expressed as “object”.
操作オブジェクト制御モジュール２３３は、ユーザ１９０の手の動きに応じて動くオブジェクトである操作オブジェクトの仮想空間２内における動作を制御する。ある局面において、操作オブジェクトは、例えば、ＨＭＤ装置１１０を装着したユーザ１９０の手に相当する手オブジェクト、ユーザ１９０の指に相当する指オブジェクト等を含み得る。また、手オブジェクトにより操作されるオブジェクトも、ユーザ１９０の手の動きに応じて動く操作オブジェクトとして機能し得る。 The operation object control module 233 controls the movement of the operation object, which is an object that moves according to the hand movement of the user 190, in the virtual space 2. In one aspect, the operation objects may include, for example, a hand object corresponding to the hand of the user 190 wearing the HMD device 110, a finger object corresponding to the finger of the user 190, and the like. An object operated by a hand object can also function as an operation object that moves in accordance with the hand movement of the user 190.
動き調整モジュール２３４は、乗り物オブジェクトとともに移動するアバターに関連付けられた仮想カメラ１の動きを調整するための処理を実行する。 The motion adjustment module 234 executes a process for adjusting the motion of the virtual camera 1 associated with the avatar that moves with the vehicle object.
仮想空間制御モジュール２３０は、仮想空間２に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。仮想空間制御モジュール２３０は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール２３０は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール２３０は、例えばオブジェクト毎に設定されたコリジョンエリアに基づく公知の当たり判定を実行することにより、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。 The virtual space control module 230 detects the collision when each of the objects arranged in the virtual space 2 collides with another object. For example, the virtual space control module 230 can detect a timing at which a certain object and another object touch each other, and performs a predetermined process when the detection is performed. The virtual space control module 230 can detect the timing at which the object is away from the touched state, and performs a predetermined process when the detection is made. The virtual space control module 230 can detect that the object is in contact with the object by executing a known hit determination based on, for example, a collision area set for each object.
メモリモジュール２４０は、コンピュータ２００が仮想空間２をユーザ１９０に提供するために使用されるデータを保持している。ある局面において、メモリモジュール２４０は、コンテンツ情報２４１と、オブジェクト情報２４２と、ユーザ情報２４３とを保持している。 The memory module 240 holds data used for the computer 200 to provide the virtual space 2 to the user 190. In one aspect, the memory module 240 holds content information 241, object information 242, and user information 243.
コンテンツ情報２４１には、例えば、仮想空間２において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報等が含まれている。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。具体的には、コンテンツ情報２４１は、仮想空間２の背景を規定する仮想空間画像データ（仮想空間画像２２）と、仮想空間２に配置されるオブジェクトの定義情報とを含み得る。オブジェクトの定義情報は、オブジェクトを描画するための描画情報（例えば、オブジェクトの形状および色等のデザインを表す情報）、およびオブジェクトの初期配置を示す情報等を含み得る。また、予め設定された動作パターンに基づいて自律的に動作するオブジェクトの定義情報は、当該動作パターンを示す情報（プログラム等）を含み得る。予め定められた動作パターンに基づく動作の例としては、草を模したオブジェクトが一定のパターンで揺れる動作のような単純な繰り返し動作が挙げられる。 The content information 241 includes, for example, content that is reproduced in the virtual space 2, information for arranging objects used in the content, and the like. The content can include, for example, content representing a scene similar to a game or a real society. Specifically, the content information 241 can include virtual space image data (virtual space image 22) that defines the background of the virtual space 2 and definition information of objects arranged in the virtual space 2. The object definition information may include drawing information for drawing the object (for example, information indicating a design such as the shape and color of the object), information indicating an initial arrangement of the object, and the like. Further, the definition information of an object that operates autonomously based on a preset operation pattern may include information (program or the like) indicating the operation pattern. As an example of an operation based on a predetermined operation pattern, there is a simple repetitive operation such as an operation in which an object imitating grass swings in a certain pattern.
オブジェクト情報２４２には、仮想空間２に配置される各オブジェクトの状態（ゲームの進行およびユーザ１９０の操作等に応じて変化し得る状態）を示す情報が含まれている。具体的には、オブジェクト情報２４２は、各オブジェクトの位置を示す位置情報を含み得る。また、オブジェクト情報２４２は、変形可能なオブジェクトの動作を示す動き情報（すなわち、オブジェクトの形状を特定するための情報）をさらに含み得る。変形可能なオブジェクトの例としては、上述したアバターのように、頭部、胴体、および手等のパーツを有し、ユーザ１９０の動きに応じて各パーツを独立して動かすことが可能なオブジェクト等が挙げられる。 The object information 242 includes information indicating the state of each object arranged in the virtual space 2 (a state that can change according to the progress of the game and the operation of the user 190). Specifically, the object information 242 can include position information indicating the position of each object. Further, the object information 242 may further include motion information indicating the motion of the deformable object (that is, information for specifying the shape of the object). Examples of deformable objects include parts such as the above-described avatars that have parts such as a head, a torso, and a hand, and can move each part independently according to the movement of the user 190. Is mentioned.
ユーザ情報２４３には、例えば、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム、コンテンツ情報２４１に保持される各コンテンツを使用するアプリケーションプログラム等が含まれている。 The user information 243 includes, for example, a program for causing the computer 200 to function as a control device of the HMD system 100, an application program that uses each content held in the content information 241, and the like.
メモリモジュール２４０に格納されているデータおよびプログラムは、ＨＭＤ装置１１０のユーザによって入力される。あるいは、プロセッサ１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ１５０）からプログラム（ゲームプログラム等）あるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール２４０に格納する。 Data and programs stored in the memory module 240 are input by the user of the HMD device 110. Alternatively, the processor 10 downloads a program (game program or the like) or data from a computer (for example, the server 150) operated by a provider that provides the content, and stores the downloaded program or data in the memory module 240. .
通信制御モジュール２５０は、ネットワーク１９を介して、サーバ１５０その他の情報通信装置と通信し得る。 The communication control module 250 can communicate with the server 150 and other information communication devices via the network 19.
ある局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、各処理を実現する回路素子の組み合わせとしても実現され得る。 In an aspect, the display control module 220 and the virtual space control module 230 may be realized using, for example, Unity (registered trademark) provided by Unity Technologies. In another aspect, the display control module 220 and the virtual space control module 230 can also be realized as a combination of circuit elements that realize each process.
コンピュータ２００における処理は、ハードウェアと、プロセッサ１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール２４０に予め格納されている場合がある。また、ソフトウェアは、ＣＤ−ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール２５０を介してサーバ１５０その他のコンピュータからダウンロードされた後、メモリモジュール２４０に一旦格納される。そのソフトウェアは、プロセッサ１０によってメモリモジュール２４０から読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ１０は、そのプログラムを実行する。 Processing in the computer 200 is realized by hardware and software executed by the processor 10. Such software may be stored in advance in a memory module 240 such as a hard disk. The software may be stored in a CD-ROM or other non-volatile computer-readable data recording medium and distributed as a program product. Alternatively, the software may be provided as a program product that can be downloaded by an information provider connected to the Internet or other networks. Such software is read from a data recording medium by an optical disk drive or other data reader, or downloaded from the server 150 or other computer via the communication control module 250 and then temporarily stored in the memory module 240. The The software is read from the memory module 240 by the processor 10 and stored in the RAM in the form of an executable program. The processor 10 executes the program.
図９に示されるコンピュータ２００を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ２００に格納されたプログラムであるともいえる。なお、コンピュータ２００のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。 The hardware configuring the computer 200 shown in FIG. 9 is general. Therefore, it can be said that the most essential part according to the present embodiment is a program stored in the computer 200. Since the hardware operation of computer 200 is well known, detailed description will not be repeated.
なお、データ記録媒体としては、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。 The data recording medium is not limited to a CD-ROM, FD (Flexible Disk), and hard disk, but is a magnetic tape, cassette tape, optical disk (MO (Magnetic Optical Disc) / MD (Mini Disc) / DVD (Digital Versatile Disc)). ), IC (Integrated Circuit) card (including memory card), optical card, mask ROM, EPROM (Erasable Programmable Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), flash ROM, etc. It may be a non-volatile data recording medium that carries a fixed program.
ここでいうプログラムとは、プロセッサ１０により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。 The program here may include not only a program directly executable by the processor 10, but also a program in a source program format, a compressed program, an encrypted program, and the like.
［制御構造］
図１０を参照して、本実施の形態に係るコンピュータ２００の制御構造について説明する。図１０は、ＨＭＤシステム１００が実行する処理を表すフローチャートである。[Control structure]
With reference to FIG. 10, a control structure of computer 200 according to the present embodiment will be described. FIG. 10 is a flowchart showing processing executed by the HMD system 100.
ステップＳ１において、コンピュータ２００のプロセッサ１０は、仮想空間定義モジュール２３１として、仮想空間画像データを特定し、仮想空間を定義する。すなわち、プロセッサ１０は、仮想空間２を規定する仮想空間データを生成する。 In step S <b> 1, the processor 10 of the computer 200 specifies the virtual space image data as the virtual space definition module 231 and defines the virtual space. That is, the processor 10 generates virtual space data that defines the virtual space 2.
ステップＳ２において、プロセッサ１０は、仮想カメラ制御モジュール２２１として、仮想カメラ１を初期化する。例えば、プロセッサ１０は、メモリのワーク領域において、仮想カメラ１を仮想空間２において予め規定された中心点に配置し、仮想カメラ１の視線をユーザ１９０が向いている方向に向ける。 In step S <b> 2, the processor 10 initializes the virtual camera 1 as the virtual camera control module 221. For example, the processor 10 places the virtual camera 1 at a predetermined center point in the virtual space 2 in the work area of the memory, and directs the line of sight of the virtual camera 1 in the direction in which the user 190 is facing.
ステップＳ３において、プロセッサ１０は、視界画像生成モジュール２２３として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール２２３を介して通信制御モジュール２５０によってＨＭＤ装置１１０に送られる。 In step S <b> 3, the processor 10 generates view image data for displaying an initial view image as the view image generation module 223. The generated view image data is sent to the HMD device 110 by the communication control module 250 via the view image generation module 223.
ステップＳ４において、ＨＭＤ装置１１０のディスプレイ１１２は、コンピュータ２００から受信した信号に基づいて、視界画像を表示する。ＨＭＤ装置１１０を装着したユーザ１９０は、視界画像を視認すると仮想空間２を認識し得る。 In step S <b> 4, the display 112 of the HMD device 110 displays a view field image based on the signal received from the computer 200. The user 190 wearing the HMD device 110 can recognize the virtual space 2 when viewing the visual field image.
ステップＳ５において、ＨＭＤセンサ１２０は、ＨＭＤ装置１１０から発信される複数の赤外線光に基づいて、ＨＭＤ装置１１０の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ２００に送られる。 In step S <b> 5, the HMD sensor 120 detects the position and inclination of the HMD device 110 based on a plurality of infrared lights transmitted from the HMD device 110. The detection result is sent to the computer 200 as motion detection data.
ステップＳ６において、プロセッサ１０は、視界領域決定モジュール２２２として、ＨＭＤ装置１１０の位置と傾きとに基づいて、ＨＭＤ装置１１０を装着したユーザ１９０の視界方向を特定する。プロセッサ１０は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間２にオブジェクトを配置する。 In step S <b> 6, the processor 10 specifies the visual field direction of the user 190 wearing the HMD device 110 as the visual field region determination module 222 based on the position and inclination of the HMD device 110. The processor 10 executes the application program and places an object in the virtual space 2 based on instructions included in the application program.
ステップＳ７において、コントローラ１６０は、現実空間におけるユーザ１９０の操作を検出する。例えば、ある局面において、コントローラ１６０は、ユーザ１９０によってボタンが押下されたことを検出する。別の局面において、コントローラ１６０は、ユーザ１９０の手の動き（たとえば、手を振る動き等）を検出する。具体的には、コントローラ１６０は、ユーザ１９０の手が動いた方向および速さ等を検出する。検出内容を示す信号は、コンピュータ２００に送られる。 In step S7, the controller 160 detects the operation of the user 190 in the real space. For example, in one aspect, the controller 160 detects that a button has been pressed by the user 190. In another aspect, the controller 160 detects the movement of the hand of the user 190 (eg, a movement of waving a hand). Specifically, the controller 160 detects the direction and speed of the user 190's hand moving. A signal indicating the detected content is sent to the computer 200.
ステップＳ８において、プロセッサ１０は、動き調整モジュール２３４として、乗り物オブジェクトとともに移動するアバターに関連付けられた仮想カメラ１の動きを調整する。ステップＳ８の処理の詳細については後述する。 In step S <b> 8, the processor 10 adjusts the movement of the virtual camera 1 associated with the avatar moving with the vehicle object as the movement adjustment module 234. Details of the processing in step S8 will be described later.
ステップＳ９において、プロセッサ１０は、視界領域決定モジュール２２２および視界画像生成モジュール２２３として、処理の結果に基づく視界画像を表示するための視界画像データを生成し、生成した視界画像データをＨＭＤ装置１１０に出力する。より具体的には、プロセッサ１０は、ステップＳ８における仮想カメラ１の動き調整の結果が反映された仮想カメラ１の位置と、仮想空間データと、に基づいて視界画像を生成し、ＨＭＤ装置１１０のディスプレイ１１２に視界画像を表示させる。 In step S <b> 9, the processor 10 generates view image data for displaying a view image based on the processing result as the view area determination module 222 and the view image generation module 223, and sends the generated view image data to the HMD device 110. Output. More specifically, the processor 10 generates a visual field image based on the position of the virtual camera 1 reflecting the result of the movement adjustment of the virtual camera 1 in step S8 and the virtual space data, and the HMD device 110 A view field image is displayed on the display 112.
ステップＳ１０において、ＨＭＤ装置１１０のディスプレイ１１２は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。 In step S10, the display 112 of the HMD device 110 updates the view image based on the received view image data, and displays the updated view image.
ステップＳ５〜Ｓ１０の処理は、定期的に繰り返し実行される。 The processes in steps S5 to S10 are repeatedly executed periodically.
［仮想カメラの動き調整］
図１１〜図１５を参照して、動き調整モジュール２３４による処理（図１０のステップＳ８）の処理手順の一例について説明する。具体的には、乗り物オブジェクトＶとともに移動するアバターに関連付けられた仮想カメラの動きを調整するための処理手順について説明する。本実施形態では、図１２および図１４に示されるように、乗り物オブジェクトＶが運転席と助手席とを有する自動車である例について説明する。この例では、アバターＡ１は、乗り物オブジェクトＶの運転席に乗車しており、アバターＡ２は、乗り物オブジェクトＶの助手席に乗車している。乗り物オブジェクトＶの運転席には、当該乗り物オブジェクトＶの移動を制御するためのハンドルを模したハンドルオブジェクトＨが設けられている。アバターＡ１を操作するユーザは、アバターＡ１の手の部分に相当する手オブジェクトＣ（操作オブジェクト）を動かし、ハンドルオブジェクトＨを操作することにより、乗り物オブジェクトＶの移動（例えば、直進および右左折等の進行方向、移動速度等）を制御することができる。[Virtual camera movement adjustment]
With reference to FIGS. 11-15, an example of the process sequence of the process (step S8 of FIG. 10) by the motion adjustment module 234 is demonstrated. Specifically, a processing procedure for adjusting the movement of the virtual camera associated with the avatar that moves with the vehicle object V will be described. In the present embodiment, as shown in FIGS. 12 and 14, an example in which the vehicle object V is an automobile having a driver seat and a passenger seat will be described. In this example, the avatar A1 is in the driver's seat of the vehicle object V, and the avatar A2 is in the passenger seat of the vehicle object V. In the driver's seat of the vehicle object V, a handle object H imitating a handle for controlling the movement of the vehicle object V is provided. The user who operates the avatar A1 moves the hand object C (operation object) corresponding to the hand portion of the avatar A1 and operates the handle object H, thereby moving the vehicle object V (for example, going straight and turning left and right). (Traveling direction, moving speed, etc.) can be controlled.
ここで、アバターが乗り物オブジェクトＶとともに移動する場合には、仮想空間２内における乗り物オブジェクトＶの移動に応じて、当該乗り物オブジェクトＶに関連付けられたアバターも同様に移動することになる。そして、アバターに関連付けられた仮想カメラも、アバターと同様に、乗り物オブジェクトＶの動きに連動して動くことになる。しかし、仮想カメラを乗り物オブジェクトＶと完全に連動させた場合、当該仮想カメラの動きに応じた視界画像の変化によってユーザのＶＲ酔いを生じるおそれが高くなる。そこで、プロセッサ１０は、以下のような仮想カメラの動き調整処理を実行する。 Here, when the avatar moves together with the vehicle object V, the avatar associated with the vehicle object V moves in the same manner as the vehicle object V moves in the virtual space 2. Then, the virtual camera associated with the avatar also moves in conjunction with the movement of the vehicle object V, similarly to the avatar. However, when the virtual camera is completely interlocked with the vehicle object V, there is a high possibility that the user will get VR sickness due to a change in the view field image according to the movement of the virtual camera. Therefore, the processor 10 executes the following virtual camera motion adjustment processing.
ステップＳ８０１において、ＨＭＤ装置１１０のプロセッサ１０は、対象ユーザ（すなわち、当該ＨＭＤ装置１１０を利用しているユーザ１９０）に関連付けられたアバターが乗り物オブジェクトＶで移動中であるか否かを判定する。アバターが乗り物オブジェクトＶで移動中でない場合には、アバターに関連付けられた仮想カメラ１について、乗り物オブジェクトＶの移動に伴う動き調整は不要であるため、当該動き調整は実行されない。一方、アバターが乗り物オブジェクトＶで移動中である場合には、プロセッサ１０は、仮想カメラ１の動き調整を実行するために、ステップＳ８０２の処理に進む。図１２および図１４に示される例では、アバターＡ１，Ａ２の両方とも乗り物オブジェクトＶで移動中であるため、対象ユーザに関連付けられたアバターがアバターＡ１，Ａ２のいずれである場合にも、プロセッサ１０はステップＳ８０２の処理に進む。 In step S <b> 801, the processor 10 of the HMD device 110 determines whether or not the avatar associated with the target user (that is, the user 190 using the HMD device 110) is moving on the vehicle object V. When the avatar is not moving in the vehicle object V, the movement adjustment associated with the movement of the vehicle object V is not necessary for the virtual camera 1 associated with the avatar, and thus the movement adjustment is not executed. On the other hand, when the avatar is moving with the vehicle object V, the processor 10 proceeds to the process of step S802 in order to execute the movement adjustment of the virtual camera 1. In the example shown in FIG. 12 and FIG. 14, both of the avatars A1 and A2 are moving on the vehicle object V. Therefore, even when the avatar associated with the target user is either the avatar A1 or A2, the processor 10 Advances to the process of step S802.
ステップＳ８０２において、プロセッサ１０は、乗り物オブジェクトＶの動きを特定する。乗り物オブジェクトＶの動きは、例えば、予め定められた移動パターンまたはハンドルオブジェクトＨを介して入力された移動制御の内容に基づいて特定され得る。ここで、予め定められた移動パターンは、予め定められたルートおよび速度等に基づいて移動するパターンであり、例えば列車が仮想空間２内に敷設されたレールに沿って移動するパターン等である。また、乗り物オブジェクトＶの動きは、当該乗り物オブジェクトＶが移動中の場所に関連付けられた地形、風の強さおよび向き等の環境パラメータに基づいて特定されてもよい。環境パラメータは、乗り物オブジェクトＶの移動中の動き（例えば揺れ等）に影響し得るパラメータである。 In step S802, the processor 10 specifies the movement of the vehicle object V. The movement of the vehicle object V can be specified based on, for example, a predetermined movement pattern or the content of movement control input via the handle object H. Here, the predetermined movement pattern is a pattern that moves based on a predetermined route and speed, for example, a pattern in which a train moves along a rail laid in the virtual space 2 or the like. Further, the movement of the vehicle object V may be specified based on environmental parameters such as terrain, wind strength, and direction associated with the place where the vehicle object V is moving. The environmental parameter is a parameter that can affect the movement (for example, shaking) of the vehicle object V during movement.
ステップＳ８０３において、プロセッサ１０は、乗り物オブジェクトＶの物理的属性を取得する。プロセッサ１０は、例えばメモリモジュール２４０にアクセスすることにより、当該メモリモジュール２４０に格納された乗り物オブジェクトＶの物理的属性を取得する。乗り物オブジェクトＶの物理的属性は、乗り物オブジェクトＶの物理的な性質または状態を表す情報である。例えば、乗り物オブジェクトＶの物理的属性は、乗り物オブジェクトＶの移動態様と関連付けられた乗り物オブジェクトＶの種類と、乗り物オブジェクトＶの状況に応じて決定されるモード情報と、を含み得る。 In step S803, the processor 10 acquires a physical attribute of the vehicle object V. The processor 10 acquires the physical attribute of the vehicle object V stored in the memory module 240 by accessing the memory module 240, for example. The physical attribute of the vehicle object V is information representing the physical property or state of the vehicle object V. For example, the physical attributes of the vehicle object V may include the type of the vehicle object V associated with the movement mode of the vehicle object V and mode information determined according to the situation of the vehicle object V.
乗り物オブジェクトＶの移動態様は、例えば、車輪等で地上を移動する態様、レールに沿って移動する態様、飛行により移動する態様等の、乗り物オブジェクトＶの特性に応じた移動の態様である。乗り物オブジェクトＶの種類の例としては、地上を移動する移動態様と関連付けられる車、レールに沿って移動する移動態様と関連付けられる列車、飛行により移動する移動態様と関連付けられた飛行機等が挙げられる。 The movement mode of the vehicle object V is a mode of movement according to the characteristics of the vehicle object V, such as a mode of moving on the ground with wheels or the like, a mode of moving along the rail, a mode of moving by flying, and the like. Examples of the type of the vehicle object V include a vehicle associated with a movement mode moving on the ground, a train associated with a movement mode moving along a rail, an airplane associated with a movement mode moving by flight, and the like.
モード情報の例としては、乗り物オブジェクトＶの移動が対象ユーザにより制御される状態であるか否かを示す第１モード情報が挙げられる。モード情報の他の例としては、乗り物オブジェクトＶの移動シーンを示す第２モード情報が挙げられる。移動シーンは、乗り物オブジェクトＶの特定の移動状態を表す。特定の移動状態の例としては、例えば、飛行機の離陸時または着陸時の状態、車または列車が道またはレールの形状に応じてカーブする状態等が挙げられる。なお、このような特定の移動状態は、乗り物オブジェクトＶの特定の姿勢変化を伴うものである。したがって、移動シーンは、乗り物オブジェクトＶの移動状態に関連付けられた乗り物オブジェクトＶの姿勢変化のパターンを表す情報であるともいえる。第２モード情報は、上述したような乗り物オブジェクトＶの移動状態に応じて適宜更新される。 Examples of the mode information include first mode information indicating whether or not the movement of the vehicle object V is controlled by the target user. Another example of the mode information is second mode information indicating a moving scene of the vehicle object V. The movement scene represents a specific movement state of the vehicle object V. Examples of the specific movement state include a state at the time of takeoff or landing of an airplane, a state where a car or a train curves according to the shape of a road or rail, and the like. Note that such a specific movement state is accompanied by a specific posture change of the vehicle object V. Therefore, it can be said that the moving scene is information representing a posture change pattern of the vehicle object V associated with the moving state of the vehicle object V. The second mode information is appropriately updated according to the moving state of the vehicle object V as described above.
ステップＳ８０４において、プロセッサ１０は、乗り物オブジェクトＶの移動が対象ユーザにより制御される状態（以下「制御可能状態」）であるか否かを判定する。すなわち、プロセッサ１０は、第１モード情報が制御可能状態であることを示すか否かを判定する。 In step S804, the processor 10 determines whether or not the movement of the vehicle object V is in a state controlled by the target user (hereinafter, “controllable state”). That is, the processor 10 determines whether or not the first mode information indicates a controllable state.
第１モード情報が制御可能状態であることを示す場合（すなわち、対象ユーザに関連付けられたアバターがアバターＡ１である場合）、対象ユーザは乗り物オブジェクトＶを自らの意思によって移動させることができる。すなわち、対象ユーザは乗り物オブジェクトＶの移動を予測可能である。このため、仮想空間２内における実際のアバター動作（すなわち、乗り物オブジェクトＶの動きによって生じる動作）に応じて仮想カメラを動かしたとしても、当該仮想カメラの動きに基づく視界画像の変化によって対象ユーザがＶＲ酔いする可能性は、比較的低い。そこで、第１モード情報が制御可能状態であることを示す場合（ステップＳ８０４：ＹＥＳ）には、プロセッサ１０は、ステップＳ８０５〜Ｓ８０７の処理を実行しない。 When the first mode information indicates a controllable state (that is, when the avatar associated with the target user is the avatar A1), the target user can move the vehicle object V by his / her own intention. That is, the target user can predict the movement of the vehicle object V. For this reason, even if the virtual camera is moved in accordance with the actual avatar motion in the virtual space 2 (that is, motion caused by the motion of the vehicle object V), the target user is changed by the change in the view image based on the motion of the virtual camera. The chance of VR sickness is relatively low. Therefore, when the first mode information indicates that control is possible (step S804: YES), the processor 10 does not execute the processes of steps S805 to S807.
一方、第１モード情報が制御可能状態でないことを示す場合（すなわち、対象ユーザに関連付けられたアバターがアバターＡ２である場合）、対象ユーザは乗り物オブジェクトＶを自らの意思によって移動させることができない。このため、仮想空間２内における実際のアバター動作に応じて仮想カメラを動かした場合、当該仮想カメラの動きに基づく視界画像の変化によって対象ユーザがＶＲ酔いする可能性は、比較的高い。そこで、第１モード情報が制御可能状態でないことを示す場合（ステップＳ８０４：ＮＯ）には、プロセッサ１０は、仮想カメラの動きを調整するために、引き続きステップＳ８０５〜Ｓ８０７の処理を実行する。 On the other hand, when the first mode information indicates that it is not in a controllable state (that is, when the avatar associated with the target user is the avatar A2), the target user cannot move the vehicle object V by his / her own intention. For this reason, when the virtual camera is moved in accordance with the actual avatar motion in the virtual space 2, the possibility that the target user is VR sick by a change in the view field image based on the movement of the virtual camera is relatively high. Therefore, when the first mode information indicates that the controllable state is not possible (step S804: NO), the processor 10 continues to execute the processes of steps S805 to S807 in order to adjust the movement of the virtual camera.
ステップＳ８０５において、プロセッサ１０は、仮想カメラ（ここではアバターＡ２の視点位置に対応する仮想カメラ１Ｂ）の動きを調整する対象となる調整軸を特定する。より具体的には、プロセッサ１０は、乗り物オブジェクトＶの物理的属性（この例では、ステップＳ８０４における判定に用いられた第１モード情報）に基づいて、調整軸を特定する。調整軸とは、仮想空間２内における実際の乗り物オブジェクトＶの動きと連動させない対象となる仮想カメラ１Ｂの動き方向を規定する軸である。プロセッサ１０は、例えばユーザのＶＲ酔いを誘発する可能性の高い回転方向に対応する回転軸を、調整軸として特定する。このような調整軸は、例えば乗り物オブジェクトＶの種類等に応じて予め設定されてもよい。本実施形態では、乗り物オブジェクトの種類「自動車」に対して、ヨー軸およびロール軸が予め設定されているものとする。この場合、プロセッサ１０は、上述した第１モード情報とともに乗り物オブジェクトＶの種類にも基づいて、仮想カメラ１Ｂのヨー軸およびロール軸を調整軸として特定する。 In step S805, the processor 10 specifies an adjustment axis that is a target for adjusting the movement of the virtual camera (here, the virtual camera 1B corresponding to the viewpoint position of the avatar A2). More specifically, the processor 10 specifies the adjustment axis based on the physical attribute of the vehicle object V (in this example, the first mode information used for the determination in step S804). The adjustment axis is an axis that defines the movement direction of the virtual camera 1 </ b> B that is not linked to the actual movement of the vehicle object V in the virtual space 2. For example, the processor 10 specifies a rotation axis corresponding to a rotation direction that is highly likely to induce a user's VR sickness as an adjustment axis. Such an adjustment axis may be set in advance according to the type of the vehicle object V, for example. In the present embodiment, it is assumed that the yaw axis and the roll axis are set in advance for the vehicle object type “automobile”. In this case, the processor 10 specifies the yaw axis and the roll axis of the virtual camera 1B as the adjustment axes based on the type of the vehicle object V together with the first mode information described above.
ステップＳ８０６において、プロセッサ１０は、ステップＳ８０２において特定された乗り物オブジェクトＶの動きと、ステップＳ８０５において特定された調整軸（ここではヨー軸およびロール軸）とに基づいて、仮想カメラ１Ｂの調整軸周りの動き量を決定する。例えば、プロセッサ１０は、上述したユーザのＶＲ酔いを抑制するために、以下のように仮想カメラ１Ｂのヨー軸周りおよびロール軸周りの動き量を決定する。 In step S806, the processor 10 moves around the adjustment axis of the virtual camera 1B based on the movement of the vehicle object V specified in step S802 and the adjustment axes (here, the yaw axis and the roll axis) specified in step S805. Determine the amount of movement. For example, the processor 10 determines the amount of movement of the virtual camera 1B around the yaw axis and the roll axis as follows in order to suppress the above-described VR sickness of the user.
プロセッサ１０は、乗り物オブジェクトＶの実際の動きに応じた大きさよりも小さくなるように、仮想カメラ１Ｂのヨー軸周りの動き量を決定する。具体的には、プロセッサ１０は、仮想カメラ１Ｂの動き調整を行わない場合に生じる動き（すなわち、乗り物オブジェクトＶの実際の動きに応じて生じる仮想カメラ１Ｂのヨー軸周りの動き）の大きさよりも小さくなるように、仮想カメラ１Ｂのヨー軸周りの動き量を決定する。例えば、プロセッサ１０は、乗り物オブジェクトＶの動きに基づくヨー軸周りの動き量が０となるように、仮想カメラ１Ｂのヨー軸周りの動き量を決定する。乗り物オブジェクトＶを用いた移動において、乗り物オブジェクトＶが仮想空間２内に設けられた道路形状に沿ってカーブする状況等が考えられる。プロセッサ１０は、例えばこのような乗り物オブジェクトＶのカーブ動作が発生した場合において、当該カーブ動作に連動して仮想カメラ１Ｂがヨー軸周りに回転しないように、仮想カメラ１Ｂのヨー軸周りの動き量を０とする。 The processor 10 determines the amount of movement of the virtual camera 1B around the yaw axis so as to be smaller than the size corresponding to the actual movement of the vehicle object V. Specifically, the processor 10 is larger than the magnitude of the movement that occurs when the movement adjustment of the virtual camera 1B is not performed (that is, the movement around the yaw axis of the virtual camera 1B that occurs according to the actual movement of the vehicle object V). The amount of movement of the virtual camera 1B around the yaw axis is determined so as to decrease. For example, the processor 10 determines the movement amount around the yaw axis of the virtual camera 1B so that the movement amount around the yaw axis based on the movement of the vehicle object V becomes zero. In movement using the vehicle object V, a situation where the vehicle object V curves along a road shape provided in the virtual space 2 can be considered. For example, when such a curve motion of the vehicle object V occurs, the processor 10 moves the virtual camera 1B around the yaw axis so that the virtual camera 1B does not rotate around the yaw axis in conjunction with the curve motion. Is set to 0.
プロセッサ１０は、乗り物オブジェクトＶの実際の動きに応じた大きさよりも小さくなるように、仮想カメラ１Ｂのロール軸周りの動き量を決定する。具体的には、プロセッサ１０は、仮想カメラ１Ｂの動き調整を行わない場合に生じる動き（すなわち、乗り物オブジェクトＶの実際の動きに応じて生じる仮想カメラ１Ｂのロール軸周りの動き）の大きさよりも小さくなるように、仮想カメラ１Ｂのロール軸周りの動き量を決定する。例えば、プロセッサ１０は、乗り物オブジェクトＶの動きに基づくロール軸周りの動き量が０となるように、仮想カメラ１Ｂのロール軸周りの動き量を決定する。乗り物オブジェクトＶを用いた移動において、乗り物オブジェクトＶが凸凹形状の地面の上を走行し、進行方向に沿った軸周り（すなわち、仮想カメラ１Ｂのロール軸周り）に傾斜する状況等が考えられる。プロセッサ１０は、例えばこのような乗り物オブジェクトＶの傾き動作が発生した場合において、当該傾き動作に連動して仮想カメラ１Ｂがロール軸周りに回転しないように、仮想カメラ１Ｂのロール軸周りの動き量を０とする。 The processor 10 determines the amount of movement of the virtual camera 1B around the roll axis so as to be smaller than the size corresponding to the actual movement of the vehicle object V. Specifically, the processor 10 is larger than the magnitude of the movement that occurs when the movement adjustment of the virtual camera 1B is not performed (that is, the movement around the roll axis of the virtual camera 1B that occurs according to the actual movement of the vehicle object V). The amount of movement of the virtual camera 1B around the roll axis is determined so as to decrease. For example, the processor 10 determines the movement amount around the roll axis of the virtual camera 1B so that the movement amount around the roll axis based on the movement of the vehicle object V becomes zero. In movement using the vehicle object V, the vehicle object V may run on an uneven ground and tilt around an axis along the traveling direction (that is, around the roll axis of the virtual camera 1B). For example, when such a tilt motion of the vehicle object V occurs, the processor 10 moves the virtual camera 1B around the roll axis so that the virtual camera 1B does not rotate around the roll axis in conjunction with the tilt motion. Is set to 0.
ステップＳ８０７において、プロセッサ１０は、ステップＳ８０６において決定された動き量に基づいて、仮想カメラ１Ｂを動かす。 In step S807, the processor 10 moves the virtual camera 1B based on the motion amount determined in step S806.
図１２および図１３を参照して、仮想カメラ１Ｂのヨー軸（ｖ軸）周りの動き調整の例について説明する。図１２の例は、乗り物オブジェクトＶが仮想空間２内に設けられた道路形状に沿ってカーブする状況を表している。 With reference to FIG. 12 and FIG. 13, an example of movement adjustment around the yaw axis (v-axis) of the virtual camera 1B will be described. The example of FIG. 12 represents a situation where the vehicle object V curves along the road shape provided in the virtual space 2.
プロセッサ１０は、乗り物オブジェクトＶの移動を予測可能なユーザ（すなわちアバターＡ１に関連付けられたユーザ）に関連付けられた仮想カメラ１Ａについては、上述した動き調整（ステップＳ８０５〜Ｓ８０７）を実行しない。このため、プロセッサ１０は、乗り物オブジェクトＶの動き（左方向へのカーブ）に連動するように、仮想カメラ１Ａをヨー軸周りに回転させる。これにより、図１３の状態（Ａ）に示されるように、乗り物オブジェクトＶのカーブ動作中に仮想カメラ１Ａにより定義される視界画像Ｍ１は、乗り物オブジェクトＶの左方向へのカーブに応じて変化する。 The processor 10 does not perform the above-described motion adjustment (steps S805 to S807) for the virtual camera 1A associated with a user who can predict the movement of the vehicle object V (that is, a user associated with the avatar A1). For this reason, the processor 10 rotates the virtual camera 1A around the yaw axis so as to be interlocked with the movement of the vehicle object V (curve to the left). As a result, as shown in the state (A) of FIG. 13, the field-of-view image M1 defined by the virtual camera 1A during the curve operation of the vehicle object V changes according to the curve of the vehicle object V in the left direction. .
一方、プロセッサ１０は、乗り物オブジェクトＶの移動を予測不可能なユーザ（すなわちアバターＡ２に関連付けられたユーザ）に関連付けられた仮想カメラ１Ｂについては、上述した動き調整（ステップＳ８０５〜Ｓ８０７）を実行する。すなわち、プロセッサ１０は、乗り物オブジェクトＶの動きに基づく仮想カメラ１Ｂのヨー軸周りの動き量を０とすることにより、仮想カメラ１Ｂがヨー軸周りに回転しないように仮想カメラ１Ｂの動きを調整する。これにより、図１３の状態（Ｂ）に示されるように、乗り物オブジェクトＶのカーブ動作中に仮想カメラ１Ｂにより定義される視界画像Ｍ２は、乗り物オブジェクトＶの左方向へのカーブの影響を受けない。 On the other hand, the processor 10 executes the above-described motion adjustment (steps S805 to S807) for the virtual camera 1B associated with the user who cannot predict the movement of the vehicle object V (that is, the user associated with the avatar A2). . In other words, the processor 10 adjusts the movement of the virtual camera 1B so that the virtual camera 1B does not rotate around the yaw axis by setting the movement amount around the yaw axis of the virtual camera 1B based on the movement of the vehicle object V to zero. . As a result, as shown in the state (B) of FIG. 13, the field-of-view image M2 defined by the virtual camera 1B during the curve motion of the vehicle object V is not affected by the leftward curve of the vehicle object V. .
図１４および図１５を参照して、仮想カメラ１Ｂのロール軸（ｗ軸）周りの動き調整の例について説明する。図１４の例は、乗り物オブジェクトＶが凸凹形状の地面Ｇの上を走行し、進行方向（Ｙ方向）周り（すなわち、仮想カメラ１Ｂのロール軸周り）に傾斜している状態を表している。 An example of movement adjustment around the roll axis (w axis) of the virtual camera 1B will be described with reference to FIGS. The example of FIG. 14 represents a state in which the vehicle object V runs on the uneven ground G and is inclined around the traveling direction (Y direction) (that is, around the roll axis of the virtual camera 1B).
プロセッサ１０は、乗り物オブジェクトＶの移動を予測可能なユーザ（すなわちアバターＡ１に関連付けられたユーザ）に関連付けられた仮想カメラ１Ａについては、上述した動き調整（ステップＳ８０５〜Ｓ８０７）を実行しない。このため、プロセッサ１０は、乗り物オブジェクトＶの動き（地面Ｇに沿った傾き動作）に連動するように、仮想カメラ１Ａをロール軸周りに回転させる。図１４の例では、仮想カメラ１Ａは、乗り物オブジェクトＶの傾き動作に応じて、ロール軸周りに反時計回りに回転している。これにより、図１５の状態（Ａ）に示されるように、乗り物オブジェクトＶの傾き動作時に仮想カメラ１Ａにより定義される視界画像Ｍ１は、乗り物オブジェクトＶの傾き具合を反映したものとなる。 The processor 10 does not perform the above-described motion adjustment (steps S805 to S807) for the virtual camera 1A associated with a user who can predict the movement of the vehicle object V (that is, a user associated with the avatar A1). For this reason, the processor 10 rotates the virtual camera 1A around the roll axis so as to be interlocked with the motion of the vehicle object V (the tilting motion along the ground G). In the example of FIG. 14, the virtual camera 1 </ b> A rotates counterclockwise around the roll axis according to the tilting motion of the vehicle object V. Accordingly, as shown in the state (A) of FIG. 15, the field-of-view image M1 defined by the virtual camera 1A when the vehicle object V is tilted reflects the tilt of the vehicle object V.
一方、プロセッサ１０は、乗り物オブジェクトＶの移動を予測不可能なユーザ（すなわちアバターＡ２に関連付けられたユーザ）に関連付けられた仮想カメラ１Ｂについては、上述した動き調整（ステップＳ８０５〜Ｓ８０７）を実行する。すなわち、プロセッサ１０は、乗り物オブジェクトＶの動きに基づく仮想カメラ１Ｂのロール軸周りの動き量を０とすることにより、仮想カメラ１Ｂがロール軸周りに回転しないように仮想カメラ１Ｂの動きを調整する。これにより、図１５の状態（Ｂ）に示されるように、乗り物オブジェクトＶの傾き動作時に仮想カメラ１Ｂにより定義される視界画像Ｍ２は、乗り物オブジェクトＶの傾き具合の影響を受けない。 On the other hand, the processor 10 executes the above-described motion adjustment (steps S805 to S807) for the virtual camera 1B associated with the user who cannot predict the movement of the vehicle object V (that is, the user associated with the avatar A2). . That is, the processor 10 adjusts the movement of the virtual camera 1B so that the virtual camera 1B does not rotate around the roll axis by setting the amount of movement around the roll axis of the virtual camera 1B based on the movement of the vehicle object V to zero. . Accordingly, as shown in the state (B) of FIG. 15, the field-of-view image M2 defined by the virtual camera 1B during the tilting operation of the vehicle object V is not affected by the tilting state of the vehicle object V.
上述したような仮想カメラの動き調整によれば、乗り物オブジェクトＶの物理的属性に基づいて、ユーザ１９０のＶＲ酔いに影響する回転軸（ここではヨー軸およびロール軸）を調整軸として特定できる。そして、このようにして特定された調整軸周りの仮想カメラ１の動き量を決定することにより、ユーザのＶＲ酔いを効果的に抑制し得る。 According to the movement adjustment of the virtual camera as described above, based on the physical attribute of the vehicle object V, the rotation axes (here, the yaw axis and the roll axis) that affect the VR sickness of the user 190 can be specified as the adjustment axes. Then, by determining the amount of movement of the virtual camera 1 around the adjustment axis specified in this way, the user's VR sickness can be effectively suppressed.
具体的には、自らの意思で乗り物オブジェクトＶを移動させておらず、ＶＲ酔いを起こす可能性の高いユーザ（すなわち、アバターＡ２に関連付けられたユーザ）に対して、ヨー軸周りまたはロール軸周りの動き量（回転移動量）が０とされた仮想カメラ１Ｂによる視界画像Ｍ２を提供することができる。その結果、乗り物オブジェクトの動きに起因して生じ得るＶＲ酔いを効果的に抑制し得る。 Specifically, with respect to a user who has not moved the vehicle object V on his / her own intention and is likely to cause VR sickness (ie, a user associated with the avatar A2), the yaw axis or the roll axis. It is possible to provide a field-of-view image M2 from the virtual camera 1B in which the amount of movement (the amount of rotational movement) is zero. As a result, VR sickness that may occur due to the movement of the vehicle object can be effectively suppressed.
一方、自らの意思で乗り物オブジェクトＶを移動させており、ＶＲ酔いを起こす可能性の低いユーザ（すなわち、アバターＡ１に関連付けられたユーザ）に対しては、乗り物オブジェクトＶの動き（例えば上述したカーブ動作、傾き動作等）が反映された視界画像Ｍ１を提供することができる。その結果、このようなユーザに対しては、仮想空間２内を乗り物で移動していることをよりリアルに体感させることができる。 On the other hand, for a user who moves the vehicle object V on his / her own intention and has a low possibility of causing VR sickness (that is, a user associated with the avatar A1), the movement of the vehicle object V (for example, the curve described above) The view image M1 reflecting the motion, tilting motion, etc.) can be provided. As a result, such a user can more realistically feel that he is moving in the virtual space 2 with a vehicle.
なお、調整後のヨー軸周りまたはロール軸周りの動き量は必ずしも０でなくてもよい。例えば、プロセッサ１０は、乗り物オブジェクトＶの動きに応じて実際に生じる仮想カメラの調整軸周りの動き量（すなわち、上述した仮想カメラの動き調整を行わない場合に生じる動き量）に予め定められた割合（例えば５０％等）を乗じることにより得られる動き量を、当該調整軸周りの動き量として決定してもよい。このようにした場合でも、乗り物オブジェクトＶの動きに応じた視界画像の変化量を低減することによってユーザのＶＲ酔いを抑制し得る。さらに、この場合には、乗り物オブジェクトＶの動きが視界画像に反映されるので、仮想空間２内を乗り物で移動している感覚をユーザに与えることができるという副次的効果も奏される。 Note that the amount of movement around the yaw axis or roll axis after adjustment is not necessarily zero. For example, the processor 10 is predetermined to a movement amount around the adjustment axis of the virtual camera that actually occurs according to the movement of the vehicle object V (that is, a movement amount that occurs when the above-described movement adjustment of the virtual camera is not performed). The amount of movement obtained by multiplying the ratio (for example, 50%) may be determined as the amount of movement around the adjustment axis. Even in this case, the VR sickness of the user can be suppressed by reducing the amount of change in the view field image according to the movement of the vehicle object V. Furthermore, in this case, since the movement of the vehicle object V is reflected in the field-of-view image, there is also a secondary effect that it is possible to give the user a sense of moving in the virtual space 2 with the vehicle.
［仮想カメラの動き調整の第１の変形例］
図１６に示されるフローチャートを参照して、仮想カメラの動き調整の第１の変形例について説明する。第１の変形例では、プロセッサ１０は、調整軸を特定するために、当該乗り物オブジェクトの移動シーンを示す第２モード情報を利用する。ここでは、乗り物オブジェクトの種類が飛行機である場合の仮想カメラの動き調整の例について説明する。[First Modification of Movement Adjustment of Virtual Camera]
With reference to the flowchart shown in FIG. 16, a first modification example of the movement adjustment of the virtual camera will be described. In the first modification, the processor 10 uses the second mode information indicating the movement scene of the vehicle object in order to specify the adjustment axis. Here, an example of the movement adjustment of the virtual camera when the type of the vehicle object is an airplane will be described.
例えば、種類が飛行機である乗り物オブジェクト（以下「飛行機オブジェクト」）は、離陸時または着陸時（例えば、離陸動作または着陸動作のために飛行機オブジェクトの車輪が外に出ている状態）において、現実の飛行機と同様に姿勢を変化させるように設定され得る。具体的には、飛行機オブジェクトは、離陸時において、機体が水平である状態から、機体の前方部分が機体の後方部分よりも高くなるように、姿勢を変化させ得る。また、飛行機オブジェクトは、着陸時において、機体が水平である状態から、機体の前方部分が機体の後方部分よりも低くなるように、姿勢を変化させ得る。上述したような飛行機オブジェクトの姿勢変化（すなわち、飛行機オブジェクトに搭乗し、かつ飛行機オブジェクトの進行方向前方を向いているアバターに関連付けられた仮想カメラのピッチ軸（ｕ軸）周りの動き）をユーザに体感させることにより、飛行機オブジェクトによる移動体験をよりリアルにユーザに体感させることが可能となる。一方、飛行状態（すなわち、上述した離着陸時以外の状態）において、上述したような姿勢変化をユーザに体感させることは、ユーザのＶＲ酔いの原因となり得る。そこで、プロセッサ１０は、以下のような仮想カメラの動き調整処理を実行する。 For example, a vehicle object of type airplane (hereinafter “airplane object”) can be used in real-time at takeoff or landing (eg, when the airplane object's wheels are out due to takeoff or landing action). It can be set to change posture in the same way as an airplane. Specifically, at the time of take-off, the airplane object can change its posture so that the front portion of the aircraft is higher than the rear portion of the aircraft from a state where the aircraft is horizontal. In addition, the plane object can change its posture at the time of landing so that the front part of the airframe is lower than the rear part of the airframe from a state where the airframe is horizontal. The attitude change of the airplane object as described above (that is, the movement around the pitch axis (u axis) of the virtual camera associated with the avatar that is on the airplane object and faces forward in the traveling direction of the airplane object) to the user By experiencing the experience, it is possible to make the user experience the movement experience by the airplane object more realistically. On the other hand, in a flight state (that is, a state other than the above-described takeoff and landing), causing the user to experience the posture change as described above may cause the user's VR sickness. Therefore, the processor 10 executes the following virtual camera motion adjustment processing.
ステップＳ８１１〜Ｓ８１４の処理は、上述した図１１におけるステップＳ８０１〜Ｓ８０４の処理と同様であるため、詳細な説明を繰り返さない。 Since the processing of steps S811 to S814 is similar to the processing of steps S801 to S804 in FIG. 11 described above, detailed description will not be repeated.
ステップＳ８１５において、プロセッサ１０は、ステップＳ８１３において取得された乗り物オブジェクトの物理的属性（乗り物オブジェクトの種類）に基づいて、乗り物オブジェクトの種類が飛行機であるか否かを判定する。乗り物オブジェクトの種類が飛行機でない場合（ステップＳ８１５：ＮＯ）には、当該変形例における仮想カメラの動き調整の対象とはならないため、プロセッサ１０は、ステップＳ８１６以降の処理を実行しない。一方、乗り物オブジェクトの種類が飛行機である場合（ステップＳ８１５：ＹＥＳ）には、プロセッサ１０は、引き続きステップＳ８１６の処理を実行する。 In step S815, the processor 10 determines whether or not the type of the vehicle object is an airplane based on the physical attribute (vehicle object type) of the vehicle object acquired in step S813. When the type of the vehicle object is not an airplane (step S815: NO), the processor 10 does not execute the processes after step S816 because it is not a target for the motion adjustment of the virtual camera in the modification. On the other hand, when the type of the vehicle object is an airplane (step S815: YES), the processor 10 continues to execute the process of step S816.
ステップＳ８１６において、プロセッサ１０は、ステップＳ８１３において取得された乗り物オブジェクトの物理的属性（第２モード情報）に基づいて、第２モード情報が示す移動シーンが離着陸時であるか否かを判定する。上述した通り、離着陸時においては、よりリアルな仮想体験をユーザに提供するために、飛行機オブジェクトの姿勢変化（仮想カメラのピッチ軸周りの動き）をユーザに体感させることが効果的である。一方、飛行状態においては、ＶＲ酔いを抑制する観点から、乗り物オブジェクトの動きに応じた仮想カメラのピッチ軸周りの動き量を制限することが効果的である。 In step S816, the processor 10 determines whether or not the moving scene indicated by the second mode information is during takeoff and landing based on the physical attribute (second mode information) of the vehicle object acquired in step S813. As described above, during takeoff and landing, in order to provide the user with a more realistic virtual experience, it is effective for the user to experience a change in the attitude of the airplane object (movement around the pitch axis of the virtual camera). On the other hand, in the flight state, from the viewpoint of suppressing VR sickness, it is effective to limit the amount of motion around the pitch axis of the virtual camera according to the motion of the vehicle object.
そこで、第２モード情報が示す移動シーンが離着陸時である場合（ステップＳ８１６：ＹＥＳ）には、プロセッサ１０は、ステップＳ８１７以降の調整処理（ピッチ軸周りの動き量の制限）を実行しない。一方、第２モード情報が示す移動シーンが離着陸時でない場合（ステップＳ８１６：ＮＯ）には、プロセッサ１０は、引き続きステップＳ８１７の処理を実行する。 Therefore, when the moving scene indicated by the second mode information is during takeoff and landing (step S816: YES), the processor 10 does not execute the adjustment processing (limitation of the movement amount around the pitch axis) after step S817. On the other hand, when the moving scene indicated by the second mode information is not during takeoff and landing (step S816: NO), the processor 10 continues to execute the process of step S817.
ステップＳ８１７において、プロセッサ１０は、仮想カメラの動きを調整する対象となる調整軸を特定する。より具体的には、プロセッサ１０は、乗り物オブジェクトＶの物理的属性（この例では、ステップＳ８１５における判定に用いられた乗り物オブジェクトの種類、およびステップＳ８１６における判定に用いられた第２モード情報）に基づいて、調整軸を特定する。ここでは、プロセッサ１０は、仮想カメラのピッチ軸を調整軸として特定する。 In step S817, the processor 10 specifies an adjustment axis that is a target for adjusting the movement of the virtual camera. More specifically, the processor 10 sets the physical attribute of the vehicle object V (in this example, the type of the vehicle object used for the determination in step S815 and the second mode information used for the determination in step S816). Based on this, the adjustment axis is specified. Here, the processor 10 specifies the pitch axis of the virtual camera as the adjustment axis.
ステップＳ８１８において、プロセッサ１０は、ステップＳ８１２において特定された乗り物オブジェクトの動きと、ステップＳ８１７において特定された調整軸（ここではピッチ軸）とに基づいて、仮想カメラの調整軸周りの動き量を決定する。例えば、プロセッサ１０は、上述したユーザのＶＲ酔いを抑制するために、乗り物オブジェクトの実際の動きに応じた大きさよりも小さくなるように、仮想カメラのピッチ軸周りの動き量を決定する。当該動き量は、０であってもよいし、乗り物オブジェクトの動きに応じて実際に生じる仮想カメラのピッチ軸周りの動き量に予め定められた割合（例えば５０％等）を乗じることにより得られる動き量であってもよい。 In step S818, the processor 10 determines a movement amount around the adjustment axis of the virtual camera based on the movement of the vehicle object specified in step S812 and the adjustment axis (here, the pitch axis) specified in step S817. To do. For example, the processor 10 determines the amount of movement around the pitch axis of the virtual camera so as to be smaller than the size corresponding to the actual movement of the vehicle object in order to suppress the above-described VR sickness of the user. The amount of motion may be 0, or may be obtained by multiplying the amount of motion around the pitch axis of the virtual camera that actually occurs according to the motion of the vehicle object by a predetermined ratio (for example, 50%). It may be the amount of movement.
ステップＳ８１９において、プロセッサ１０は、ステップＳ８１８において決定された動き量に基づいて、仮想カメラを動かす。 In step S819, the processor 10 moves the virtual camera based on the amount of motion determined in step S818.
第１の変形例によれば、よりリッチな仮想体験をユーザに提供しつつＶＲ酔いを抑制するという観点において、乗り物オブジェクトの移動シーンに基づいて、仮想カメラの調整軸周りの動き量を適切に決定することができる。なお、第１の変形例では、飛行機オブジェクトの離着陸時を具体例として説明したが、乗り物オブジェクトの移動シーンに基づく仮想カメラの動き調整は、この例に限定されない。例えば、飛行機オブジェクトが、飛行状態において左旋回または右旋回する際に、旋回する方向に横転（傾斜）する場合について考える。この場合、当該飛行機オブジェクトに搭乗し、かつ飛行機オブジェクトの進行方向前方を向くアバターに関連付けられた仮想カメラのロール軸（ｗ軸）周りの動きをユーザにリアルに体感させることにより、飛行機オブジェクトの左旋回または右旋回をよりリアルに感じさせることができる。一方、このような旋回動作が実行されていない場合には、ＶＲ酔いを抑制する観点から、飛行機オブジェクトの動きに応じた仮想カメラのピッチ軸周りの動き量を制限することが効果的である。そこで、プロセッサ１０は、例えば、移動シーンが飛行機オブジェクトの旋回時であるか否かに基づいて、仮想カメラのロール軸を調整軸として特定し、仮想カメラの当該調整軸周りの動き量を決定してもよい。 According to the first modification, from the viewpoint of suppressing VR sickness while providing a richer virtual experience to the user, the amount of movement around the adjustment axis of the virtual camera is appropriately set based on the movement scene of the vehicle object. Can be determined. Although the first modification has been described with a specific example of taking off and landing of an airplane object, the movement adjustment of the virtual camera based on the movement scene of the vehicle object is not limited to this example. For example, consider a case where an airplane object rolls over (tilts) in a turning direction when turning left or right in a flight state. In this case, the user can realistically experience the movement around the roll axis (w-axis) of the virtual camera associated with the avatar that is on the airplane object and faces forward in the traveling direction of the airplane object, so Turn or turn right can be made more realistic. On the other hand, when such a turning motion is not executed, it is effective to limit the amount of motion around the pitch axis of the virtual camera according to the motion of the airplane object from the viewpoint of suppressing VR sickness. Therefore, for example, the processor 10 specifies the roll axis of the virtual camera as the adjustment axis based on whether or not the moving scene is when the airplane object is turning, and determines the amount of movement of the virtual camera around the adjustment axis. May be.
［仮想カメラの動き調整の第２の変形例］
図１７に示されるフローチャートを参照して、仮想カメラの動き調整の第２の変形例について説明する。第２の変形例では、プロセッサ１０は、上述したような仮想カメラの調整軸周りの動き量の調整に加えて、乗り物オブジェクトの動きに応じた仮想カメラの予め定められた方向における移動量を、乗り物オブジェクトの物理的属性に基づいて決定する。図１７に示されるフローチャートは、仮想カメラの予め定められた方向における移動量を決定する処理を表している。「仮想カメラの予め定められた方向における移動量」は、例えば、仮想カメラを予め定められた方向（例えば乗り物オブジェクトの進行方向に直交する上下方向等）に沿って平行移動させる場合における仮想カメラの移動量である。[Second Modification of Movement Adjustment of Virtual Camera]
With reference to the flowchart shown in FIG. 17, a second modified example of the movement adjustment of the virtual camera will be described. In the second modification, in addition to the adjustment of the movement amount around the adjustment axis of the virtual camera as described above, the processor 10 calculates the movement amount of the virtual camera in a predetermined direction according to the movement of the vehicle object. Determine based on the physical attributes of the vehicle object. The flowchart shown in FIG. 17 represents processing for determining the movement amount of the virtual camera in a predetermined direction. The “movement amount of the virtual camera in a predetermined direction” is, for example, that of the virtual camera when the virtual camera is translated along a predetermined direction (for example, the vertical direction perpendicular to the traveling direction of the vehicle object). The amount of movement.
ここでは一例として、上記の「予め定められた方向」が乗り物オブジェクトの進行方向を基準とした上下方向（すなわち、乗り物オブジェクトが上下に振動する際の振動方向）である場合を具体例として説明する。また、同種の乗り物オブジェクトの間に、個体差に応じたパラメータが設定されている状況について考える。例えば、仮想空間２内で展開されるレーシングゲーム等において、ユーザが選択可能な複数の同種（例えば自動車）の乗り物オブジェクトの間に、乗車性能に関するパラメータ（例えば上下振動の吸収性能を表すパラメータ）等が設定され得る。このようなパラメータは、例えば、乗り物オブジェクトの物理的属性の一つとして、乗り物オブジェクトに関連付けてメモリモジュール２４０等に記憶される。 Here, as an example, the case where the above-mentioned “predetermined direction” is the vertical direction based on the traveling direction of the vehicle object (that is, the vibration direction when the vehicle object vibrates up and down) will be described as a specific example. . Also, consider a situation in which parameters according to individual differences are set between vehicle objects of the same type. For example, in a racing game or the like developed in the virtual space 2, a parameter related to riding performance (for example, a parameter representing absorption performance of vertical vibration) between a plurality of same-type (for example, automobile) vehicle objects that can be selected by the user. Can be set. Such parameters are stored in the memory module 240 or the like in association with the vehicle object as one of the physical attributes of the vehicle object, for example.
ステップＳ８２１およびＳ８２２の処理は、上述した図１１におけるステップＳ８０１およびＳ８０２の処理と同様であるため、詳細な説明を繰り返さない。 Since the processing of steps S821 and S822 is the same as the processing of steps S801 and S802 in FIG. 11 described above, detailed description will not be repeated.
ステップＳ８２３において、プロセッサ１０は、乗り物オブジェクトの物理的属性の一つとして、乗り物オブジェクトのパラメータを取得する。例えば、当該パラメータは、上述した乗車性能に関するパラメータ（上下振動の吸収性能を表すパラメータ）である。 In step S823, the processor 10 acquires the parameter of the vehicle object as one of the physical attributes of the vehicle object. For example, the parameter is a parameter related to the above-described riding performance (a parameter indicating the absorption performance of vertical vibration).
ステップＳ８２４において、プロセッサ１０は、ステップＳ８２２において特定された乗り物オブジェクトの動きと、ステップＳ８２３において取得されたパラメータとに基づいて、仮想カメラの特定方向（ここでは上下方向）における移動量を決定する。例えば、プロセッサ１０は、パラメータに示される上下振動の吸収性能が高いほど、仮想カメラの上下方向における振動の大きさが小さくなるように、仮想カメラの上下方向における移動量を決定する。 In step S824, the processor 10 determines the movement amount of the virtual camera in the specific direction (here, the vertical direction) based on the movement of the vehicle object specified in step S822 and the parameter acquired in step S823. For example, the processor 10 determines the amount of movement of the virtual camera in the vertical direction such that the higher the vertical vibration absorption performance indicated by the parameter is, the smaller the magnitude of vibration in the vertical direction of the virtual camera is.
ステップＳ８２５において、プロセッサ１０は、ステップＳ８２４において決定された移動量に基づいて、仮想カメラを動かす。 In step S825, the processor 10 moves the virtual camera based on the movement amount determined in step S824.
第２の変形例によれば、乗り物オブジェクトの物理的属性に基づいて、仮想カメラの調整軸周りの動き量を調整するとともに、仮想カメラの特定方向における平行移動量を調整することもできる。また、同種の乗り物オブジェクト間の個体差に応じたパラメータに基づいて上記平行移動量を決定することにより、複数の乗り物オブジェクト間の性能差等をユーザに実感させることができる。これにより、仮想空間２内での乗り物オブジェクトを用いた仮想体験のエンタテイメント性を向上させ得る。 According to the second modification, the amount of movement around the adjustment axis of the virtual camera can be adjusted based on the physical attribute of the vehicle object, and the amount of parallel movement of the virtual camera in a specific direction can also be adjusted. In addition, by determining the parallel movement amount based on a parameter corresponding to an individual difference between vehicle objects of the same type, it is possible to make the user feel a performance difference between a plurality of vehicle objects. Thereby, the entertainment property of the virtual experience using the vehicle object in the virtual space 2 can be improved.
以上、本開示の実施形態について説明したが、本発明の技術的範囲は、本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は、特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。 As mentioned above, although embodiment of this indication was described, the technical scope of this invention should not be limitedly interpreted by description of this embodiment. This embodiment is an example, and it is understood by those skilled in the art that various modifications can be made within the scope of the invention described in the claims. The technical scope of the present invention should be determined based on the scope of the invention described in the claims and the equivalents thereof.
例えば、本実施形態で説明した仮想カメラの動き調整の実施形態（図１１）、第１の変形例（図１６）、および第２の変形例（図１７）の処理は、適宜組み合わせられてもよい。また、本実施形態で説明したフローチャートに示される処理手順は一例であり、処理の一部が省略または変更されてもよいし、他の処理が付け加えられてもよいし、処理の順序が変更されてもよい。 For example, the processes of the virtual camera motion adjustment embodiment (FIG. 11), the first modification (FIG. 16), and the second modification (FIG. 17) described in this embodiment may be combined as appropriate. Good. The processing procedure shown in the flowchart described in the present embodiment is an example, and a part of the processing may be omitted or changed, other processing may be added, or the processing order may be changed. May be.
また、本実施形態（図１２〜図１５の例）では、仮想カメラ１Ａ，１Ｂによって定義されるユーザの視野を仮想空間２におけるアバターＡ１，Ａ２の視野と一致させることで、１人称視点における仮想体験がユーザに提供されたが、本実施形態はこれに限定されない。例えば、仮想カメラ１Ａ，１ＢがアバターＡ１，Ａ２の後方に配置されることで、アバターＡ１，Ａ２が視界画像に含まれる３人称視点における仮想体験が、ユーザに提供されてもよい。 In the present embodiment (examples of FIGS. 12 to 15), the user's visual field defined by the virtual cameras 1 </ b> A and 1 </ b> B is matched with the visual field of the avatars A <b> 1 and A <b> 2 in the virtual space 2. Although the experience is provided to the user, the present embodiment is not limited to this. For example, the virtual cameras 1A and 1B may be arranged behind the avatars A1 and A2, so that a virtual experience in a third person viewpoint in which the avatars A1 and A2 are included in the view field image may be provided to the user.
また、本実施形態においては、ＨＭＤ装置１１０によってユーザ１９０が没入する仮想空間（ＶＲ空間）を例示して説明したが、ＨＭＤ装置１１０として、透過型のＨＭＤ装置を採用してもよい。この場合、透過型のＨＭＤ装置を介してユーザ１９０が視認する現実空間に仮想空間を構成する画像の一部が視界画像として重畳されるように視界画像を出力することにより、拡張現実（ＡＲ：Augumented Reality）空間または複合現実（ＭＲ：Mixed Reality）空間における仮想体験をユーザ１９０に提供してもよい。この場合、手オブジェクトＣに代えて、ユーザ１９０の手の動きに基づいて、仮想空間２内における対象オブジェクト（例えばハンドルオブジェクトＨ）への作用を生じさせてもよい。具体的には、プロセッサ１０は、現実空間におけるユーザ１９０の手の位置の座標情報を特定するとともに、仮想空間２内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサ１０は、現実空間におけるユーザ１９０の手と仮想空間２における対象オブジェクトとの位置関係を把握し、ユーザ１９０の手と対象オブジェクトとの間に作用を生じさせることが可能となる。 In the present embodiment, the virtual space (VR space) in which the user 190 is immersed by the HMD device 110 has been described as an example. However, as the HMD device 110, a transmissive HMD device may be employed. In this case, the augmented reality (AR :) is output by outputting the view field image so that a part of the image constituting the virtual space is superimposed as the view field image on the real space visually recognized by the user 190 via the transmissive HMD device. The user 190 may be provided with a virtual experience in an augmented reality (MR) space or a mixed reality (MR) space. In this case, instead of the hand object C, an action on the target object (for example, the handle object H) in the virtual space 2 may be generated based on the hand movement of the user 190. Specifically, the processor 10 may specify the coordinate information of the position of the hand of the user 190 in the real space and define the position of the target object in the virtual space 2 in relation to the coordinate information in the real space. . Thereby, the processor 10 can grasp the positional relationship between the hand of the user 190 in the real space and the target object in the virtual space 2, and can cause an action between the hand of the user 190 and the target object.
本明細書に開示された主題は、例えば、以下のような項目として示される。
（項目１）
表示部（ディスプレイ１１２）を備えるヘッドマウントデバイス（ＨＭＤ装置１１０）を介してユーザ１９０に仮想空間２を提供するためにコンピュータ２００によって実行される情報処理方法であって、
前記ユーザ１９０の視界を定義する仮想カメラ１と、前記ユーザ１９０に関連付けられた第１オブジェクト（本実施形態ではアバター）と、前記第１オブジェクトとともに移動する第２オブジェクト（本実施形態では乗り物オブジェクト）と、を含む前記仮想空間２を規定する仮想空間データを生成するステップ（図１０のＳ１）と、
前記第２オブジェクトの動きを特定するステップ（例えば図１１の８０２）と、
前記第２オブジェクトの物理的属性に基づいて、前記仮想カメラ１の動きを調整する対象となる調整軸を特定するステップ（例えば図１１のＳ８０５）と、
前記第２オブジェクトの動きと前記調整軸とに基づいて、前記仮想カメラ１の前記調整軸周りの動き量を決定するステップ（例えば図１１のＳ８０６）と、
前記動き量に基づいて、前記仮想カメラ１を動かすステップ（例えば図１１のＳ８０７）と、
前記仮想カメラ１の位置と前記仮想空間データとに基づいて視界画像を生成し、前記表示部に前記視界画像を表示させるステップ（図１０のＳ９）と、
を含む、情報処理方法。
この情報処理方法によれば、第２オブジェクトの物理的属性に基づいて、例えばユーザのＶＲ酔いに対する影響度の大きい回転軸（調整軸）を特定することが可能となり、特定された調整軸周りの仮想カメラ１の動き量を決定することにより、ユーザのＶＲ酔いを効果的に抑制し得る。
（項目２）
前記第２オブジェクトの前記物理的属性は、前記第２オブジェクトの移動態様と関連付けられた前記第２オブジェクトの種類を含む、
項目１の情報処理方法。
この情報処理方法によれば、第２オブジェクトの種類に基づいて、調整軸を適切に特定し得る。
（項目３）
前記第２オブジェクトの前記物理的属性は、前記第２オブジェクトの移動が前記ユーザ１９０により制御される状態であるか否かを示す第１モード情報を含む、
項目１または２の情報処理方法。
この情報処理方法によれば、第２オブジェクトの移動が前記ユーザ１９０により制御される状態であるかに基づいて、調整軸を適切に特定し得る。
（項目４）
前記第１モード情報が、前記第２オブジェクトの移動が前記ユーザ１９０により制御される状態ではないことを示す場合、前記仮想カメラ１のヨー軸を前記調整軸として特定し、前記第２オブジェクトの実際の動きに応じた大きさよりも小さくなるように、前記ヨー軸周りの前記動き量を決定する、
項目３の情報処理方法。
（項目５）
前記第１モード情報が、前記第２オブジェクトの移動が前記ユーザ１９０により制御される状態ではないことを示す場合、前記仮想カメラのロール軸を前記調整軸として特定し、前記第２オブジェクトの実際の動きに応じた大きさよりも小さくなるように、前記ロール軸周りの前記動き量を決定する、
項目３または４の情報処理方法。
項目４または項目５の情報処理方法では、自らの意思で乗り物オブジェクトを移動させていないユーザの視界画像を定義する仮想カメラ１について、ヨー軸周りまたはロール軸周りの動き量を低減することができる。これにより、乗り物オブジェクトの移動によってＶＲ酔いを起こし易いユーザのＶＲ酔いを効果的に抑制し得る。
（項目６）
前記第２オブジェクトの前記物理的属性は、前記第２オブジェクトの移動シーンを示す第２モード情報を含む、
項目１〜５のいずれかの情報処理方法。
この情報処理方法によれば、特定の移動シーン（例えば、飛行機の離着陸時等）に基づいて、調整軸を適切に特定し得る。
（項目７）
前記第２オブジェクトの動きに応じた前記仮想カメラ１の予め定められた方向における移動量を、前記第２オブジェクトの前記物理的属性に基づいて決定するステップをさらに含む、
項目１〜６のいずれかの情報処理方法。
この情報処理方法によれば、仮想カメラ１の調整軸周りの回転移動だけでなく、予め定められた方向に沿った移動量についても適切に調整することが可能となる。
（項目８）
前記第２オブジェクトの前記物理的属性は、同種の前記第２オブジェクト間の個体差に応じたパラメータを含み、
前記移動量は、前記パラメータに基づいて決定される、
項目７の情報処理方法。
この情報処理方法によれば、同種の第２オブジェクト間の個体差に応じたパラメータに基づいて予め定められた方向に沿った移動量を決定することにより、複数の第２オブジェクト間の性能差等をユーザに実感させることができる。これにより、第２オブジェクトを用いた仮想体験のエンタテイメント性を向上させ得る。
（項目９）
項目１〜８のいずれかの情報処理方法をコンピュータに実行させる、プログラム。
（項目１０）
少なくともメモリと、前記メモリに結合されたプロセッサとを備え、前記プロセッサの制御により項目１〜８のいずれかの情報処理方法を実行する、装置。The subject matter disclosed in the present specification is indicated as, for example, the following items.
(Item 1)
An information processing method executed by a computer 200 to provide a virtual space 2 to a user 190 via a head mounted device (HMD device 110) including a display unit (display 112),
A virtual camera 1 that defines the field of view of the user 190, a first object associated with the user 190 (avatar in the present embodiment), and a second object that moves together with the first object (a vehicle object in the present embodiment). Generating virtual space data defining the virtual space 2 including (S1 in FIG. 10);
Identifying the movement of the second object (eg, 802 in FIG. 11);
Identifying an adjustment axis that is a target for adjusting the movement of the virtual camera 1 based on the physical attribute of the second object (for example, S805 in FIG. 11);
Determining the amount of movement of the virtual camera 1 around the adjustment axis based on the movement of the second object and the adjustment axis (for example, S806 in FIG. 11);
Moving the virtual camera 1 based on the amount of movement (for example, S807 in FIG. 11);
Generating a visual field image based on the position of the virtual camera 1 and the virtual space data, and displaying the visual field image on the display unit (S9 in FIG. 10);
Including an information processing method.
According to this information processing method, based on the physical attribute of the second object, for example, it is possible to specify a rotation axis (adjustment axis) that has a large influence on the VR sickness of the user, and around the specified adjustment axis. By determining the amount of movement of the virtual camera 1, the user's VR sickness can be effectively suppressed.
(Item 2)
The physical attribute of the second object includes a type of the second object associated with a movement mode of the second object.
Item 1. Information processing method.
According to this information processing method, the adjustment axis can be appropriately specified based on the type of the second object.
(Item 3)
The physical attribute of the second object includes first mode information indicating whether or not movement of the second object is controlled by the user 190.
The information processing method of item 1 or 2.
According to this information processing method, the adjustment axis can be appropriately specified based on whether or not the movement of the second object is controlled by the user 190.
(Item 4)
When the first mode information indicates that the movement of the second object is not controlled by the user 190, the yaw axis of the virtual camera 1 is specified as the adjustment axis, and the actual second object is Determining the amount of movement around the yaw axis to be smaller than the magnitude corresponding to the movement of
Item 3. Information processing method.
(Item 5)
If the first mode information indicates that the movement of the second object is not in a state controlled by the user 190, the roll axis of the virtual camera is specified as the adjustment axis, Determining the amount of movement about the roll axis so as to be smaller than the size according to the movement;
The information processing method of item 3 or 4.
In the information processing method of item 4 or item 5, the amount of motion around the yaw axis or the roll axis can be reduced for the virtual camera 1 that defines the view image of the user who has not moved the vehicle object by his / her own intention. . Thereby, VR sickness of a user who easily causes VR sickness due to movement of the vehicle object can be effectively suppressed.
(Item 6)
The physical attribute of the second object includes second mode information indicating a moving scene of the second object.
The information processing method according to any one of items 1 to 5.
According to this information processing method, the adjustment axis can be appropriately specified based on a specific moving scene (for example, when an airplane takes off and landing).
(Item 7)
A step of determining a movement amount of the virtual camera 1 in a predetermined direction according to the movement of the second object based on the physical attribute of the second object;
The information processing method according to any one of items 1 to 6.
According to this information processing method, it is possible to appropriately adjust not only the rotational movement of the virtual camera 1 around the adjustment axis but also the movement amount along a predetermined direction.
(Item 8)
The physical attribute of the second object includes a parameter corresponding to an individual difference between the second objects of the same type,
The amount of movement is determined based on the parameter.
Item 7. Information processing method.
According to this information processing method, by determining a movement amount along a predetermined direction based on a parameter corresponding to an individual difference between second objects of the same type, a difference in performance between a plurality of second objects, etc. Can be realized by the user. Thereby, the entertainment property of the virtual experience using the second object can be improved.
(Item 9)
A program that causes a computer to execute the information processing method according to any one of items 1 to 8.
(Item 10)
An apparatus comprising at least a memory and a processor coupled to the memory, wherein the information processing method according to any one of items 1 to 8 is executed under the control of the processor.
１，１Ａ，１Ｂ…仮想カメラ、２…仮想空間、５…基準視線、１０…プロセッサ、１１…メモリ、１２…ストレージ、１３…入出力インターフェース、１４…通信インターフェース、１５…バス、１９…ネットワーク、２１…中心、２２…仮想空間画像、２３…視界領域、２４，２５…領域、３１…フレーム、３２…天面、３３，３４，３６，３７…ボタン、３５…赤外線ＬＥＤ、３８…アナログスティック、１００…ＨＭＤシステム、１１０…ＨＭＤ装置、１１２…ディスプレイ、１１４…センサ，１２０…ＨＭＤセンサ、１３０…モーションセンサ、１４０…注視センサ、１５０…サーバ、１６０…コントローラ、１６０Ｒ…右コントローラ、１９０…ユーザ、２００…コンピュータ、２２０…表示制御モジュール、２２１…仮想カメラ制御モジュール、２２２…視界領域決定モジュール、２２３…視界画像生成モジュール、２２４…基準視線特定モジュール、２３０…仮想空間制御モジュール、２３１…仮想空間定義モジュール、２３２…仮想オブジェクト制御モジュール、２３３…操作オブジェクト制御モジュール、２３４…動き調整モジュール、２４０…メモリモジュール、２４１…コンテンツ情報、２４２…オブジェクト情報、２４３…ユーザ情報、２５０…通信制御モジュール、８１０…右手、Ａ１，Ａ２…アバター、Ｃ…手オブジェクト、Ｈ…ハンドルオブジェクト、Ｍ１，Ｍ２…視界画像、Ｖ…乗り物オブジェクト。 1, 1A, 1B ... virtual camera, 2 ... virtual space, 5 ... reference line of sight, 10 ... processor, 11 ... memory, 12 ... storage, 13 ... input / output interface, 14 ... communication interface, 15 ... bus, 19 ... network, DESCRIPTION OF SYMBOLS 21 ... Center, 22 ... Virtual space image, 23 ... Field of view, 24, 25 ... Area, 31 ... Frame, 32 ... Top surface, 33, 34, 36, 37 ... Button, 35 ... Infrared LED, 38 ... Analog stick, DESCRIPTION OF SYMBOLS 100 ... HMD system, 110 ... HMD apparatus, 112 ... Display, 114 ... Sensor, 120 ... HMD sensor, 130 ... Motion sensor, 140 ... Gaze sensor, 150 ... Server, 160 ... Controller, 160R ... Right controller, 190 ... User, 200 ... Computer, 220 ... Display control module, 221 ... Virtual camera Control module, 222 ... view area determination module, 223 ... view image generation module, 224 ... reference line of sight identification module, 230 ... virtual space control module, 231 ... virtual space definition module, 232 ... virtual object control module, 233 ... operation object control Module, 234 ... Motion adjustment module, 240 ... Memory module, 241 ... Content information, 242 ... Object information, 243 ... User information, 250 ... Communication control module, 810 ... Right hand, A1, A2 ... Avatar, C ... Hand object, H ... handle objects, M1, M2 ... view images, V ... vehicle objects.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017136311AJP6966246B2 (en) | 2017-07-12 | 2017-07-12 | An information processing method, a device, and a program for causing a computer to execute the information processing method. |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017136311AJP6966246B2 (en) | 2017-07-12 | 2017-07-12 | An information processing method, a device, and a program for causing a computer to execute the information processing method. |
| Publication Number | Publication Date |
|---|---|
| JP2019020829Atrue JP2019020829A (en) | 2019-02-07 |
| JP6966246B2 JP6966246B2 (en) | 2021-11-10 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017136311AActiveJP6966246B2 (en) | 2017-07-12 | 2017-07-12 | An information processing method, a device, and a program for causing a computer to execute the information processing method. |
| Country | Link |
|---|---|
| JP (1) | JP6966246B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022154860A (en)* | 2021-03-30 | 2022-10-13 | 三菱プレシジョン株式会社 | Image generation device and image generation method |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07262411A (en)* | 1994-03-18 | 1995-10-13 | Fujitsu Ltd | Viewpoint setting device |
| JP2006031229A (en)* | 2004-07-14 | 2006-02-02 | Techno Brain:Kk | Mobile body simulation device and mobile body simulation program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07262411A (en)* | 1994-03-18 | 1995-10-13 | Fujitsu Ltd | Viewpoint setting device |
| JP2006031229A (en)* | 2004-07-14 | 2006-02-02 | Techno Brain:Kk | Mobile body simulation device and mobile body simulation program |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022154860A (en)* | 2021-03-30 | 2022-10-13 | 三菱プレシジョン株式会社 | Image generation device and image generation method |
| JP7286113B2 (en) | 2021-03-30 | 2023-06-05 | 三菱プレシジョン株式会社 | Image generation device and image generation method |
| Publication number | Publication date |
|---|---|
| JP6966246B2 (en) | 2021-11-10 |
| Publication | Publication Date | Title |
|---|---|---|
| JP6523233B2 (en) | Information processing method, apparatus, and program for causing a computer to execute the information processing method | |
| JP6425846B1 (en) | PROGRAM, INFORMATION PROCESSING DEVICE, AND INFORMATION PROCESSING METHOD | |
| JP2022020686A (en) | Information processing methods, programs, and computers | |
| JP6248219B1 (en) | Information processing method, computer, and program for causing computer to execute information processing method | |
| JP6684746B2 (en) | Information processing method, computer and program | |
| JP7005406B2 (en) | Programs, information processing devices, and information processing methods | |
| JP6278546B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
| JP2020004060A (en) | Program, information processing device, and method | |
| JP2018147465A (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
| JP2020161168A (en) | Program, information processing method, and information processing device | |
| JP6495398B2 (en) | Method and program for providing virtual space, and information processing apparatus for executing the program | |
| JP2019155115A (en) | Program, information processor and information processing method | |
| JP6263292B1 (en) | Information processing method, computer, and program for causing computer to execute information processing method | |
| JP2019048045A (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
| JP2019133309A (en) | Program, information processor and information processing method | |
| JP2019020832A (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
| JP6392953B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
| JP6419268B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
| JP6966246B2 (en) | An information processing method, a device, and a program for causing a computer to execute the information processing method. | |
| JP2019192250A (en) | Information processing method, apparatus, and program causing computer to execute the method | |
| JP2018206353A (en) | Information processing method, apparatus, and program for implementing that information processing method in computer | |
| JP2019033906A (en) | Information processing method, program, and computer | |
| JP7037467B2 (en) | Programs, information processing devices, and information processing methods | |
| JP2022048172A (en) | Program, information processing device, and information processing method | |
| JP6946084B2 (en) | An information processing method, a device, and a program for causing a computer to execute the information processing method. |
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney | Free format text:JAPANESE INTERMEDIATE CODE: A7424 Effective date:20171013 | |
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20200701 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20210409 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20210427 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20210624 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20211005 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20211021 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:6966246 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 |