WO2021005655A1 - Head-mounted display - Google Patents

Abstract

In order to assist with taking address toward a correct target direction on a real-world golf course, this head-mounted display for golf comprises: a camera which captures a target position in response to a predetermined action of a user; a storage device which stores the target position by means of an internal coordinate system managed by the head-mounted display; a sensor which detects movements of the user; a controller which integrates the output of the sensor; and a transparent display which, on the basis of the integration result from the sensor, displays a first virtual object indicating a direction for the target position.

Description

Translated fromJapanese

ヘッドマウントディスプレイHead mounted display

　本発明は、ヘッドマウントディスプレイに関する。例えば、ゴルフ用のヘッドマウントディスプレイの技術に関する。The present invention relates to a head-mounted display. For example, it relates to the technology of a head-mounted display for golf.

　従来、様々なゴルフシミュレーション装置が考案され、ショットデータの確認やアプローチの反復などといったスキルアップのための練習はもちろんのこと、あたかも、実際のコースで、ニアピンやマッチプレイ等が楽しめるようになってきている。Conventionally, various golf simulation devices have been devised, and it has become possible to enjoy near-pin and match play as if it were an actual course, as well as practice for skill improvement such as confirmation of shot data and repetition of approach. ing.

　ゴルフシミュレーション装置では、プレーヤの打った球を解析し、ボールの飛距離や落下地点を計算することで、ディスプレイに疑似的に再現されたコース上で、プレーヤが実際のプレイしているように感じさせることができる。The golf simulation device analyzes the ball hit by the player and calculates the flight distance and drop point of the ball, so that the player feels as if he or she is actually playing on the course simulated on the display. Can be made to.

　プレーヤの打った球を解析し、ボールの飛距離や落下地点を計算する技術として、特許文献１がある。Patent Document 1 is a technique for analyzing a ball hit by a player and calculating the flight distance and falling point of the ball.

特開２００３－２４４９３号公報Japanese Unexamined Patent Publication No. 2003-24493

　この特許文献１に記載された技術では、ゴルフボールを打撃したことを検知するトリガーセンサと、打撃後のゴルフボールを撮像するＣＣＤカメラと、任意の条件での空力係数データを含む各種データを記憶し、ＣＣＤカメラにより撮像された画像データから得られたゴルフボールの速度等のデータと空力係数データを含む各種データとを用いてゴルフボールの弾道軌道や飛距離を計算するＰＣと、ＰＣによる計算結果を基にゴルフボールの弾道軌道や飛距離を表示するモニタとを備える。特に、特許文献１では、実際にボールを回転させるゴルフボール回転装置を用いて空力係数を測定することで、ゴルフボールの弾道軌道や飛距離を計算している。In the technique described inPatent Document 1, various data including a trigger sensor for detecting that a golf ball has been hit, a CCD camera for capturing a golf ball after hitting, and aerodynamic coefficient data under arbitrary conditions are stored. Then, a PC that calculates the trajectory and flight distance of the golf ball using data such as the speed of the golf ball obtained from the image data captured by the CCD camera and various data including aerodynamic coefficient data, and a calculation by the PC. It is equipped with a monitor that displays the trajectory and flight distance of the golf ball based on the results. In particular, inPatent Document 1, the ballistic trajectory and flight distance of a golf ball are calculated by measuring the aerodynamic coefficient using a golf ball rotating device that actually rotates the ball.

　しかしながら、上記特許文献１を含め、多くのゴルフシミュレーション装置は、実際のゴルフコースで使用することを前提としていない。例えば、実際のゴルフ場における、正しい方向に向かってアドレスをとること等、プレーヤの支援をすることについては言及されていない。However, many golf simulation devices, includingPatent Document 1, are not premised on being used on an actual golf course. For example, there is no mention of assisting the player, such as addressing in the right direction on an actual golf course.

　そこで、本発明の目的は、実際のゴルフコースにおいて、正しい目標方向に向かってアドレスをとることを支援するゴルフ用のヘッドマウントディスプレイを提供することにある。Therefore, an object of the present invention is to provide a head-mounted display for golf that assists in taking an address toward a correct target direction in an actual golf course.

　また、本発明の他の目的は、ボールを探す時間を短縮でき、結果としてロストボールを減少させることができるゴルフ用のヘッドマウントディスプレイを提供することにある。Another object of the present invention is to provide a head-mounted display for golf, which can shorten the time for searching for a ball and, as a result, reduce the number of lost balls.

　上記目的を達成するため、本発明のゴルフ用のヘッドマウントディスプレイの一態様は、ユーザの所定動作に応答して、目標位置を取り込むカメラと、目標位置をヘッドマウントディスプレイが管理する内部座標系で記憶する記憶装置と、ユーザの動きを検出するセンサと、センサの出力を積分するコントローラと、コントローラの積分結果に基づき、目標位置の方向を示す第１の仮想オブジェクトを表示する透過型ディスプレイとを有する。In order to achieve the above object, one aspect of the head-mounted display for golf of the present invention is a camera that captures a target position in response to a predetermined operation of the user and an internal coordinate system in which the target position is managed by the head-mounted display. A storage device for storing, a sensor for detecting the movement of the user, a controller for integrating the output of the sensor, and a transmissive display for displaying a first virtual object indicating the direction of the target position based on the integration result of the controller. Have.

　また、上記目的を達成するため、本発明のゴルフ用のヘッドマウントディスプレイの一態様は、クラブによりゴルフボールを打つ状態を高速撮影するカメラと、カメラにより撮影された画像を解析し、ゴルフボールのボールスピードとスピン量を算出し、ボールスピードとスピン量に基づき、ゴルフボールの落下予測地点を算出するコントローラと、落下予測地点に第２の仮想オブジェクトを表示する透過型ディスプレイとを有する。Further, in order to achieve the above object, one aspect of the head mount display for golf of the present invention is to analyze a camera that captures a state of hitting a golf ball by a club at high speed and an image captured by the camera to analyze the image of the golf ball. It has a controller that calculates a ball speed and a spin amount, and calculates a golf ball fall prediction point based on the ball speed and the spin amount, and a transmissive display that displays a second virtual object at the fall prediction point.

　本発明によれば、実際のゴルフコースにおいて、正しい目標方向に向かってアドレスをとることを支援できる。According to the present invention, it is possible to support taking an address in the correct target direction in an actual golf course.

　また、ボールを探す時間を短縮でき、結果としてロストボールを減少させることができる。Also, the time to search for the ball can be shortened, and as a result, the lost ball can be reduced.

実施例１のＨＭＤの外観の一例を示す図である。It is a figure which shows an example of the appearance of the HMD of Example 1.実施例１のＨＭＤでボールの打ち出し方向を設定する動作の説明図である。It is explanatory drawing of the operation which sets the launch direction of a ball in the HMD of Example 1. FIG.実施例１のＨＭＤでアドレス時の表示の一例を示す図である。It is a figure which shows an example of the display at the time of address in the HMD of Example 1.実施例１のＨＭＤの表示の一例を示した図である。It is a figure which showed an example of the display of the HMD of Example 1.実施例１のＨＭＤのハードウェア構成の一例を示した図である。It is a figure which showed an example of the hardware composition of the HMD of Example 1. FIG.実施例１のＨＭＤの機能ブロックの一例を示した図である。It is a figure which showed an example of the functional block of the HMD of Example 1. FIG.実施例１のＨＭＤの処理動作を示したフローチャートの一例を示した図である。It is a figure which showed an example of the flowchart which showed the processing operation of the HMD of Example 1. FIG.実施例２のＨＭＤとスマートフォンの連携による自動的にスコアを登録するアプリケーションを示した図である。It is a figure which showed the application which automatically registers the score by the cooperation of the HMD and the smartphone of Example 2.実施例２のＨＭＤの表示の一例を示した図である。It is a figure which showed an example of the display of the HMD of Example 2.実施例３の絶対座標系を示す図である。It is a figure which shows the absolute coordinate system of Example 3.実施例３の絶対座標系に対する内部座標系のずれを示した図である。It is a figure which showed the deviation of the internal coordinate system with respect to the absolute coordinate system of Example 3.実施例３の絶対座標系に対する内部座標系のずれによる問題の一例を示した図である。It is a figure which showed an example of the problem by the deviation of the internal coordinate system with respect to the absolute coordinate system of Example 3.実施例３の座標系の補正の一例を示した図であるIt is a figure which showed an example of the correction of the coordinate system of Example 3.実施例３のＨＭＤの処理動作を示したフローチャートの一例を示した図である。It is a figure which showed an example of the flowchart which showed the processing operation of the HMD of Example 3.

　実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。The embodiment will be described with reference to the drawings. It should be noted that the embodiments described below do not limit the invention according to the claims, and all of the elements and combinations thereof described in the embodiments are indispensable for the means for solving the invention. Is not always.

　以下の説明では、［ＡＡＡテーブル］の表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないため、［ＡＡＡテーブル］は［ＡＡＡ情報］と説明することができる。In the following explanation, information may be explained by the expression of [AAA table], but the information may be expressed by any data structure. That is, since the information does not depend on the data structure, the [AAA table] can be described as [AAA information].

　また、以下の説明では、［ＣＰＵ］は、処理部となり、１以上のプロセッサを含むＣｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔである。プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。Further, in the following description, the [CPU] is a processing unit and is a Central Processing Unit including one or more processors. The processor may include hardware circuits that perform some or all of the processing.

　また、以下の説明では、［プログラム］を動作の主体として処理を説明する場合があるが、プログラムは、ＣＰＵによって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）等を用いながら行うため、実際の処理の主体はＣＰＵである。従って、プログラムを動作の主体として説明された処理は、プロセッサが処理主体と説明されても良い。また、プロセッサが行う処理の一部又は全部をＡｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＡＳＩＣ）やＦｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）等のハードウェア回路が行っても良い。Further, in the following description, the process may be described with the [program] as the main body of operation, but the program is executed by the CPU to appropriately perform the specified process as a storage resource (for example, memory) or the like. The main body of the actual processing is the CPU because it is performed while using. Therefore, in the process described with the program as the subject of operation, the processor may be described as the subject of operation. In addition, a hardware circuit such as an Application Specific Integrated Circuit (ASIC) or a Field-Programmable Gate Array (FPGA) may perform a part or all of the processing performed by the processor.

　＜システム構成＞
　まず、本発明の一実施形態に係るシステムについて説明する。<System configuration>
First, a system according to an embodiment of the present invention will be described.

　図１は、実施例１のゴルフ用のヘッドマウントディスプレイ（以下、ヘッドマウントディスプレイ、或いはＨＭＤと記載する場合がある）の外観の一例を示す図である。FIG. 1 is a diagram showing an example of the appearance of the golf head-mounted display of Example 1 (hereinafter, may be referred to as a head-mounted display or HMD).

　ヘッドマウントディスプレイ（ＨＭＤ）１００は、透過型ディスプレイ１０１、コントローラ１０２、カメラ１０３、各部を支え、ユーザが装着するためのフレーム１０４、ボタン１０５を有する。透過型ディスプレイ１０１は、ヘッドアップディスプレイの一種でもあり、ディスプレイ装置はハーフミラーでできており、外の様子を見ることができる。図１では、両目用のディスプレイを示しているが、片目のみにディスプレイ装置がついているものであってもよい。また、ホログラフィック素子を用いたディスプレイであっても良い。光学多層膜のハーフミラーを用いると、必要な情報のみ表示板の表面に表示しながら外の様子をシースルーで見ることが可能となる。The head-mounted display (HMD) 100 has atransmissive display 101, acontroller 102, acamera 103, aframe 104 for supporting each part, and abutton 105 for the user to wear. Thetransmissive display 101 is also a kind of head-up display, and the display device is made of a half mirror so that the outside can be seen. Although FIG. 1 shows a display for both eyes, a display device may be attached to only one eye. Further, a display using a holographic element may be used. By using a half mirror of an optical multilayer film, it is possible to see through the outside while displaying only necessary information on the surface of the display plate.

　カメラ１０３は、カラー画像カメラ１０３ａと距離画像カメラ１０３ｂで構成される。距離画像カメラ１０３ｂは、例えばＴＯＦカメラ（トフカメラ、Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ Ｃａｍｅｒａ）等のように、光の飛行時間を利用して三次元情報を計測可能なカメラである。
＜ＨＭＤの利用方法＞
　図２は、実施例１のＨＭＤでボールの打ち出し方向を設定する動作の説明図である。発明の理解を助けるため、ゴルフのプレイ時におけるＨＭＤの利用方法について説明し、その後、実施例のＨＭＤで如何にそれを実現するかを説明する。Thecamera 103 includes acolor image camera 103a and adistance image camera 103b. Thedistance image camera 103b is a camera capable of measuring three-dimensional information using the flight time of light, such as a TOF camera (Time-of-Flight Camera) or the like.
<How to use HMD>
FIG. 2 is an explanatory diagram of an operation of setting the launch direction of the ball in the HMD of the first embodiment. In order to help the understanding of the invention, a method of using the HMD when playing golf will be described, and then how to realize it with the HMD of the embodiment will be described.

　まず、プレーヤはティーグランドにて、ＨＭＤ１００のディスプレイ１０１を介して打ち出し方向を目標位置として、所定の動作、例えば、手の先２０１の動きでマーキングする。マーキングされた目標位置は、カメラ１０３で取り込まれ、ＨＭＤが管理する内部座標系で記憶される。プレーヤはＨＭＤ１００の透過型のディスプレイ１０１を介してグリーン２０３や旗２０４を認識することができる。この時の指でポイントした先の奥行座標は所定値、例えば２００ヤード先とする。尚、２０２は、ＨＤＭ１００のディスプレイ１０１の縁である。First, the player marks the tee ground with a predetermined movement, for example, the movement of the tip of the hand 201, with the launch direction as the target position via thedisplay 101 of theHMD 100. The marked target position is captured by thecamera 103 and stored in the internal coordinate system managed by the HMD. The player can recognize the green 203 and the flag 204 through thetransmissive display 101 of theHMD 100. The depth coordinate of the point pointed by the finger at this time is a predetermined value, for example, 200 yards ahead.Reference numeral 202 denotes an edge of thedisplay 101 of theHDM 100.

　次に、ＨＭＤ１００は、クラブ、ボールを画像認識してプレーヤがアドレスの姿勢をとったと認識すると、カメラ１０３により高速撮像開始し、高フレームレートの撮像を行う。ＨＭＤ１００は、マーキングした方向をＨＭＤ１００の内部座標系で３Ｄセンサにて計算して、マークした方向座標に向かう矢印を表示する。尚、高速撮像開始は、ＨＭＤのボタン１０５等を使って手動で指示するようにしてもよい。Next, when theHMD 100 recognizes the image of the club and the ball and recognizes that the player has taken the posture of the address, thecamera 103 starts high-speed imaging and performs imaging at a high frame rate. TheHMD 100 calculates the marked direction with a 3D sensor in the internal coordinate system of theHMD 100, and displays an arrow toward the marked direction coordinate. The start of high-speed imaging may be manually instructed by using thebutton 105 of the HMD or the like.

　図３は、実施例１のヘッドマウントディスプレイでアドレス時の表示の一例を示す図である。プレーヤはＨＭＤ１００の透過型のディスプレイ１０１を介してクラブ３０１、ボール３０２を認識することができる。ＨＭＤ１００は、図２で説明したマーキングした方向を示す矢印３１１を表示する。プレーヤが、マークした方向を示す正対したら矢印の色もしくは表示の濃さ、輝度、実線/点線を変えるなど強調表示するようにする。尚、プレーヤがマーキングした方向より右方向にアドレスしている場合には矢印３１３を表示し、マーキングした方向より左方向にアドレスしている場合には矢印３１２表示する。この時、ＨＭＤ１００のカラー画像カメラ１０３ａは、ボール３０２及びクラブ３０１を撮影し、画像認識によってアドレス状態にあることをＨＭＤ１００が検知する。予めユーザによって登録されるようなシステムであれば、登録されたクラブの画像と比較することで、使用されるクラブを正確に判別することができる。使用するクラブの判別は、より高精度なボールの飛距離計算に必要な情報となる。FIG. 3 is a diagram showing an example of a display at the time of addressing on the head-mounted display of the first embodiment. The player can recognize theclub 301 and theball 302 through thetransmissive display 101 of theHMD 100. TheHMD 100 displays anarrow 311 indicating the marked direction described in FIG. When the player faces the marked direction, highlight it by changing the color of the arrow or the density, brightness, solid line / dotted line of the display. If the player is addressing to the right of the marked direction, thearrow 313 is displayed, and if the player is addressing to the left of the marked direction, thearrow 312 is displayed. At this time, thecolor image camera 103a of theHMD 100 photographs theball 302 and theclub 301, and theHMD 100 detects that theball 302 and theclub 301 are in the address state by image recognition. If the system is registered by the user in advance, the club to be used can be accurately determined by comparing with the image of the registered club. The determination of the club to be used is the information necessary for more accurate calculation of the flight distance of the ball.

　ショット時はクラブヘッドが図の右から左側に降りてきてボールを打つ状態を画像処理で認識する。このときＨＭＤは、ボール打ち出しスピード、ヘッドスピード、ミート率、スピン量を画像から分析する。分析方法については、既存のシミュレーション技術を応用すればよい。At the time of shot, the state where the club head descends from the right to the left in the figure and hits the ball is recognized by image processing. At this time, the HMD analyzes the ball launch speed, the head speed, the meet rate, and the spin amount from the image. As for the analysis method, the existing simulation technique may be applied.

　通常、プレーヤはアドレスに入る前にボールの打ち出し方向を正面で確認し、約９０度回転してアドレスに入る。この打ち出し方向を確認した後アドレスに入る段階で、プレーヤは正しい打ち出し方向を見失い、間違った方向にアドレスをとることで、ミスショットにつながる。実施例１のＨＭＤ１００は、プレーヤがティーグランドやフェアウェイ等で指定された打ち出し方向（目標位置の方向）を、ＨＭＤ１００の内部座標系を用いて記憶する。アドレスに入る際に体を回転させても、アドレス時にマーキングした方向を、記憶した打ち出し方向の座標に基づいて矢印を仮想オブジェクトとしてＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実）表示でき、正しい方向にアドレスをとることができる。Normally, the player confirms the launch direction of the ball from the front before entering the address, and rotates about 90 degrees to enter the address. At the stage of entering the address after confirming this launch direction, the player loses sight of the correct launch direction and takes the address in the wrong direction, which leads to a miss shot. TheHMD 100 of the first embodiment stores the launch direction (direction of the target position) designated by the player on the tee ground, the fairway, or the like by using the internal coordinate system of theHMD 100. Even if you rotate your body when entering the address, you can display the direction marked at the time of address as an AR (Augmented Reality) as a virtual object based on the coordinates of the memorized launch direction, and take the address in the correct direction. be able to.

　図４は、実施例１のＨＭＤの表示の一例を示した図である。ボールをヒットした状態を画像処理し、ボール打ち出しスピード、ヘッドスピード、ミート率、スピン量を画像から分析した結果をディスプレイ１０１の表示領域４０１に表示した図である。FIG. 4 is a diagram showing an example of the display of the HMD of the first embodiment. It is the figure which image-processed the state which hit the ball and displayed the result of having analyzed the ball launch speed, the head speed, the meet rate, and the spin amount from the image in thedisplay area 401 of thedisplay 101.

　また、図４には、画像処理されたボール打ち出しスピード、ヘッドスピード、ミート率、スピン量からボールの落下予測地点４０２をＡＲ表示されたことを示している。これにより、プレーヤは実際のコースでボールの落下地点を特定できるので、ボールを探す時間を短縮でき、結果としてロストボールを減少させることができる。
＜ＨＭＤのハードウェア構成＞
　図５は、実施例１のヘッドマウントディスプレイのハードウェア構成の一例を示した図である。Further, FIG. 4 shows that the image-processed ball launch speed, head speed, meet rate, and spin amount indicate that the ballfall prediction point 402 is AR-displayed. As a result, the player can identify the drop point of the ball on the actual course, so that the time for searching for the ball can be shortened, and as a result, the lost ball can be reduced.
<Hardware configuration of HMD>
FIG. 5 is a diagram showing an example of the hardware configuration of the head-mounted display of the first embodiment.

　実施例１のＨＭＤ１００は、基本的に汎用のコンピュータ（情報処理装置）と同様の構成を有する。すなわち、ＨＭＤ１００は、図５に示すように、コントローラ１０２と、カメラ１０３と、ディスプレイ１０１と、音声インタフェース（Ｉ／Ｆ）５４０と、通信Ｉ／Ｆ５２０と、センサ５３０と、視線検出装置５１０と、ボタン５５０と、各部を電気的に接続するバス５６０とを備える。TheHMD 100 of the first embodiment basically has the same configuration as a general-purpose computer (information processing device). That is, as shown in FIG. 5, theHMD 100 includes acontroller 102, acamera 103, adisplay 101, a voice interface (I / F) 540, a communication I /F 520, asensor 530, a line-of-sight detection device 510, and the like. It includes abutton 550 and abus 560 that electrically connects each part.

　コントローラ１０２は、図６に示した、例えば画像処理部６０１等、予め定めたプログラムに従って、各種の処理を行う。実施例１では、コントローラ１０２は、例えば、ディスプレイ１０１の所定の位置に、図３の矢印３１１や図４の表示領域４０１、落下予測地点４０２等の仮想オブジェクトをＡＲ表示させる。Thecontroller 102 performs various processes according to a predetermined program such as theimage processing unit 601 shown in FIG. In the first embodiment, thecontroller 102 AR-displays virtual objects such as thearrow 311 in FIG. 3, thedisplay area 401 in FIG. 4, and thefall prediction point 402 at a predetermined position on thedisplay 101, for example.

　実施例１のコントローラ１０２は、ＣＰＵ５０１と、ＲＡＭ５０２と、ＲＯＭ５０３と、を備える。ＣＰＵ５０１は、予めＲＯＭ５０３に格納されたプログラムを、ＲＡＭ５１２にロードして実行することにより、各種の機能を実現する。なお、ＲＡＭ５０２およびＲＯＭ５０３は、特に区別する必要がない場合は、両者を合わせて記憶装置６３０（図６参照）と呼ぶ。なお、コントローラ１０２は、例えば、フレーム１０４上に配置される。Thecontroller 102 of the first embodiment includes aCPU 501, aRAM 502, and aROM 503. TheCPU 501 realizes various functions by loading a program previously stored in theROM 503 into the RAM 512 and executing the program. TheRAM 502 and theROM 503 are collectively referred to as a storage device 630 (see FIG. 6) when it is not necessary to distinguish them. Thecontroller 102 is arranged on theframe 104, for example.

　カメラ１０３は、カラー画像カメラ１０３ａと、距離画像カメラ１０３ｂと、を備える。カラー画像カメラ１０３ａは、ユーザの視野範囲を含む撮影範囲を撮影し、カラー画像を取得する。また、距離画像カメラ１０３ｂは、カラー画像カメラ１０３ａと略同範囲の撮影範囲の距離画像を取得する。カメラ１０３（カラー画像カメラ１０３ａおよび距離画像カメラ１０３ｂ）は、図２で示したマーキングされた目標位置を取り込み、コントローラ１０２によってＨＭＤで管理する内部座標系で記憶装置６３０に記憶される。例えば、フレーム１０４の最前部において、上記撮影範囲を撮影可能な位置に配置される。なお、カラー画像カメラ１０３ａ距離画像カメラ１０３ｂの両方／またはいずれかは、高速フレームレートでの撮像時の画像を一時的に記憶するメモリ（図示せず）を持っていてもよい。Thecamera 103 includes acolor image camera 103a and adistance image camera 103b. Thecolor image camera 103a captures a shooting range including the user's field of view and acquires a color image. Further, thedistance image camera 103b acquires a distance image in a shooting range substantially the same as that of thecolor image camera 103a. The camera 103 (color image camera 103a anddistance image camera 103b) captures the marked target position shown in FIG. 2 and stores it in thestorage device 630 in the internal coordinate system managed by the HMD by thecontroller 102. For example, in the foremost part of theframe 104, the shooting range is arranged at a position where shooting is possible. Note that both / or either of thecolor image camera 103a and thedistance image camera 103b may have a memory (not shown) for temporarily storing an image at the time of imaging at a high frame rate.

　ディスプレイ１０１は、カメラ１０３で取得した画像、ＨＭＤ１００内で生成された表示データが表示される透過型デバイスである。ディスプレイ１０１は、例えば、透過型の液晶デバイスや有機ＥＬデバイス、あるいはＭＥＭＳ（ｍｉｃｒｏ　ｅｌｅｃｔｒｏ　ｍｅｃｈａｎｉｃａｌ　ｓｙｓｔｅｍｓ）を用いた光走査型のデバイス等で構成される。しかしながら、デバイスはこれに限定されず、ディスプレイ１０１上に映像を表示しつつ、ディスプレイ１０１の向こう側が透けて見える透過型ディスプレイ構造を実現可能なデバイスであればよい。Thedisplay 101 is a transmissive device that displays the image acquired by thecamera 103 and the display data generated in theHMD 100. Thedisplay 101 is composed of, for example, a transmissive liquid crystal device, an organic EL device, an optical scanning type device using MEMS (micro electronics mechanical systems), or the like. However, the device is not limited to this, and any device can be used as long as it can realize a transmissive display structure in which the other side of thedisplay 101 can be seen through while displaying an image on thedisplay 101.

　実施例１のＨＭＤ１００では、透過型のディスプレイ１０１が、ユーザの片眼または両眼の前で支持される。なお、ディスプレイ１０１は、任意の形状を撮ることができる。ディスプレイ１０１は、右および左の表示パネルを備えてもよい、また、ディスプレイ１０１には、グラフィカルユーザＩ／Ｆの１つまたは複数のＵＩオブジェクトが表示されてもよい。In theHMD 100 of Example 1, thetransmissive display 101 is supported in front of one or both eyes of the user. Thedisplay 101 can take an arbitrary shape. Thedisplay 101 may include right and left display panels, and thedisplay 101 may display one or more UI objects of the graphical user I / F.

　音声Ｉ／Ｆ５４０は、例えば、マイク、スピーカ、ブザー等の音声出力装置である。音声Ｉ／Ｆ５４０は、外界の音の入力と、ＨＭＤ１００内で作成した音や通信Ｉ／Ｆ５２０を介して送られてくる音声や音楽等の音の出力とを行う。実施例１では、音声Ｉ／Ｆ５２０は、備えなくてもよい。The voice I / F540 is, for example, a voice output device such as a microphone, a speaker, and a buzzer. The voice I /F 540 inputs a sound from the outside world and outputs a sound created in theHMD 100 or a sound such as a voice or music transmitted via the communication I /F 520. In the first embodiment, the voice I /F 520 may not be provided.

　通信Ｉ／Ｆ５２０は、符号回路や復号回路、アンテナ等を備え、ネットワークを介して、外部デバイスである他装置とのデータの送受信（データ通信）を行う。実施例１では、通信Ｉ／Ｆ５２０は、図示を省略したアクセスポイント等を介して、または、図示を省略した移動体電話通信網の基地局等を介して、ネットワークと接続するＩ／Ｆである。通信Ｉ／Ｆ５２０を介して、ＨＭＤ１００は、ネットワークに接続された各サーバとのデータ送受信を行う。The communication I / F520 is provided with a code circuit, a decoding circuit, an antenna, etc., and transmits / receives data (data communication) to / from another device which is an external device via a network. In the first embodiment, the communication I /F 520 is an I / F that connects to the network via an access point or the like (not shown) or a base station or the like of a mobile telephone communication network (not shown). .. TheHMD 100 transmits / receives data to / from each server connected to the network via the communication I /F 520.

　ボタン５５０はＨＭＤ１００の電源ＯＮ／ＯＦＦや、動作モードの切り替え、ユーザが所定の動作の開始タイミングをＨＭＤ１００に入力するためのものである。ボタン５５０は、図１のボタン１０５に対応する。Thebutton 550 is for turning on / off the power of theHMD 100, switching the operation mode, and inputting the start timing of a predetermined operation to theHMD 100 by the user.Button 550 corresponds tobutton 105 in FIG.

　ＨＭＤ１００とアクセスポイントとの接続は、例えば、Ｗｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信方式やその他などの通信方式により行われる。ＨＭＤ１００と移動体電話通信網の基地局との接続は、例えば、Ｗ－ＣＤＭＡ（登録商標）（Ｗｉｄｅｂａｎｄ　Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）方式やＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）方式、或いは５Ｇなどその他の通信方式によって行われる。The connection between the HMD100 and the access point is performed by, for example, a wireless communication method such as Wi-Fi (registered trademark) or Bluetooth (registered trademark) or a communication method such as others. The connection between the HMD100 and the base station of the mobile telephone communication network is, for example, W-CDMA (registered trademark) (Wideband Code Division Multiple Access) method, GSM (registered trademark) (Global System for Mobile communications) method, LTE (LTE). It is performed by the Term Evolution) method or other communication methods such as 5G.

　センサ５３０は、ＨＭＤ１００の現在位置、傾き、速度、ユーザによる操作等を検出する。ＨＭＤ１００は、センサ５３０として、例えば、ＧＰＳ受信機５３１ａ等の位置情報取得センサ、ジャイロセンサ５３１ｂ、加速度センサ５３１ｃ、地磁気センサ５３１ｄ、タッチセンサ５３１ｅ等を備える。なお、センサ５３０は、全てを備えなくてもよい。Thesensor 530 detects the current position, tilt, speed, user operation, etc. of the HMD100. As thesensor 530, theHMD 100 includes, for example, a position information acquisition sensor such as aGPS receiver 531a, agyro sensor 531b, anacceleration sensor 531c, ageomagnetic sensor 531d, atouch sensor 531e, and the like. Thesensor 530 does not have to include all of them.

　視線検出装置５１０は、ユーザの視線方向を検出する。視線検出装置５１０は、例えば、ユーザの視線方向を検出する視線検出カメラ等で実現される。視線検出カメラは、ユーザの眼の虹彩、瞳孔等を撮影範囲に含むよう取り付けられる。The line-of-sight detection device 510 detects the user's line-of-sight direction. The line-of-sight detection device 510 is realized by, for example, a line-of-sight detection camera that detects the line-of-sight direction of the user. The line-of-sight detection camera is attached so as to include the iris, pupil, etc. of the user's eye in the imaging range.

　フレーム１０４は、ディスプレイ１０１、カメラ１０３、コントローラ１０２等のＨＭＤ１００の構成品を支持する。
＜ＨＭＤの機能ブロック＞
　次に、実施例１のコントローラ１０２が実現する、仮想オブジェクト表示に関連する機能を説明する。図６は、実施例１のＨＭＤ１００の、仮想オブジェクト表示処理に関連する機能の機能ブロック図である。図６に示すように、コントローラ１０２は、画像処理部６０１と、表示制御部６１０と、音声出力制御部６２５の機能を実現する。また、表示制御部６１０は、空間認識部６１１と、指示受付部６２２と、表示データ生成部６２３と、表示補正部６２４と、を備える。Theframe 104 supports components of theHMD 100 such as thedisplay 101, thecamera 103, and thecontroller 102.
<Functional block of HMD>
Next, the functions related to the virtual object display realized by thecontroller 102 of the first embodiment will be described. FIG. 6 is a functional block diagram of the function related to the virtual object display processing of theHMD 100 of the first embodiment. As shown in FIG. 6, thecontroller 102 realizes the functions of theimage processing unit 601, thedisplay control unit 610, and the audiooutput control unit 625. Further, thedisplay control unit 610 includes aspace recognition unit 611, aninstruction reception unit 622, a displaydata generation unit 623, and adisplay correction unit 624.

　各機能は、ＣＰＵ５０１がＲＯＭ５０３に格納されたプログラムを、ＲＡＭ５０２にロードして実行することにより実現される。Each function is realized by theCPU 501 loading the program stored in theROM 503 into theRAM 502 and executing it.

　また、記憶装置６３０には、カラー画像データ６３１と、距離画像データ６３２と、空間認識データ６３３と、仮想オブジェクトデータ（仮想ＯＪＴデータ）６３４と、音声データ６３６と、地図データ６３８が記憶される。尚、地図データ６３８は、実施例１では必ずしも必要ない。Further, thestorage device 630 storescolor image data 631,distance image data 632,spatial recognition data 633, virtual object data (virtual OJT data) 634,audio data 636, andmap data 638. Themap data 638 is not always necessary in the first embodiment.

　カラー画像データ６３１は、カラー画像カメラ１０３ａで取得した画像である。距離画像データ６３２は、距離画像カメラ１０３ｂで取得した画像である。Thecolor image data 631 is an image acquired by thecolor image camera 103a. Thedistance image data 632 is an image acquired by thedistance image camera 103b.

　画像処理部６０１は、カラー画像カメラ１０３ａおよび距離画像カメラ１０３ｂでそれぞれ取得したカラー画像および距離画像を、カラー画像データ６３１および距離画像データ６３２として、記憶装置６３０に記憶する。実施例１では、カラー画像および距離画像は、略同期して取得される。Theimage processing unit 601 stores the color image and the distance image acquired by thecolor image camera 103a and thedistance image camera 103b in thestorage device 630 as thecolor image data 631 and thedistance image data 632, respectively. In the first embodiment, the color image and the distance image are acquired substantially synchronously.

　空間認識部６１１は、ＨＭＤ内部のセンサ５３０からの出力をもとに生成される内部座標系であり、周囲の実空間を認識し、その結果を、空間認識データ６３３として、記憶装置６３０に記憶する。認識は、略同時に取得したカラー画像データ６３１および距離画像データ６３２を用いて行う。Thespace recognition unit 611 is an internal coordinate system generated based on the output from thesensor 530 inside the HMD, recognizes the surrounding real space, and stores the result asspace recognition data 633 in thestorage device 630. To do. The recognition is performed using thecolor image data 631 and thedistance image data 632 acquired substantially at the same time.

　空間認識部６１１は、ユーザのスキャン動作に従って、所定の時間間隔で、各画像データから、撮影範囲にある構造物の３次元データ（３次元マップ）である空間認識データ６３３を生成し、記憶装置６３０に記憶する。周囲のスキャンは、例えば、起動直後に、初期設定として定期的に、或いはユーザのボタン操作により行う。Thespace recognition unit 611 generatesspace recognition data 633, which is three-dimensional data (three-dimensional map) of the structure in the shooting range, from each image data at predetermined time intervals according to the scanning operation of the user, and stores the storage device. Store in 630. The surrounding scan is performed, for example, immediately after startup, periodically as an initial setting, or by operating a button of the user.

　地図データ６３８は、絶対座標系のデータであり、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ / 全球測位衛星システム）で、通信Ｉ／Ｆ５２０からインターネット経由でダウンロードしたゴルフ場の地図情報を記憶装置６３０に記憶する。地図データには、ゴルフ場の各ホールのコースレイアウトが含まれる。コースレイアウトには、ティーグラウンドからティまでの距離や、バンカー、池やＯＢなどの障害の位置や大きさの情報も含まれる。Themap data 638 is absolute coordinate system data, and stores the map information of the golf course downloaded from the communication I /F 520 via the Internet in thestorage device 630 by GNSS (Global Navigation Satellite System / Global Positioning Satellite System). The map data includes the course layout of each hole of the golf course. The course layout also includes information on the distance from the teeing ground to the tee and the location and size of obstacles such as bunkers, ponds and OBs.

　空間認識データ６３３は、例えば、３次元空間全体を定義するワールド座標系（絶対座標を含む座標系）で作成される。一例として、このワールド座標系の原点および各軸方向として、空間認識開始の指示を受け付けた際の、ＨＭＤ１００本体の位置および向き（初期姿勢）で特定される、ＨＭＤ１００のローカル座標系（内部座標系を含む）の原点および各軸方向を用いる。この座標系では、例えば、ＨＭＤ１００本体の初期姿勢において、ＨＭＤ１００のディスプレイ１０１上の所定位置を原点として、ディスプレイ１０１内をｘｙ平面として、ｚ軸方向は、ｘｙ平面（ディスプレイ１０１面）に垂直な方向とする。Thespace recognition data 633 is created, for example, in the world coordinate system (coordinate system including absolute coordinates) that defines the entire three-dimensional space. As an example, the local coordinate system (internal coordinate system) of the HMD100, which is specified by the position and orientation (initial posture) of the HMD100 main body when the instruction to start spatial recognition is received as the origin and each axial direction of this world coordinate system. Includes) origin and each axial direction. In this coordinate system, for example, in the initial posture of the HMD100 main body, the origin is a predetermined position on thedisplay 101 of the HMD100, the inside of thedisplay 101 is the xy plane, and the z-axis direction is the direction perpendicular to the xy plane (display 101 plane). And.

　なお、ユーザのスキャン動作によるＨＭＤ１００のローカル座標系の、ワールド座標系に対する変位量および回転量は、各種センサ５３０により得られるデータを用いて算出される。The amount of displacement and the amount of rotation of the local coordinate system of the HMD100 by the user's scanning operation with respect to the world coordinate system are calculated using the data obtained byvarious sensors 530.

　なお、空間認識は、例えば、既存のＳｐａｔｉａｌ　Ｍａｐｐｉｎｇ等の技術を用いて行う。すなわち、実施例１のＨＭＤ１００は、カラー画像カメラ１０３ａおよび距離画像カメラ１０３ｂにより周囲をスキャンする。そして、その結果を用いて、空間認識部６１１が、Ｓｐａｔｉａｌ　Ｍａｐｐｉｎｇ等のアプリケーションを用いて３次元データを生成する。空間認識データ６３３は、例えば、メッシュデータとして保持される。It should be noted that spatial recognition is performed using, for example, existing technology such as Spatial Mapping. That is, theHMD 100 of the first embodiment scans the surroundings by thecolor image camera 103a and thedistance image camera 103b. Then, using the result, thespace recognition unit 611 generates three-dimensional data by using an application such as Spatial Mapping. Thespatial recognition data 633 is held as, for example, mesh data.

　また、このとき、３次元データだけでなく、構造物の種類を認識するＳｐａｔｉａｌ　Ｕｎｄｅｒｓｔａｎｄｉｎｇも同時に行うよう構成してもよい。空間認識部６１１は、Ｓｐａｔｉａｌ　Ｕｎｄｅｒｓｔａｎｄｉｎｇにより、撮影範囲内の構成物の材質、種類を認識できる。すなわち、構造物が、例えば、「壁」、「床」、「天井」のいずれであるか等を認識することができる。空間認識部６１１は、空間認識データ６３３の属性データとして、これらの認識結果を記憶装置６３０に格納する。Further, at this time, not only the three-dimensional data but also the physical understanding that recognizes the type of the structure may be performed at the same time. Thespace recognition unit 611 can recognize the material and type of the constituents within the photographing range by the spatial understanding. That is, it is possible to recognize whether the structure is, for example, a "wall", a "floor", or a "ceiling". Thespace recognition unit 611 stores these recognition results in thestorage device 630 as attribute data of thespace recognition data 633.

　指示受付部６２２は、ディスプレイ１０１に表示される仮想オブジェクトに対する表示指示および操作指示を受け付ける。表示指示および操作指示は、例えば、視線（ゲイズ）によるもの、手指の動き（ジェスチャ）によるものなどがある。Theinstruction receiving unit 622 receives display instructions and operation instructions for the virtual object displayed on thedisplay 101. The display instruction and the operation instruction include, for example, those by the line of sight (gaze) and those by the movement of the fingers (gesture).

　ゲイズに用いられる視線方向の情報は、例えば、視線検出装置５１０を用いて検出される。ジェスチャには、例えば、仮想オブジェクトの操作ポイントに対するクリックイベント（エアタップ）、タップアンドホールド、ブルーム等がある。指示受付部６２２は、カラー画像カメラ１０３ａおよび距離画像カメラ１０３ｂの撮影範囲内に設けられたジェスチャフレーム内での手指の動きを検出し、表示指示、操作指示等を検出する。The line-of-sight direction information used for gaze is detected using, for example, the line-of-sight detection device 510. Gestures include, for example, click events (air taps), tap and hold, bloom, etc. for operation points of virtual objects. Theinstruction receiving unit 622 detects the movement of the fingers in the gesture frame provided within the shooting range of thecolor image camera 103a and thedistance image camera 103b, and detects display instructions, operation instructions, and the like.

　例えば、表示指示を受け付けた場合、指示受付部６２２は、仮想オブジェクトデータ６３４から指示された仮想オブジェクトのデータを抽出し、後述の表示データ生成部６２３に表示データを生成させる。また、操作指示を受け付けた場合、指示受付部６２２は、当該操作を検出し、後述の表示データ生成部６２３に通知する。For example, when a display instruction is received, theinstruction reception unit 622 extracts the data of the instructed virtual object from thevirtual object data 634, and causes the displaydata generation unit 623 described later to generate display data. When an operation instruction is received, theinstruction reception unit 622 detects the operation and notifies the displaydata generation unit 623 described later.

　表示データ生成部６２３は、指示受付部６２２を介したユーザの指示に従って、仮想オブジェクトデータ６３４から、指示された仮想オブジェクトをディスプレイ１０１の所定の位置に所定の形状で表示させる表示データを生成する。例えば、図２の指先２０１によって支持された方向のマーキングを示す図３の矢印３１１の他、ＨＭＤによって算出される図４の表示領域４０１、落下予測地点４０２等の仮想オブジェクトを、ディスプレイ１０１に表示するために生成される。The displaydata generation unit 623 generates display data from thevirtual object data 634 to display the instructed virtual object at a predetermined position on thedisplay 101 in a predetermined shape according to the user's instruction via theinstruction reception unit 622. For example, in addition to thearrow 311 in FIG. 3 indicating the marking in the direction supported by the fingertip 201 in FIG. 2, virtual objects such as thedisplay area 401 and the predictedfall point 402 in FIG. 4 calculated by the HMD are displayed on thedisplay 101. Generated to do.

　指示受付部６２２の指示に従って生成された表示データをディスプレイ１０１に表示することにより、仮想オブジェクトは、ユーザの指示に従って、移動し、回転し、変形するよう表示される。
＜ＨＭＤの処理動作＞
　図７は、ＨＭＤ１００の処理動作を示すフローチャートである。By displaying the display data generated according to the instruction of theinstruction receiving unit 622 on thedisplay 101, the virtual object is displayed to move, rotate, and deform according to the instruction of the user.
<HMD processing operation>
FIG. 7 is a flowchart showing the processing operation of theHMD 100.

　まず、ステップＳ７１では、カメラ１０３から画像処理部６０１で取得した画像を空間認識部６１１にて生成された撮影範囲にある構造物の３次元データに対し、指示受付部６２２により図２で示したようにユーザが指先２０１で指定した位置（マーキング位置）を取得する。単に、カメラ１０３を介して目標位置をマーキングするための動作を検出してマーキング位置を記憶しても良い。First, in step S71, the image acquired by theimage processing unit 601 from thecamera 103 is shown in FIG. 2 by theinstruction receiving unit 622 with respect to the three-dimensional data of the structure in the photographing range generated by thespace recognition unit 611. The user acquires the position (marking position) specified by the fingertip 201. The marking position may be simply stored by detecting the operation for marking the target position via thecamera 103.

　次に、ステップＳ７２で、表示データ生成部６２３は、各センサ５３０からの出力の積分値でマーキングした内部座標方向に向けて目標となる矢印を、ディスプレイ１０１に表示する。センサ５３０からの出力を積分演算した（この処理は所定時間ごとのＣＰＵ５０１への割り込み処理などで常に実行されている）ＨＭＤ２００の内部座標系の位置、向きをもとに、マーキングされた打ち出し方向を算出する。マーキングされた方向に向けた矢印を仮想オブジェクトデータ６３４から読み出し、３Ｄ演算処理してＨＭＤ１００のディスプレイ１０１に表示する。Next, in step S72, the displaydata generation unit 623 displays a target arrow on thedisplay 101 toward the internal coordinate direction marked by the integrated value of the output from eachsensor 530. Based on the position and orientation of the internal coordinate system of the HMD200, which is an integral calculation of the output from the sensor 530 (this process is always executed by interrupt processing to theCPU 501 at predetermined time intervals, etc.), the marked launch direction is determined. calculate. An arrow pointing in the marked direction is read from thevirtual object data 634, processed in 3D, and displayed on thedisplay 101 of theHMD 100.

　ステップＳ７３で、コントローラ１０２の画像処理部６０１は、カラー画像カメラ１０３ａからのカラー画像よりボール、クラブヘッドの位置関係からアドレス状態を検出する。または、各センサ５３０の出力により、プレーヤがアドレス状態に入ったことを検出する。例えば、ジャイロセンサ５３１ｂや加速度センサ５３１ｃの出力が小さくなったことによりアドレス状態に入ったことは検出できる。もしくは、ボタン１０５押下で行うようにしてもよい。つまり、コントローラ１０２は、ステップＳ７１でマーキングし、目標位置を取り込んだ時からステップＳ７３でプレーヤがアドレス状態に入るまでの、センサ５３０の出力を積分することで、目標位置を示す仮想オブジェクトの目標位置の方向に、ディスプレイ１０１に仮想的に表示させる。In step S73, theimage processing unit 601 of thecontroller 102 detects the address state from the positional relationship between the ball and the club head from the color image from thecolor image camera 103a. Alternatively, the output of eachsensor 530 detects that the player has entered the address state. For example, it can be detected that the address state is entered because the output of thegyro sensor 531b or theacceleration sensor 531c is reduced. Alternatively, it may be performed by pressing thebutton 105. That is, thecontroller 102 marks the target position in step S71, integrates the output of thesensor 530 from the time when the target position is captured to the time when the player enters the address state in step S73, and thereby indicates the target position of the virtual object indicating the target position. Thedisplay 101 is virtually displayed in the direction of.

　ステップＳ７４で、コントローラ１０２は、カメラ１０３の高フレームレートでの撮影するよう制御し、カメラ１０３は高フレームレートでの撮影を開始する。In step S74, thecontroller 102 controls thecamera 103 to shoot at a high frame rate, and thecamera 103 starts shooting at a high frame rate.

　ステップＳ７５で、コントローラ１０２の画像処理部６０１は、画像処理でショット状態を検出し、検出したボールスピード、スピン量から落下予測地点を算出する。In step S75, theimage processing unit 601 of thecontroller 102 detects the shot state by image processing, and calculates the fall prediction point from the detected ball speed and spin amount.

　ステップＳ７６で、コントローラ１０２の画像処理部６０１は、算出したボールスピード、スピン量から落下予測地点を算出する。In step S76, theimage processing unit 601 of thecontroller 102 calculates the fall prediction point from the calculated ball speed and spin amount.

　ステップＳ７７で、表示データ生成部６２３は、算出した落下予測地点を表示する表示データを仮想オブジェクトデータ６３４から読み出し、コントローラ１０２の表示制御部６１０の制御によってディスプレイ１０１に仮想オブジェクトとして表示する。In step S77, the displaydata generation unit 623 reads the display data for displaying the calculated fall prediction point from thevirtual object data 634 and displays it as a virtual object on thedisplay 101 under the control of thedisplay control unit 610 of thecontroller 102.

　実施例１によれば、実際のゴルフコースにおいて、ＨＭＤに目標方向を仮想オブジェクトとして矢印を表示するため、プレーヤは正しい目標方向に向かってアドレスをとることができる。According to the first embodiment, since the arrow is displayed on the HMD with the target direction as a virtual object in the actual golf course, the player can take an address toward the correct target direction.

　また、実施例１によれば、実際のゴルフコースにおいて、ショットしたボールの落下予測地点を仮想オブジェクトとして表示できるので、ボールを探す時間を短縮でき、結果としてロストボールを減少させることができる。Further, according to the first embodiment, since the predicted drop point of the shot ball can be displayed as a virtual object on the actual golf course, the time for searching for the ball can be shortened, and as a result, the lost ball can be reduced.

　実施例２では、ＨＭＤの地図データ６３８を用いたアプリケーションである。図８は、ＨＭＤ１００とスマートフォン８０１を連携させて、自動的にスコアを登録するアプリケーションである。Example 2 is an application using theHMD map data 638. FIG. 8 is an application for automatically registering a score by linking theHMD 100 and thesmartphone 801.

　図８に示すように、図１で示したＨＭＤ１００とスマートフォン８０１が、Ｂｌｕｅｔｏｏｔｈ等の無線通信で接続されている。ＨＭＤ１００のコントローラ１０２は、地図データ６３８とＧＰＳ受信機５３１ａからプレーヤの現在位置に対応するホール情報を特定する。ＧＰＳ受信機５３１ａからのＧＰＳ情報には、現在位置を示す情報が含まれる。図８の例では、プレーヤが２番ホール８１０にいることを表示している。尚、スマートフォン８０１の画面８１０には、地図データ６３８からホール番号と、当該ホールのパー数や距離（ヤード数）を示すスコアカード情報を取得し表示する。スコアカード情報には、距離に関する情報を含まなくても良い。As shown in FIG. 8, theHMD 100 shown in FIG. 1 and thesmartphone 801 are connected by wireless communication such as Bluetooth. Thecontroller 102 of theHMD 100 identifies the hall information corresponding to the current position of the player from themap data 638 and theGPS receiver 531a. The GPS information from theGPS receiver 531a includes information indicating the current position. In the example of FIG. 8, it is displayed that the player is in thesecond hole 810. Thescreen 810 of thesmartphone 801 acquires and displays the hole number and the scorecard information indicating the number of pars and the distance (number of yards) of the hole from themap data 638. The scorecard information does not have to include information about distance.

　また、事前に登録されたプレーヤの名前８１１を表示し、各プレーヤのスコアをストローク数８２１、パター数８２２に、タッチパネルの入力部８３０で入力することができる。コントローラ１０２は、特定されたホール情報に対応するスコアカード情報を、通信インタフェース５２０を介してスマートフォン８０１等の外部デバイスに送信する。スマートフォン８０１では、ＨＭＤ１００から送信されたスコアカード情報を図８のように表示する。Further, the name 811 of the player registered in advance can be displayed, and the score of each player can be input to thestroke number 821 and theputter number 822 by theinput unit 830 of the touch panel. Thecontroller 102 transmits the scorecard information corresponding to the specified hall information to an external device such as asmartphone 801 via thecommunication interface 520. Thesmartphone 801 displays the scorecard information transmitted from theHMD 100 as shown in FIG.

　図８に示したＨＭＤ１００は、実施例１で説明したように画像処理によりボールを打つ動作を認識できるので、ＧＰＳ受信機５３１ａでプレーヤの位置からホール番号を特定すれば、各ホールのショット数を自動で入力させることができる。尚、カメラ１０３によって撮影されたクラブの形状や画像処理によって算出されたヘッドスピードに基づいて、ショットとパットの動作を区別できるので、各ホールのショット数とパット数も自動で入力することできる。つまり、コントローラ１０２は、ＧＰＳ受信機５３１ａからのＧＰＳ情報と地図データ６３８に基づいて、ユーザがプレイするホール番号を特定し、特定したホール番号に対して、カメラ１０３により撮影された画像を解析することで、各ホールのショット数やパット数を算出し、記憶装置６３０への格納したり、ディスプレイ１０１へのスコアの表示を行うことができる。Since theHMD 100 shown in FIG. 8 can recognize the action of hitting a ball by image processing as described in the first embodiment, if the hole number is specified from the position of the player by theGPS receiver 531a, the number of shots of each hole can be determined. It can be entered automatically. Since the shot and putt operations can be distinguished based on the shape of the club photographed by thecamera 103 and the head speed calculated by image processing, the number of shots and the number of putts in each hole can also be automatically input. That is, thecontroller 102 identifies the hole number to be played by the user based on the GPS information from theGPS receiver 531a and themap data 638, and analyzes the image taken by thecamera 103 for the specified hole number. As a result, the number of shots and the number of putts in each hole can be calculated and stored in thestorage device 630, or the score can be displayed on thedisplay 101.

　図９は、実施例２のＨＭＤの表示の一例を示した図である。図９は、ボール打ち出しスピード、ヘッドスピード、ミート率、スピン量を画像から分析した結果をディスプレイ１０１に表示した例を示している。FIG. 9 is a diagram showing an example of the display of the HMD of the second embodiment. FIG. 9 shows an example in which the results of analyzing the ball launch speed, head speed, meet rate, and spin amount from the image are displayed on thedisplay 101.

　ＨＭＤ１００は、ＧＰＳ受信機５３１ａと地図データ６３８とを備えることにより、プレーヤがゴルフ場のどのホールのどの地点にいるかは判断できる。ＧＰＳ受信機５３１ａと地図データ６３８と実施例１で説明したボールの落下予測地点とに基づいて、ボール落下予測地点がバンカー、池、ＯＢ、ワンペナルティエリア等に該当する場合、コントローラ１０２の表示制御部６１０は、ディスプレイ１０１に落下予測地点表示の色を変えたり、文字を表示するよう制御する。By providing the HMD100 with theGPS receiver 531a and themap data 638, it is possible to determine which point in which hole of the golf course the player is. Based on theGPS receiver 531a, themap data 638, and the ball fall prediction point described in the first embodiment, when the ball fall prediction point corresponds to a bunker, a pond, an OB, a one-penalty area, etc., the display control of thecontroller 102 is performed. Theunit 610 controls thedisplay 101 to change the color of the fall prediction point display or display characters.

　なお、コントローラ１０２は、ＧＰＳ受信機５３１ａからのＧＰＳ情報と地図データ６３８により、プレーヤのショット前にグルーンエッジまでの距離を算出して、ディスプレイ１０１に表示させることもできる。Thecontroller 102 can also calculate the distance to the green edge before the shot of the player from the GPS information from theGPS receiver 531a and themap data 638 and display it on thedisplay 101.

　実施例２によれば、ＨＭＤとスマートフォンを連動させてスコアを登録することができる。また、実施例２によれば、ＧＰＳ情報と地図データとＨＭＤによって把握できるショット
やパットの動作からショット数やパット数を自動登録させることができる。According to the second embodiment, the score can be registered by linking the HMD and the smartphone. Further, according to the second embodiment, the number of shots and the number of putts can be automatically registered from the GPS information, the map data, and the operation of the shots and putts that can be grasped by the HMD.

　ＧＰＳの絶対座標と、ＨＭＤの内部座標を合わせるキャリブレーションについて、説明する。まず、各座標の定義について明らかにする。The calibration that matches the absolute coordinates of GPS and the internal coordinates of HMD will be explained. First, the definition of each coordinate will be clarified.

　絶対座標系とは、衛星から得られる緯度、経度情報から得られる座標系である。図１０Ａにｘ´、ｙ´、ｚ´で絶対座標系を示している。The absolute coordinate system is a coordinate system obtained from latitude and longitude information obtained from satellites. In FIG. 10A, the absolute coordinate system is shown by x', y', and z'.

　内部座標系とは、ＨＭＤ１００の内部座標系でいつも加速度計、ジャイロ、コンパスから慣性演算を行って自分の位置、向きを算出される座標系である。図１０Ｂにｘ、ｙ、ｚで内部座標系を示している。この内部座標系は、ジャイロ、コンパス、加速度計の誤差、及び積算誤差から徐々にＧＰＳ情報から得られる絶対座標系とずれてくる。特にコンパスの誤差が大きく、このため図１０Ｂに示したように、回転方向にずれの積算が大きい。The internal coordinate system is the internal coordinate system of the HMD100, which always performs inertial calculation from the accelerometer, gyro, and compass to calculate its own position and orientation. FIG. 10B shows the internal coordinate system with x, y, and z. This internal coordinate system gradually deviates from the absolute coordinate system obtained from GPS information due to errors in the gyro, compass, accelerometer, and integration error. In particular, the error of the compass is large, and therefore, as shown in FIG. 10B, the integration of the deviation in the rotation direction is large.

　このため、図１０Ｃに示したように、絶対座標系では１０１ｂの位置にあるバンカーが、内部座標系ではバンカーの位置は１０１ａと把握されてしまう。その結果、落下予測地点４０２が絶対座標系ではバンカー付近なのに、バンカー以外のところにボールが落下すると予測するため、バンカーに入った可能性のある旨の判定、表示ができない。これは、バンカー１０１、ホールの地図データやボール落下予測地点４０２は内部座標系で計算されるためである。この内部座標系で累積した絶対座標系との誤差を補正する必要がある。Therefore, as shown in FIG. 10C, the position of the bunker at the position of 101b in the absolute coordinate system is grasped as 101a in the internal coordinate system. As a result, although thefall prediction point 402 is near the bunker in the absolute coordinate system, it is predicted that the ball will fall to a place other than the bunker, so that it is not possible to determine or display that the ball may have entered the bunker. This is because thebunker 101, the map data of the hole, and the ballfall prediction point 402 are calculated in the internal coordinate system. It is necessary to correct the error with the absolute coordinate system accumulated in this internal coordinate system.

　図１１は、座標系の補正を示した図である。ＨＭＤ１００の内部座標系を絶対座標系に合わせる方法を説明した図である。FIG. 11 is a diagram showing correction of the coordinate system. It is a figure explaining the method of adjusting the internal coordinate system of HMD100 to the absolute coordinate system.

　図１１では、ゴルフコースの地図データ上に、プレーヤがショットを打った位置Ｐ１（ｘ’１、y’１）、Ｐ２（ｘ２、ｙ２）、Ｐ３（ｘ３、ｙ３）を示している。軌跡１、軌跡２はショットをプレーヤが打った各位置間を直線的に結んだ軌跡を表す。１点鎖線は絶対座標系のｘ軸と並行であることを表す。位置Ｐ１から位置Ｐ２の間の軌跡１は、絶対座座標系のｘ軸に対して角度α、長さＬで表すことができる。内部のセンサ５３０の出力を積算して得られるＰ１点からＰ２点へ移動したときのｘ軸に対しての角度をα、距離をＬに置き換えることで内部座標系の補正（キャリブレーション）を行う。キャリブレーションタイミングは、一定時間ごと、ショット地点ごと、などであってよい。FIG. 11 shows the positions P1 (x'1, y'1), P2 (x2, y2), and P3 (x3, y3) where the player hit the shot on the map data of the golf course. Thelocus 1 and thelocus 2 represent a locus that linearly connects the positions where the player hits the shot. The alternate long and short dash line indicates that it is parallel to the x-axis of the absolute coordinate system. Thelocus 1 between the position P1 and the position P2 can be represented by an angle α and a length L with respect to the x-axis of the absolute coordinate system. The internal coordinate system is corrected (calibrated) by replacing the angle with respect to the x-axis when moving from the P1 point to the P2 point obtained by integrating the output of theinternal sensor 530 with α and the distance with L. .. The calibration timing may be at regular time intervals, shot points, and the like.

　尚、キャリブレーションは他の方法によって行われても良い。例えば、コース上で特定しやすいバンカー位置やホールのピンの位置をプレーヤが指操作で特定することで、地図データに基づき仮想表示されたバンカー位置やピンの位置を、ユーザが特定した位置に合わせることで行っても良い。The calibration may be performed by another method. For example, the player manually identifies the bunker position and the pin position of the hole, which are easy to identify on the course, so that the bunker position and the pin position virtually displayed based on the map data are adjusted to the positions specified by the user. You may go by that.

　図１２は、ＨＭＤ１００の処理動作を示すフローチャートである。図７と同じ処理を行うステップについては、同一の符号を付している。即ち、ステップＳ７１からステップＳ７５、ステップＳ７６とステップＳ７７は図７で説明したステップＳ７１からステップＳ７７の処理に対応する。実施例３ではステップＳ７５とステップＳ７６の間に、ステップＳ１２１の処理を行う。FIG. 12 is a flowchart showing the processing operation of theHMD 100. The steps that perform the same processing as in FIG. 7 are designated by the same reference numerals. That is, steps S71 to S75, and steps S76 and S77 correspond to the processes of steps S71 to S77 described with reference to FIG. 7. In the third embodiment, the process of step S121 is performed between steps S75 and S76.

　ステップＳ１２１では、図１１で説明した内部座標の補正を行うために表示補正部６２４によって実行されるステップであり、今回のショット地点(絶対座標）を記憶する。これは、図１１の位置Ｐ２の絶対座標を記録する処理である。前回のショット地点（絶対座標)との傾きを計算する。図１１の位置Ｐ１のショット地点（絶対座標）との傾きを計算する。センサ５３０の積分演算で得られた傾きを上記で補正する。このように、ＨＭＤの内部座標系を絶対座標系に対して補正することで、プレーヤは地図データから得られるバンカーや池までの距離、グリーンまでの距離を正しく把握することができる。Step S121 is a step executed by thedisplay correction unit 624 in order to correct the internal coordinates described with reference to FIG. 11, and stores the shot point (absolute coordinates) this time. This is a process of recording the absolute coordinates of the position P2 in FIG. Calculate the slope with the previous shot point (absolute coordinates). The slope of the position P1 in FIG. 11 with respect to the shot point (absolute coordinates) is calculated. The slope obtained by the integral calculation of thesensor 530 is corrected as described above. By correcting the internal coordinate system of the HMD with respect to the absolute coordinate system in this way, the player can correctly grasp the distance to the bunker or pond obtained from the map data and the distance to the green.

　実施例３によれば、ＨＭＤの内部座標系を絶対座標系に合わせることで、ボール落下予測地点の正しい状況をプレーヤが把握することができる。また、プレーヤはショット前に地図データから正しいショットの目標を把握することができる。According to the third embodiment, the player can grasp the correct situation of the ball fall prediction point by matching the internal coordinate system of the HMD with the absolute coordinate system. In addition, the player can grasp the correct shot target from the map data before the shot.

１００：ヘッドマウントディスプレイ、
１０１：ディスプレイ、
１０２：コントローラ、
１０３：カメラ、
１０４：フレーム、
１０５：ボタン、
５０１：ＣＰＵ、
５０２：ＲＡＭ、
５０３：ＲＯＭ、
５１０：視線検出装置、
５２０：通信Ｉ／Ｆ、
５３０：センサ、
５４０：音声Ｉ／Ｆ。100: Head-mounted display,
101: Display,
102: Controller,
103: Camera,
104: Frame,
105: Button,
501: CPU,
502: RAM,
503: ROM,
510: Line-of-sight detector,
520: Communication I / F,
530: Sensor,
540: Voice I / F.

Claims (11)

Translated fromJapanese

　ゴルフ用のヘッドマウントディスプレイにおいて、
　ユーザの所定動作に応答して、目標位置を取り込むカメラと、
　前記目標位置を前記ヘッドマウントディスプレイが管理する内部座標系で記憶する記憶装置と、
　前記ユーザの動きを検出するセンサと、
　前記センサの出力を積分するコントローラと、
　前記コントローラの積分結果に基づき、前記目標位置の方向を示す第１の仮想オブジェクトを表示する透過型ディスプレイと、を有することを特徴とするゴルフ用のヘッドマウントディスプレイ。In head-mounted displays for golf
A camera that captures the target position in response to the user's predetermined action,
A storage device that stores the target position in the internal coordinate system managed by the head-mounted display, and
The sensor that detects the movement of the user and
A controller that integrates the output of the sensor and
A head-mounted display for golf, which comprises a transmissive display that displays a first virtual object indicating the direction of the target position based on the integration result of the controller.　請求項１に記載のゴルフ用のヘッドマウントディスプレイにおいて、
　前記カメラは、前記ユーザの手先の動作に応答して、ゴルフボールを打ち出す目標位置を取り込み、
　前記コントローラは、前記カメラの前記目標位置を取り込んだ時から前記ユーザがボールを打つまでの前記センサの出力を積分することを特徴とするゴルフ用のヘッドマウントディスプレイ。In the head-mounted display for golf according to claim 1.
The camera captures a target position for launching a golf ball in response to the movement of the user's hand.
The controller is a head-mounted display for golf, which integrates the output of the sensor from the time when the target position of the camera is captured until the user hits the ball.　ゴルフ用のヘッドマウントディスプレイにおいて、
　クラブによりゴルフボールを打つ状態を高速撮影するカメラと、
　前記カメラにより撮影された画像を解析し、ゴルフボールのボールスピードとスピン量を算出し、前記ボールスピードと前記スピン量に基づき、ゴルフボールの落下予測地点を算出するコントローラと、
　前記落下予測地点に第２の仮想オブジェクトを表示する透過型ディスプレイとを有することを特徴とするゴルフ用のヘッドマウントディスプレイ。In head-mounted displays for golf
A camera that shoots a golf ball hit by a club at high speed,
A controller that analyzes an image taken by the camera, calculates the ball speed and spin amount of the golf ball, and calculates a predicted fall point of the golf ball based on the ball speed and the spin amount.
A head-mounted display for golf, which comprises a transmissive display that displays a second virtual object at the predicted fall point.　請求項３に記載のゴルフ用のヘッドマウントディスプレイにおいて、
　前記コントローラは、前記カメラのクラブとボールの画像からユーザがアドレス状態に入ったことを検出すると、前記カメラの高速撮影を開始することを特徴とするゴルフ用のヘッドマウントディスプレイ。In the head-mounted display for golf according to claim 3.
The controller is a head-mounted display for golf, which starts high-speed shooting of the camera when it detects that the user has entered the address state from the images of the club and the ball of the camera.　請求項３に記載のゴルフ用のヘッドマウントディスプレイにおいて、
　ユーザの動きを検出するセンサを有し、
　前記コントローラは、前記センサの出力に基づいて、前記カメラの高速撮影を開始することを特徴とするゴルフ用のヘッドマウントディスプレイ。In the head-mounted display for golf according to claim 3.
It has a sensor that detects the movement of the user
The controller is a head-mounted display for golf, which starts high-speed shooting of the camera based on the output of the sensor.　請求項３に記載のゴルフ用のヘッドマウントディスプレイにおいて、
　ゴルフボールの落下地点を示す前記第２の仮想オブジェクトを記憶する記憶装置を有し、
　前記コントローラは、前記記憶装置から前記第２の仮想オブジェクトを読み出し、前記落下予測地点に前記読み出した前記第２の仮想オブジェクトを、前記透過型ディスプレイ上に仮想的に表示することを特徴とするゴルフ用のヘッドマウントディスプレイ。In the head-mounted display for golf according to claim 3.
It has a storage device that stores the second virtual object that indicates the point where the golf ball falls.
The controller reads the second virtual object from the storage device, and virtually displays the read second virtual object on the transmissive display at the fall prediction point. Head-mounted display for.　請求項３に記載のゴルフ用のヘッドマウントディスプレイにおいて、
　前記ゴルフ用のヘッドマウントディスプレイは、さらに、ＧＰＳ受信機と、ゴルフ場のコースレイアウトを示す地図データを格納する記憶装置と、外部デバイスと無線により通信するための通信インタフェースとを有し、
　前記コントローラは、前記ＧＰＳ受信機からのＧＰＳ情報と前記地図データに基づいて、ホール番号を特定し、特定したホール番号のスコアカード情報を、前記通信インタフェースを介して外部デバイスに送信することを特徴とするゴルフ用のヘッドマウントディスプレイ。In the head-mounted display for golf according to claim 3.
The head-mounted display for golf further includes a GPS receiver, a storage device for storing map data indicating a course layout of a golf course, and a communication interface for wirelessly communicating with an external device.
The controller identifies a hole number based on GPS information from the GPS receiver and the map data, and transmits scorecard information of the specified hole number to an external device via the communication interface. Head-mounted display for golf.　請求項３に記載のゴルフ用のヘッドマウントディスプレイにおいて、
　前記ゴルフ用のヘッドマウントディスプレイは、さらに、ＧＰＳ受信機と、ゴルフ場のコースレイアウトを示す地図データを格納する記憶装置と、を有し、
　前記コントローラは、前記ＧＰＳ受信機からのＧＰＳ情報と前記地図データに基づいて、ホール番号を特定し、特定したホール番号に対して、前記カメラにより撮影された画像を解析して算出したショット数を前記記憶装置に格納し、前記透過型ディスプレイに表示することを特徴とするゴルフ用のヘッドマウントディスプレイ。In the head-mounted display for golf according to claim 3.
The golf head-mounted display further includes a GPS receiver and a storage device for storing map data indicating the course layout of the golf course.
The controller identifies the hole number based on the GPS information from the GPS receiver and the map data, and analyzes the image taken by the camera for the specified hole number to calculate the number of shots. A head-mounted display for golf, which is stored in the storage device and displayed on the transmissive display.　請求項３に記載のゴルフ用のヘッドマウントディスプレイにおいて、
　前記ゴルフ用のヘッドマウントディスプレイは、ユーザの動きを検出するセンサを有し、
　前記コントローラは、前記センサからの出力をもとに生成される内部座標系と、衛星から得られる緯度、経度情報から得られる座標系である絶対座標系とを管理し、
　前記内部座標系を所定のタイミングで前記絶対座標系に対して補正することを特徴とするゴルフ用のヘッドマウントディスプレイ。In the head-mounted display for golf according to claim 3.
The head-mounted display for golf has a sensor that detects a user's movement, and has a sensor.
The controller manages an internal coordinate system generated based on the output from the sensor and an absolute coordinate system which is a coordinate system obtained from latitude and longitude information obtained from the satellite.
A head-mounted display for golf, characterized in that the internal coordinate system is corrected with respect to the absolute coordinate system at a predetermined timing.　請求項９に記載のゴルフ用のヘッドマウントディスプレイにおいて、
　前記ゴルフ用のヘッドマウントディスプレイは、さらに、ＧＰＳ受信機と、ゴルフ場のコースレイアウトを示す地図データを格納する記憶装置とを有し、
　前記コントローラは、前記補正された内部座標系に従って、前記地図データのコースレイアウトを示す第３の仮想オブジェクトを前記透過型ディスプレイに表示することを特徴とするゴルフ用のヘッドマウントディスプレイ。In the head-mounted display for golf according to claim 9.
The golf head-mounted display further includes a GPS receiver and a storage device for storing map data indicating the course layout of the golf course.
The controller is a head-mounted display for golf, characterized in that a third virtual object indicating a course layout of the map data is displayed on the transmissive display according to the corrected internal coordinate system.　請求項８に記載のヘッドマウントディスプレイにおいて、
　前記コントローラは、前記ショット数を前記記憶装置に格納するとともに、他の携帯端末装置へ通知することを特徴とするゴルフ用のヘッドマウントディスプレイ。In the head-mounted display according to claim 8.
The controller is a head-mounted display for golf, characterized in that the number of shots is stored in the storage device and notified to another mobile terminal device.

Images