JP5674441B2 - Information processing system, control method thereof, and program - Google Patents
Information processing system, control method thereof, and programDownload PDFInfo
- Publication number
- JP5674441B2 JP5674441B2JP2010269635AJP2010269635AJP5674441B2JP 5674441 B2JP5674441 B2JP 5674441B2JP 2010269635 AJP2010269635 AJP 2010269635AJP 2010269635 AJP2010269635 AJP 2010269635AJP 5674441 B2JP5674441 B2JP 5674441B2
- Authority
- JP
- Japan
- Prior art keywords
- tag
- image data
- computer graphics
- graphics image
- augmented reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
Translated fromJapanese本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な技術に関するものである。 The present invention relates to a technology capable of synthesizing and presenting real-space video and computer graphics image data.
従来、「時間」、「距離」、「エアタグの種類」を指定すると、指定した条件に合致するタグのみを表示し、煩雑に表示されていたタグを整理する技術が知られている（例えば、非特許文献１参照）。 Conventionally, when “time”, “distance”, and “type of air tag” are specified, only tags that meet the specified conditions are displayed, and the tags that have been displayed complicatedly are known (for example, Non-patent document 1).
また、タグが集まっているところをユーザが長押しすると、周りのタグが吸い寄せられて、螺旋状に回り出し、奥から手前にタグが順々に回り、ユーザは気になるタグを見つけたらタップして当該タグに係る詳細を参照することができる技術が知られている（例えば、非特許文献２参照）。 In addition, when the user presses and holds the place where the tag is gathered, the surrounding tag is sucked in, spirals out, the tag rotates in order from the back to the front, and the user taps when finding the tag of interest A technique that can refer to details of the tag is known (for example, see Non-Patent Document 2).
ところで、ＡＲ（Augmented Reality）は、現実空間に情報を付加させる技術であり、現実空間に関する情報は、方位が非常に大きな意味を持つ。例えば、「日本に初めて訪れた外国人が、雷門を目印に浅草寺を探し、お参りする」といった場合、往路に至っては雷門の位置を知らせる情報（例えば、“雷門”と大きく書かれたタグ）が価値ある情報であるが、復路に至っては既に知っている情報なので、情報の価値は半減する。 By the way, AR (Augmented Reality) is a technique for adding information to the real space, and the information related to the real space has a very significant orientation. For example, in the case of “a foreigner visiting Japan for the first time looking for Sensoji Temple with Kaminarimon as a landmark and visiting,” the information that informs the location of Kaminarimon (for example, a tag that reads “Kaminarimon”) Although it is valuable information, the value of the information is halved because it is already known information when it comes back.
しかしながら、非特許文献１、２に開示された技術は何れの場合も、雷門に向けてスマートフォンを翳せば、一様に“雷門”と大きくタグが表示されてしまう。このように現実空間の映像に付加される情報は、方位によって情報の価値は変わるのに、それが考慮されないまま一様に表示されていた。 However, in any of the techniques disclosed in
そこで、本発明の目的は、オブジェクトから見て有用な方位範囲の地点であるか、そうでない方位範囲の地点であるかに応じて、当該オブジェクトに関するコンピュータグラフィックス画像データの見せ方を変えることにある。 Accordingly, an object of the present invention is to change the way in which computer graphics image data relating to an object is displayed depending on whether the point is a point of a useful azimuth range as viewed from the object or a point of a azimuth range that is not so. is there.
本発明の情報処理システムは、現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な拡張現実感提示装置を有する情報処理システムであって、前記拡張現実感提示装置の位置及び姿勢を検知する検知手段と、前記検知手段による検知結果に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する第１の解析手段と、前記第１の解析手段による解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替える制御手段と、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見た方位範囲毎に評価情報を管理する第２の管理手段と、経路及び進行方向を設定する設定手段と、前記設定手段により設定された経路及び進行方向に基づいて、前記コンピュータグラフィックス画像データに対応するオブジェクトの現実空間の位置から見て有用な方位範囲を推定する推定手段と、前記推定手段による推定結果に応じて、前記第２の管理手段における該当する方位範囲の評価情報を更新する更新手段と、を有し、前記制御手段は、前記第１の解析手段による解析結果に対応する前記第２の管理手段における方位範囲の評価情報に従って、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替えることを特徴とする。
本発明の情報処理システムの制御方法は、現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な拡張現実感提示装置を有する情報処理システムの制御方法であって、前記拡張現実感提示装置の位置及び姿勢を検知する検知ステップと、前記検知ステップによる検知結果に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する解析ステップと、前記解析ステップによる解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替える制御ステップと、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見た方位範囲毎に評価情報を管理する管理ステップと、を含み、前記制御ステップでは、前記解析ステップによる解析結果に対応する前記管理ステップにおける方位範囲の評価情報に従って、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替えることを特徴とする。
本発明のプログラムは、現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な拡張現実感提示装置を有する情報処理システムの制御方法をコンピュータに実行させるためのプログラムであって、前記拡張現実感提示装置の位置及び姿勢を検知する検知ステップと、前記検知ステップによる検知結果に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する解析ステップと、前記解析ステップによる解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替える制御ステップと、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見た方位範囲毎に評価情報を管理する管理ステップと、をコンピュータに実行させ、前記制御ステップでは、前記解析ステップによる解析結果に対応する前記管理ステップにおける方位範囲の評価情報に従って、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替えることを特徴とする。An information processing system according to the present invention is an information processing system including an augmented reality presentation device capable of combining and presenting a video of real space and computer graphics image data, and includes the augmented reality presentation device. Based on the detection means for detecting the position and orientation, and the detection result of the detection means, the azimuth range to which the augmented reality presentation device belongs as viewed from the position of the object in the real space corresponding to the computer graphics image data First analysis means for analyzing, control means for switching the computer graphics image data to be presented in the augmented reality presentation device in accordance with the analysis result by the first analysis means, andthe computer graphics image data Evaluation for each azimuth range viewed from the position of the object in the real space corresponding to A second management unit that manages information; a setting unit that sets a path and a traveling direction; and a real space of an object corresponding to the computer graphics image data based on the path and the traveling direction set by the setting unit An estimation unit that estimates a useful azimuth range when viewed from the position of, and an update unit that updates evaluation information of the corresponding azimuth range in the second management unit according to an estimation result by the estimation unit , the control means, according to the evaluation information of the bearing range in the second management unit corresponding to the analysis result of the first analysis unit, Ruswitches the computer graphics image data to be presented in the augmented reality presentation apparatus It is characterized by that.
The control method of the information processing system of the present invention is a control method of an information processing system having an augmented reality presentation device capable of synthesizing and presenting video in real space and computer graphics image data, A detection step for detecting the position and orientation of the augmented reality presentation device, and the augmented reality presentation device as seen from the position of the object in the real space corresponding to the computer graphics image data based on the detection result of the detection step An analysis step for analyzing which azimuth range belongs to, a control step for switching the computer graphics image data to be presented in the augmented reality presentation device according to the analysis result of the analysis step, andthe computer graphics image data Real space object corresponding to A management step for managing evaluation information for each azimuth range viewed from a position, and in the control step, the augmented reality presentation is performed according to the evaluation information of the azimuth range in the management step corresponding to the analysis result by the analysis step. The computer graphics image data presented in the apparatus is switched .
The program of the present invention is a program for causing a computer to execute a control method of an information processing system having an augmented reality presentation device capable of synthesizing and presenting real-space video and computer graphics image data. And detecting the position and orientation of the augmented reality presentation device, and based on the detection result of the detecting step, the augmented reality as viewed from the position of the object in the real space corresponding to the computer graphics image data. An analysis step for analyzing which azimuth range the sensation presentation device belongs to, a control step for switching the computer graphics image data to be presented in the augmented reality presentation device according to the analysis result of the analysis step, andthe computer graphic Compatible with image data A management step for managing evaluation information for each azimuth range viewed from the position of the object in the real space, and in the control step, the azimuth range in the management step corresponding to the analysis result by the analysis step is according to the evaluation information, wherein toswitch between the computer graphics image data to be presented in the augmented reality presentation apparatus.
本実施形態によれば、オブジェクトから見て有用な方位範囲の地点であるか、そうでない方位範囲の地点であるかに応じて、当該オブジェクトに関するコンピュータグラフィックス画像データの見せ方を変えることができる。 According to the present embodiment, it is possible to change the way the computer graphics image data related to the object is displayed depending on whether the point is in a useful azimuth range or not in the azimuth range. .
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments to which the invention is applied will be described in detail with reference to the accompanying drawings.
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係るＡＲタグ表示システムの構成を概略的に示す図である。図１に示すように、本実施形態に係るＡＲタグ表示システムは、ユーザが所持するカメラ機能付き携帯端末１０と、現実空間の映像に合成表示されるタグを管理するためのタグ管理サーバ２０とで構成される。なお、図１においては、説明の簡単のため、携帯端末１０、タグ管理サーバ２０をそれぞれ一つずつ示しているが、実際にはそれぞれが任意数あって構わない。 First, a first embodiment of the present invention will be described. FIG. 1 is a diagram schematically showing the configuration of an AR tag display system according to the first embodiment of the present invention. As shown in FIG. 1, the AR tag display system according to the present embodiment includes a
携帯端末１０は、位置姿勢検知部１０１、評価受付部１０２及び提示部１０３を備える。提示部１０３は、タグを表すコンピュータグラフィックス画像データを、現実空間の映像と合成して表示する。即ち、携帯端末１０は、カメラによって撮影された現実空間の映像を液晶ディスプレイ等に表示し、表示した現実空間の映像にコンピュータグラフィックス画像データを合成表示することにより、拡張された現実感を演出する。以下では、このように拡張された現実感を与えるコンピュータグラフィックス画像データの合成表示を、ＡＲ（Augmented Reality）表示と称することがある。 The
なお、以下で説明する実施形態においては、ＡＲ表示を行うデバイスであるＡＲ表示デバイスの例として携帯端末型のＡＲ表示デバイスを挙げているが、これに限られない。例えば、ユーザの頭部に装着される眼鏡型のＨＭＤ（Head Mounted Display）も適用できる。ＨＭＤは、現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データを表示することにより、拡張された現実感を演出する。また、ＨＭＤには、非透過型、ビデオ透過型、光学透過型等の様々な方式がある。合成表示（ＡＲ表示）とは、いずれかの方式によってＨＭＤのレンズに映し出される現実空間の映像に対し、その映像に整合する位置にコンピュータグラフィックス画像データを合成表示することであって、例えば、光学透過型方式であれば、シースルーで見る現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データが合成表示され、ビデオ透過型であれば、ビデオカメラで撮影した現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データが合成表示される。その他、移動車両の運転席の視線方向に設置され、光学的に透過して映し出される現実空間の映像にコンピュータグラフィックス画像データを合成表示するようなヘッドアップディスプレイ型のＡＲ表示デバイスであってもよい。 In the embodiment described below, a mobile terminal type AR display device is cited as an example of an AR display device that is a device that performs AR display, but is not limited thereto. For example, a glasses-type HMD (Head Mounted Display) worn on the user's head can also be applied. The HMD produces an expanded sense of reality by displaying computer graphics image data at a position that matches the video in the real space. In addition, there are various types of HMD such as non-transmission type, video transmission type, and optical transmission type. The composite display (AR display) is to display the computer graphics image data in a position matching the video with respect to the real space video displayed on the lens of the HMD by any method. If the optical transmission type is used, computer graphics image data is synthesized and displayed at a position that matches the real space image seen through, and if it is a video transmission type, the real space image taken by the video camera is displayed. The computer graphics image data is synthesized and displayed at the matching position. In addition, even a head-up display type AR display device that is installed in the line of sight of the driver's seat of a moving vehicle and displays computer graphics image data in combination with a real space image that is optically transmitted and projected. Good.
また、現実空間の映像に整合させてコンピュータグラフィックス画像データを表示させる際に、現実空間の映像中のオブジェクトとコンピュータグラフィックス画像データとの座標合わせが行われる。座標合わせの手法としては、本実施形態においては、位置姿勢検知部１０１が携帯端末１０の位置（緯度、経度）と姿勢（方向、仰角）とを検知し、提示部１０３が位置及び姿勢に基づいて携帯端末１０を所持するユーザが現実空間のどこを見ているかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成する。 In addition, when computer graphics image data is displayed in alignment with an image in the real space, coordinates between the object in the image in the real space and the computer graphics image data are performed. As a coordinate matching method, in the present embodiment, the position /
評価受付部１０２は、携帯端末１０の画面上に表示されるタグがユーザによってタップされると、その回数に応じた評価値の入力を受け付ける。例えば、ユーザによって或るタグが３回タップされると、当該タグに対する＋３ポイントの評価値の入力を受け付ける。なお、タップに限定する必要はなく、ユーザの音声をマイクロフォンとAD変換器によりデジタル信号として記録し、スペクトラムアナライザなどを用いて音声解析した結果を、評価値の入力として受け付けても良い。例えば、ユーザが「雷門最高！」としゃべると、音声解析の結果とそれを自然言語処理することで、雷門に関するタグに対する＋１００ポイントの評価値の入力を受け付ける。その他、ユーザの位置をGPS等で計測して、ユーザが当該タグの傍を通過したか否かを判別し、通過すれば当該タグに対する＋１０ポイントの評価値の入力を受け付けても良い。その他、タグをユーザが凝視する行為等、タグを意識しているとする動作のパターンに応じた評価値の入力動作が考えられる。 When the tag displayed on the screen of the
タグ管理サーバ２０は、表示タグ解析部２０１、タグ表示指示部２０２、タグ管理テーブル２０３及び表示態様管理テーブル２０４を備える。表示タグ解析部２０１は、携帯端末１０から位置及び姿勢を受信し、ユーザが現実空間のどのオブジェクトを見ているか解析する。そして、表示タグ解析部２０１は、そのオブジェクトから見てユーザがどの方位範囲に位置するかを解析し、オブジェクトのタグのタグＩＤ及び解析した方位範囲に対応する評価点をタグ管理テーブル２０３から取得する。表示タグ解析部２０１は、オブジェクトのタグのタグＩＤ、位置及び評価点をタグ表示指示部２０２に対して出力する。 The
タグ管理テーブル２０３には、タグＩＤ及び位置毎に、方位範囲、評価点が管理されている。ここでいう位置とは、現実空間におけるオブジェクトの位置であり、当該オブジェクトに対応するタグが合成表示される位置でもある。また、方位範囲とは、オブジェクトの位置を基準として見た方位範囲を意味する。タグ管理サーバ２０は、携帯端末１０の評価受付部１０２から評価値を受信すると、タグ管理テーブル２０３の該当するレコードの評価値を更新する。 The tag management table 203 manages azimuth ranges and evaluation points for each tag ID and position. The position here is the position of the object in the real space, and is also the position where the tag corresponding to the object is displayed in a synthesized manner. The azimuth range means an azimuth range viewed with reference to the position of the object. When the
表示態様管理テーブル２０４は、評価点に対応する表示態様が管理されている。タグ表示指示部２０２は、表示タグ解析部２０１からタグＩＤ、位置及び評価点を取得すると、評価点に対応する表示態様を表示態様管理テーブル２０４から取得する。タグ表示指示部２０２は、タグＩＤに対応するコンピュータグラフィックス画像データ、位置及び表示態様を携帯端末１０に対して送信する。なお、図１に示す表示態様管理テーブル２０４では、０から５０までの評価点に対しては「小サイズ表示」が対応付けられ、５１以上の評価点に対しては「大サイズ表示」が対応付けられている。他の実施形態として、０から５０までの評価点に対しては「非表示」、５１以上の評価点に対しては「表示」というように表示自体を制御してもよい。その他の表示態様としては、評価点が高い方を、より目立つ色や太い字体で表示する、或いは、重ねて見せる際に評価点が高い方をより前面に表示するなど、評価点に応じて目立つデザインやレイアウトに表示態様を制御してもよい。 The display mode management table 204 manages the display mode corresponding to the evaluation points. When the tag
携帯端末１０の提示部１０３は、コンピュータグラフィックス画像データ、位置及び表示態様を受信すると、コンピュータグラフィックス画像データをその表示態様で現実空間の映像に合成表示する。即ち、「小サイズ表示」の表示態様であれば、提示部１０３はコンピュータグラフィックス画像データを小サイズで表示し、「大サイズ表示」の表示態様であれば、提示部１０３はコンピュータグラフィックス画像データを大サイズで表示する。なお、携帯端末１０にキャッシュ（高速な記憶装置）機能を備え、上記タグ表示指示部２０２が携帯端末１０に対して送信したコンピュータグラフィックス画像データ等をキャッシュして、処理の高速化を図ってもよい。この場合、提示部１０３は、キャッシュよりコンピュータグラフィックス画像データ、位置及び表示態様等を受信し、コンピュータグラフィックス画像データをその表示態様で現実空間の映像に合成表示する。 When receiving the computer graphics image data, the position, and the display mode, the
図２−１は、本実施形態におけるタグ管理サーバ２０のハードウェア構成を示す図である。図２−１において、ＣＰＵ１２１０１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ１２１０２或いはＨＤＤ１２１０５には、ＣＰＵ１２１０１の制御プログラムであるオペレーティングシステム（ＯＳ）や、後述する各種機能を実現するためのプログラムが記憶されている。ＲＡＭ１２１０３は、ＣＰＵ１２１０１の主メモリ、ワークエリア、一時退避領域等として機能する。通信Ｉ／Ｆコントローラ１２１０４は、ネットワークを介して外部機器（例えば、携帯端末１０）との通信制御処理を実行する。なお、ＨＤＤ１２１０５の代替手段として、ＳＤＤ（Solid State Drive）を用いてもよい。 FIG. 2A is a diagram illustrating a hardware configuration of the
図２−２は、本実施形態における携帯端末１０のハードウェア構成を示す図である。図２−２において、ＣＰＵ１２２０１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ１２２０２には、ＣＰＵ１２２０１の制御プログラムであるＯＳや、後述する各種機能を実現するためのプログラムが記憶されている。ＲＡＭ１２２０３は、ＣＰＵ１２２０１の主メモリ、ワークエリア、一時退避領域等として機能する。通信Ｉ／Ｆコントローラ１２２０４は、ネットワークを介して外部機器（例えば、タグ管理サーバ２０）との通信制御処理を実行する。ディスプレイコントローラ１２２０５は、ディスプレイ１２２０６における画像表示を制御する。 FIG. 2-2 is a diagram illustrating a hardware configuration of the
図３は、本実施形態に係るＡＲタグ表示システムの処理の流れを示すフローチャートである。以下、図１及び図３を参照しながら、本実施形態に係るＡＲタグ表示システムの処理について説明する。 FIG. 3 is a flowchart showing a process flow of the AR tag display system according to the present embodiment. Hereinafter, the process of the AR tag display system according to the present embodiment will be described with reference to FIGS. 1 and 3.
携帯端末１０の位置姿勢検知部１０１は、携帯端末１０の位置及び姿勢を検知する（ステップＳ３０１）。次に、携帯端末１０は、位置姿勢検知部１０１によって検知された位置及び姿勢をタグ管理サーバ２０に対して送信する（ステップＳ３０２）。 The position /
タグ管理サーバ２０は、携帯端末１０から位置及び姿勢を受信する（ステップＳ３０３）。次に、タグ管理サーバ２０の表示タグ解析部２０１は、上記位置及び姿勢に基づいて、携帯端末１０を所持するユーザがどのオブジェクトを見ているかを解析する。そして、表示タグ解析部２０１は、オブジェクトから見てユーザがどの方位範囲に位置するかを解析し、オブジェクトのタグのタグＩＤ及び当該方位範囲に対応する評価点をタグ管理テーブル２０３から取得し、タグＩＤ、位置及び評価点をタグ表示指示部２０２に対して出力する（ステップＳ３０４）。 The
次に、タグ表示指示部２０２は、表示タグ解析部２０１からタグＩＤ、位置及び評価点を取得し、評価点に対応する表示態様を表示態様管理テーブル２０４から取得する（ステップＳ３０５）。タグ表示指示部２０２は、タグＩＤに対応するコンピュータグラフィックス画像データ、位置及び表示態様を携帯端末１０に対して送信する（ステップＳ３０６）。 Next, the tag
携帯端末１０は、タグ管理サーバ２０から、コンピュータグラフィックス画像データ、位置及び表示態様を受信する（ステップＳ３０７）。次に、携帯端末１０の提示部１０３は、その表示態様でコンピュータグラフィックス画像データを現実空間の映像に合成表示する（ステップＳ３０８）。 The
以下、具体的なストーリーを例に挙げて、本実施形態に係るＡＲタグ表示システムの動作を具体的に説明する。ここで例に挙げるストーリーは、「ユーザは、浅草駅から雷門を目印に浅草寺に向かい、浅草寺でお参りをした後、仲見世通りにある「雷おこし本舗」にてお土産を買って、浅草駅に帰る」である。図４は、当該ストーリーにおけるユーザの経路を示す図である。図４の４０１及び４０２は、当該ストーリーの往路の一部を示しており、４０３及び４０４は、当該ストーリーの復路の一部を示している。図４の４０１は、浅草駅から雷門の近くの地点Ａまでの経路である。図４の４０２は、雷門をくぐって雷おこし本舗の近くの地点Ｂまでの経路である。図４の４０３は、浅草寺から雷おこし本舗の近くの地点Ｃまでの経路である。図４の４０４は、雷おこし本舗から雷門の近くの地点Ｄまでの経路である。 Hereinafter, the operation of the AR tag display system according to the present embodiment will be specifically described by taking a specific story as an example. The story given here is, for example, “Users go to Sensoji Temple from Asakusa Station with Kaminarimon as a landmark, visit them at Sensoji Temple, then buy souvenirs at“ Raikanoshi Honpo ”on Nakamise Street and return to Asakusa Station. It is. FIG. 4 is a diagram illustrating a route of the user in the story. In FIG. 4, 401 and 402 indicate a part of the outward path of the story, and 403 and 404 indicate a part of the return path of the story. 401 in FIG. 4 is a route from Asakusa Station to point A near Kaminarimon.
先ず、図５−１を参照しながら、図４の４０１に示す経路をユーザが携帯端末１０を翳しながら歩いている場合におけるＡＲタグ表示システムの動作について説明する。図５−１（ａ）に示すように、ユーザが携帯端末１０を翳しながら雷門付近の地点Ａまで歩いてくると、表示タグ解析部２０１は、携帯端末１０が地点Ａに位置するときに受信する携帯端末１０の位置及び姿勢に基づいて、ユーザが携帯端末１０の画面上で雷門を閲覧しており、且つ、ユーザが雷門の位置（ｘ1，ｙ1）から見て１°〜９０°の方位範囲に位置することを解析し、タグ管理テーブル２０３から該当するレコードの評価点を取得する。First, the operation of the AR tag display system when the user is walking along the route indicated by 401 in FIG. 4 while holding the
図５−１（ｂ）は、タグ管理テーブル２０３の関連個所を抜粋した図である。表示タグ解析部２０１は、携帯端末１０から受信した携帯端末１０の位置及び姿勢に基づいて、ユーザが携帯端末１０の画面上でどのオブジェクトをどの方位範囲から見ているかを解析し、その解析結果に該当するレコードの評価点をタグ管理テーブル２０３から取得する。ここでは、ユーザが見ているオブジェクトは位置（ｘ1，ｙ1）の雷門であり、且つ、ユーザは当該雷門のタグから見て方位範囲１°〜９０°に位置する。従って、表示タグ解析部２０１は、タグ管理テーブル２０３からレコード５０１の評価点＋９０を取得する。FIG. 5-1 (b) is a diagram excerpting relevant portions of the tag management table 203. The display
表示タグ解析部２０１は、レコード５０１から取得した評価点＋９０、タグＩＤ“００１”に対応するコンピュータグラフィックス画像データ及び位置（ｘ1，ｙ1）をタグ表示指示部２０２に対して出力する。タグ表示指示部２０２は、タグＩＤ“００１”に対応するコンピュータグラフィックス画像データ、「大サイズ表示」を示す表示態様及び位置（ｘ1，ｙ1）を携帯端末１０に対して送信する。これにより、携帯端末１０の提示部１０３は、タグＩＤ“００１”に対応する雷門のタグのコンピュータグラフィックス画像データを、「大サイズ表示」の表示態様で、現実空間の位置（ｘ1，ｙ1）に合成表示する。即ち、ユーザが携帯端末１０を翳しながら浅草駅から雷門付近の地点Ａに到着すると、携帯端末１０の画面上において、雷門のタグのコンピュータグラフィックス画像データが大きなサイズで表示されることになる。The display
図５−２（ａ）は、ユーザが携帯端末１０を翳しながら浅草駅から雷門付近の地点Ａに到着した場合における携帯端末１０の画面表示例を示す図である。図５−２（ａ）に示すように、携帯端末１０の画面上では、現実空間における雷門の映像５２１の近傍に、雷門のタグのコンピュータグラフィックス画像データ５２２が大きなサイズで表示される。 FIG. 5A is a diagram illustrating a screen display example of the
次に、同じく図５−１を参照しながら、図４の４０３に示す経路をユーザが携帯端末１０を翳しながら歩いている場合におけるＡＲタグ表示システムの動作について説明する。図５−１（ａ）に示すように、ユーザが携帯端末１０を翳しながら雷おこし本舗から雷門付近の地点Ｄまで歩いてくると、ユーザは携帯端末１０の画面上で位置（ｘ1，ｙ1）の雷門を見ており、且つ、ユーザは雷門の位置（ｘ1，ｙ1）から見て方位１８１°〜２７０°の方位範囲に位置する。表示タグ解析部２０１は、携帯端末１０が地点Ｄに位置するときに受信する携帯端末１０の位置及び姿勢に基づいて、これらの事項を解析し、タグ解析テーブル２０３から該当するレコードの評価点を取得する。従って、表示タグ解析部２０１は、タグ管理テーブル２０３からレコード５０２の評価点＋２０を取得する。Next, the operation of the AR tag display system when the user is walking along the route indicated by 403 in FIG. 4 while holding the
表示タグ解析部２０１は、レコード５０２から取得した評価点＋２０、タグＩＤ“００１”に対応するコンピュータグラフィックス画像データ及び位置（ｘ1，ｙ1）をタグ表示指示部２０２に対して出力する。タグ表示指示部２０２は、タグＩＤ“００１”に対応するコンピュータグラフィックス画像データ、「小サイズ表示」を示す表示態様及び位置（ｘ1，ｙ1）を携帯端末１０に対して送信する。これにより、携帯端末１０の提示部１０３は、タグＩＤ“００１”に対応する雷門のタグのコンピュータグラフィックス画像データを「小サイズ表示」の表示態様で、現実空間の位置（ｘ1，ｙ1）に合成表示する。即ち、ユーザが携帯端末１０を翳しながら浅草寺から雷付近の地点Ｄに到着すると、携帯端末１０の画面上において、雷門のタグのコンピュータグラフィックス画像データが小さなサイズで表示されることになる。The display
図５−２（ｂ）は、ユーザが携帯端末１０を翳しながら浅草寺から雷門付近の地点Ｄに到着した場合における携帯端末１０の画面表示例を示す図である。図５−２（ｂ）に示すように、携帯端末１０の画面上では、現実空間における雷門の映像５２３の近傍に、雷門のタグのコンピュータグラフィックス画像データ５２４が小さなサイズで表示される。 FIG. 5B is a diagram illustrating a screen display example of the
次に、図６−１を参照しながら、図４の４０２に示す経路をユーザが携帯端末１０を翳しながら歩いている場合におけるＡＲタグ表示システムの動作について説明する。図６−１（ａ）に示すように、ユーザが携帯端末１０を翳しながら雷門から雷おこし本舗付近の地点Ｂまで歩いてくると、ユーザは携帯端末１０の画面上で位置（ｘ2，ｙ2）の雷おこし本舗を見ており、且つ、ユーザは雷おこし本舗の位置（ｘ2，ｙ2）から見て２７１°〜３６０°の方位範囲に位置する。表示タグ解析部２０１は、携帯端末１０が地点Ｂに位置するときに受信する携帯端末１０の位置及び姿勢に基づいて、これらの事項を解析し、タグ管理テーブル２０３から該当するレコードの評価点を取得する。Next, the operation of the AR tag display system when the user is walking on the route indicated by 402 in FIG. 4 while holding the
図６−１（ｂ）は、タグ管理テーブル２０３の関連箇所を抜粋した図である。上述したように、ユーザは携帯端末１０の画面上で位置（ｘ2，ｙ2）の雷おこし本舗を見ており、且つ、ユーザは雷おこし本舗（位置（ｘ2，ｙ2））から見て２７１°〜３６０°の方位範囲に位置する。そのため、表示タグ解析部２０１は、タグ管理テーブル２０３からレコード６０１の評価点＋２５を取得する。FIG. 6B is an extracted diagram of relevant portions of the tag management table 203. As described above, the user is looking at the lightning occurrence main office at the position (x2 , y2 ) on the screen of the
表示タグ解析部２０１は、レコード６０１から取得した評価点＋２５、タグＩＤ“００２”に対応するコンピュータグラフィックス画像データ及び位置（ｘ2，ｙ2）をタグ表示指示部２０２に対して出力する。タグ表示指示部２０２は、タグＩＤ“００２”に対応するコンピュータグラフィックス画像データ、「小サイズ表示」を示す表示態様及び位置（ｘ2，ｙ2）を携帯端末１０に対して送信する。これにより、携帯端末１０の提示部１０３は、雷おこし本舗のタグのコンピュータグラフィックス画像データを、「小サイズ表示」の表示態様で、現実空間の位置（ｘ2，ｙ2）に合成表示する。即ち、ユーザが携帯端末１０を翳しながら雷門から雷おこし本舗付近の地点Ｂに到着すると、携帯端末１０の画面上において、雷おこし本舗のタグのコンピュータグラフィックス画像データが小さなサイズで表示されることになる。The display
図６−２（ａ）は、ユーザが携帯端末１０を翳しながら雷門から雷おこし本舗付近の地点Ｂに到着した場合における携帯端末１０の画面表示例を示す図である。図６−２（ａ）に示すように、携帯端末１０の画面上では、現実空間における雷おこし本舗の映像６２１の近傍に、雷おこし本舗のタグのコンピュータグラフィックス画像データ６２２が小さなサイズで表示される。 FIG. 6A is a diagram illustrating a screen display example of the
次に、同じく図６−１を参照しながら、図４の４０３に示す経路をユーザが携帯端末１０を翳しながら歩いている場合におけるＡＲタグ表示システムの動作について説明する。図６−１（ａ）に示すように、ユーザが携帯端末１０を翳しながら浅草寺から雷おこし本舗付近の地点Ｃまで歩いてくると、ユーザは携帯端末１０の画面上で位置（ｘ2，ｙ2）の雷おこし本舗を見ており、且つ、ユーザは雷おこし本舗の位置（ｘ2，ｙ2）から見て１８１°〜２７０°の方位範囲に位置する。表示タグ解析部２０１は、携帯端末１０が地点Ｃに位置するときに受信する携帯端末１０の位置及び姿勢に基づいて、これらの事項を解析し、タグ解析テーブル２０３から該当するレコードの評価点を取得する。従って、表示タグ解析部２０１は、タグ管理テーブル２０３からレコード６０２の評価点＋８０を取得する。Next, the operation of the AR tag display system when the user is walking on the route indicated by 403 in FIG. 4 while holding the
表示タグ解析部２０１は、レコード６０２から参照した評価点＋８０、タグＩＤ“００２”に対応するコンピュータグラフィックス画像データ及び位置（ｘ2，ｙ2）をタグ表示指示部２０２に対して出力する。タグ表示指示部２０２は、タグＩＤ“００２”に対応するコンピュータグラフィックス画像データ、「大サイズ表示」を示す表示態様及び位置（ｘ2，ｙ2）を携帯端末１０に対して送信する。これにより、携帯端末１０の提示部１０３は、タグＩＤ“００２”に対応する雷おこし本舗のタグのコンピュータグラフィックス画像データを、「大サイズ表示」の表示態様で、現実空間の位置（ｘ2，ｙ2）に合成表示する。即ち、ユーザが携帯端末１０を翳しながら浅草寺から雷おこし本舗付近の地点Ｃに到着すると、携帯端末１０の画面上において、雷おこし本舗のタグのコンピュータグラフィックス画像データが大きなサイズで表示されることになる。The display
図６−２（ｂ）は、ユーザが携帯端末１０を翳しながら浅草寺から雷おこし本舗付近の地点Ｃに到着した場合における携帯端末１０の画面表示例を示す図である。図６−２（ｂ）に示すように、携帯端末１０の画面上では、現実空間の雷おこし本舗の映像６２３の近傍に、雷おこし本舗のタグのコンピュータグラフィックス画像データ６２４が大きなサイズで表示される。 FIG. 6B is a diagram illustrating a screen display example of the
図７は、ユーザが携帯端末１０の画面上に表示されているタグをタップした場合に起動する、評価点の設定処理を示すフローチャートである。ここで説明するユーザとは、上述した説明におけるユーザとは必ずしも一致しない。即ち、上述した説明におけるユーザは単に携帯端末１０に表示されるタグを頼りにしながら街中を歩く観光者であるのに対し、図７の説明で登場するユーザとは、このような観光者に対して、各オブジェクトについてタグを表示するのに有用であると考える方位範囲を推奨する者である。 FIG. 7 is a flowchart illustrating evaluation point setting processing that is started when the user taps a tag displayed on the screen of the
以下、図７を用いて、評価点の設定処理について説明する。ユーザは、携帯端末１０を翳しながら歩いている際に、画面上に表示されるタグのうち、表示が有用であったと考えるタグをタップする。タグがタップされると、携帯端末１０の評価受付部１０２は、タップされた回数を示す回数情報と、タップされたタグのタグＩＤと、タップされた時点において位置姿勢検知部１０１が検知した携帯端末１０の位置及び姿勢とをタグ管理サーバ２０に対して送信する（ステップＳ７０１）。 Hereinafter, the evaluation point setting process will be described with reference to FIG. The user taps a tag that is considered to be useful among tags displayed on the screen while walking while holding the
タグ管理サーバ２０は、携帯端末１０から、回数情報とタグＩＤと携帯端末１０の位置及び姿勢とを受信する（ステップＳ７０２）。タグ管理サーバ２０は、携帯端末１０の位置及び姿勢に基づいて、当該タグＩＤのオブジェクトから見て携帯端末１０がどの方位範囲に位置するかを解析し、当該タグＩＤ及び解析した方位範囲に該当するレコードの評価点を、回数情報で示される回数分のポイントを加算する（ステップＳ７０３）。 The
ユーザは、自分にとって有用であると思ったタグに対してはタップ操作を行うことにより、その時点における当該タグに対応するオブジェクトから見た携帯端末１０の属する方位範囲の評価点を加算する。図４の例では、４０１の経路は雷門を初めて通過する経路であるため、地点Ａでは雷門のタグは有用なものとして当該タグをタップする。これにより、図５−１（ｂ）の５０１のレコードに示すように、評価点が高く設定されることになる。また、図４の４０２の経路は雷おこし本舗の近くを通過するが、雷おこし本舗は浅草寺にお参りした後に立ち寄るオブジェクトであるため、ユーザは地点Ｂでは雷おこし本舗のタグをタップしない。従って、図６−１（ｂ）の６０１のレコードに示すように、評価点は低いままとなる。 The user performs a tap operation on a tag that is thought to be useful to the user, and thereby adds the evaluation score of the azimuth range to which the
また、図４の４０２の経路は浅草寺にお参りした後に雷おこし本舗の近くを通過するものであるが、このとき、雷おこし本舗のタグは有用なものとなるので、地点Ｃでは雷おこし本舗のタグをタップする。これにより、図５−１（ｂ）の５０２のレコードに示すように、評価点が高く設定されることになる。また、図４の４０４の経路は雷おこし本舗を通過して雷門に向かう経路であるが、このとき、雷門は２度目の通過であるため、地点Ｄでは雷門のタグをタップしない。従って、図６−１（ｂ）のレコードに示すように、評価点は低いままとなる。 In addition, the
以上の評価点の設定処理を行うことにより、各オブジェクトから見て有用な方位範囲と考えられる地点では当該オブジェクトのタグを目立つように表示し、そうでないと考えられる方位範囲の地点では当該オブジェクトのタグは目立たないように表示することが可能となる。即ち、本実施形態によれば、オブジェクトから見て有用な方位範囲の地点であるかそうでない方位範囲の地点であるかに応じて、当該オブジェクトのタグの見せ方を変えることができる。 By performing the above evaluation point setting process, the tag of the object is displayed prominently at a point considered to be a useful azimuth range when viewed from each object, and at a point of the azimuth range considered to be not, the object's tag is displayed. Tags can be displayed inconspicuously. That is, according to the present embodiment, it is possible to change the way the tag of the object is displayed depending on whether the point is in a useful azimuth range as viewed from the object or not.
なお、本実施形態では、タップされた回数分、評価値のポイントを加算することについてのみ説明したが、ユーザが所定の操作を行うことにより、評価値のポイントを減算するようにしてもよい。これにより、例えば子供等には案内したくないようなオブジェクトについては、タグの表示を消極的な方向に制御することが可能となる。 In the present embodiment, only the evaluation value points are added for the number of times tapped. However, the evaluation value points may be subtracted by the user performing a predetermined operation. This makes it possible to control the tag display in a negative direction for an object that is not desired to be guided to children, for example.
また、有用なタグをタップするのではなく、ユーザが携帯端末１０を操作して、そのタグを含む画像データを撮影し、タグ管理サーバ２０に対して送信するようにしてもよい。タグ管理サーバ２０は、携帯端末１０から送信された画像データを解析することにより、携帯端末１０が翳されているオブジェクトと、当該オブジェクトから見てどの方位範囲に携帯端末１０が位置するかを判定し、タグ管理テーブル２０３の該当するレコードの評価値を更新するようにしてもよい。この場合、タグ管理サーバ２０は、画像データ解析のために必要な画像マッチング用の画像データを予め準備しており、携帯端末１０から受信した画像データと画像マッチング用の画像データとを照合することにより、上述した解析が行われる。 Instead of tapping a useful tag, the user may operate the
次に、本発明の第２の実施形態について説明する。本実施形態は、ユーザがお気に入りの散歩道を設定し、設定された散歩道に従って評価点を更新するものである。なお、ここでの散歩道の設定では、携帯端末１０の画面上に表示される地図情報を、オブジェクト間を結ぶようにユーザが指でなぞることにより（例えば、浅草駅→雷門→浅草寺→雷おこし本舗→浅草寺）、散歩道の経路及び進行方向を設定する。散歩道の設定方法は、その経路及び進行方向が設定できればよいため、上記の方法に限定されない。例えば、携帯端末１０を所持するユーザが実際に歩いた経路及び進行方向をＧＰＳ（global positioning system）で検知し、その検知結果を散歩道として設定してもよい。また、本実施形態に係るＡＲタグ表示システムの構成は、図１に示した構成と同様であるため、以下の説明においても図１の符号を用いるものとする。 Next, a second embodiment of the present invention will be described. In the present embodiment, a user sets a favorite walking path, and the evaluation score is updated according to the set walking path. In the setting of the walking path here, the user traces the map information displayed on the screen of the
携帯端末１０は、設定された散歩道をタグ管理サーバ２０に対して送信する。タグ管理サーバ２０は、受信した散歩道から、各オブジェクトについてユーザにとって有用であると推定される方位範囲には評価値を加算し、そうではないと推定される方位範囲には評価値を加算しない。 The
ユーザにとって有用であると推定される方位範囲とは、ユーザの経路が属する方位範囲であって、且つ、その方位範囲がユーザの進行方向とは逆の方位を含む方位範囲である。即ち、ユーザによって有用であると推定される方位範囲とは、ユーザがオブジェクトに対して近付く動きをする方位範囲である。反対に、ユーザにとって有用でないと推定される方位範囲とは、ユーザの経路が属しない方位範囲であるか、或いは、ユーザの経路が属する方位範囲であるが、その方位範囲がユーザの進行方向とは逆の方位を含まない方位範囲である。即ち、ユーザにとって有用でないと推定される方位範囲とは、ユーザがオブジェクトに対して近付く動きをしない方位範囲である。但し、同じオブジェクトを２回目以降に通過する場合には、２回目以降の通過時にはタグの表示価値は低く、２回目以降の通過時に関する有用な方位範囲の推定は行わない。 The azimuth range estimated to be useful to the user is an azimuth range to which the user's route belongs, and the azimuth range includes an azimuth opposite to the traveling direction of the user. That is, the azimuth range estimated to be useful by the user is an azimuth range in which the user moves toward the object. On the other hand, the azimuth range estimated not to be useful to the user is an azimuth range to which the user's route does not belong, or an azimuth range to which the user's route belongs. Is an azimuth range that does not include the opposite azimuth. That is, the azimuth range estimated to be unusable for the user is an azimuth range in which the user does not move toward the object. However, when the same object passes after the second time, the display value of the tag is low at the second time and after, and a useful azimuth range for the second time and after is not estimated.
図８は、ユーザによって設定された散歩道に基づいて、タグ管理テーブル２０３の評価値を更新する処理を具体的に説明するための図である。上述した方位範囲の定義によれば、浅草駅から雷門へ向かう際の地点Ａは、雷門から見て１°〜９０°の方位範囲に位置し、且つ、この方位範囲はユーザの進行方向の逆の方位を含むため、雷門から見て１°〜９０°の方位範囲は、ユーザにとって有用な方位範囲となる。 FIG. 8 is a diagram for specifically explaining the process of updating the evaluation value of the tag management table 203 based on the promenade set by the user. According to the definition of the azimuth range described above, the point A when heading from Asakusa Station to Kaminarimon is located in the azimuth range of 1 ° to 90 ° when viewed from Kaminarimon, and this azimuth range is the reverse of the user's traveling direction. Therefore, an azimuth range of 1 ° to 90 ° viewed from Kaminarimon is a useful azimuth range for the user.
また、雷門から浅草寺に向かう際の地点Ｂは、雷門から見て１８１°〜２７０°の方位範囲に位置するが、この方位範囲はユーザの進行方向の逆の方位を含まない。従って、雷門から見て１８１°〜２７０°の方位範囲は、ユーザにとって有用な方位範囲ではない。また、地点Ｂは、雷おこし本舗から見て２７１°〜３６０°の方位範囲に位置するが、この方位範囲はユーザの進行方向の逆の方位を含まない。従って、雷おこし本舗から見て２７１°〜３６０°の方位範囲も、ユーザにとって有用な方位範囲ではない。 Further, the point B when heading from Kaminarimon to Sensoji Temple is located in the azimuth range of 181 ° to 270 ° as seen from Kaminarimon, but this azimuth range does not include the opposite direction of the user's traveling direction. Therefore, the azimuth range of 181 ° to 270 ° as viewed from Kaminarimon is not a useful azimuth range for the user. Further, the point B is located in the azimuth range of 271 ° to 360 ° as viewed from the lightning occurrence main office, but this azimuth range does not include the opposite direction of the user's traveling direction. Therefore, the azimuth range of 271 ° to 360 ° as viewed from the lightning wake main office is not a useful azimuth range for the user.
浅草寺から雷おこし本舗に向かう際の地点Ｃは、雷おこし本舗から見て１８１°〜２７０°の方位範囲に位置し、且つ、この方位範囲はユーザの進行方向の逆の方位を含むため、雷おこし本舗から見て１８１°〜２７０°の方位範囲は、ユーザにとって有用な方位範囲となる。 The point C when heading for the thunderstorm main office from Senso-ji Temple is located in the azimuth range of 181 ° to 270 ° when viewed from the thunderstorm main office, and this azimuth range includes a direction opposite to the direction of travel of the user. The azimuth range of 181 ° to 270 ° as seen is a azimuth range useful for the user.
また、雷おこし本舗から雷門に向かう際の地点Ｄは、雷門は２回目以降の通過となるため、有用な方位範囲の推定は行われない。従って、図８において、雷門、雷おこし本舗の各オブジェクトについて斜線で示す方位範囲について評価値の加算が行われる。 In addition, since the Kaminarimon is the second or later passage at the point D when heading to Kaminarimon from Kaminashikoshi Honpo, a useful azimuth range is not estimated. Therefore, in FIG. 8, the evaluation values are added for the azimuth ranges indicated by the oblique lines with respect to the objects of Kaminarimon and Thunderstorm Honpo.
以上により、ユーザのお気に入りの散歩道がタグ管理テーブル２０３における評価値に反映される。これにより、他のユーザが上記散歩道を携帯端末１０を翳しながら歩いた場合、浅草駅から雷門に向かう際の地点Ａでは雷門のタグが大きく表示される傾向となる。また、浅草寺から雷おこし本舗に向かう際の地点Ｃでも雷おこし本舗のタグは大きく表示される傾向となる。このように本実施形態によれば、或るユーザが設定したお気に入りの散歩道から有用な方位範囲を自動的に推定し、その推定結果を他のユーザが同じような散歩道を歩いた場合のタグ表示に反映させている。 As described above, the user's favorite walking path is reflected in the evaluation value in the tag management table 203. Thereby, when another user walks while walking the
次に、本発明の第３の実施形態について説明する。図９は、本発明の第３の実施形態に係るＡＲタグ表示システムの構成を概略的に示す図である。図９に示すように、本実施形態に係るＡＲタグ表示システムは、ユーザが所持するカメラ機能付き携帯端末１１０と、現実空間の映像に合成表示されるタグを管理するためのタグ管理サーバ１２０とで構成される。なお、図９においては、説明の簡単のため、携帯端末１１０、タグ管理サーバ１２０をそれぞれ一つずつ示しているが、実際にはそれぞれが任意数あって構わない。また、携帯端末１１０、タグ管理サーバ１２０のハードウェア構成は図２−１、図２−２に示した構成と同様である。 Next, a third embodiment of the present invention will be described. FIG. 9 is a diagram schematically showing a configuration of an AR tag display system according to the third embodiment of the present invention. As shown in FIG. 9, the AR tag display system according to the present embodiment includes a
本実施形態における携帯端末１１０は、位置姿勢検知部１１０１及び提示部１１０３を備える。位置姿勢検知部１１０１は図１の位置姿勢検知部１０１と同じ構成であり、提示部１１０３は図１の提示部１０３と同じ構成である。 The
本実施形態におけるタグ管理サーバ１２０は、表示タグ解析部１２０１、広告料金算出部１２０２及びタグ管理テーブル１２０３を備える。タグ管理テーブル１２０３には、現実空間における位置、タグＩＤ、方位範囲、広告提供主ＩＤ、広告料金（円／日）、広告期間が対応付けて管理されている。例えば、現実空間における位置（ｘ3,ｙ3）に関しては、タグＩＤ“００３”とタグＩＤ“００４”とが対応付けられている。即ち、位置（ｘ3,ｙ3）にはタグＩＤ“００３”とタグＩＤ“００４”との２つのタグが存在することが定義されている。The
タグＩＤ“００３”には、方位範囲１°〜１８０°が対応付けられている。これは、携帯端末１１０が位置（ｘ3,ｙ3）から見て方位範囲１°〜１８０°に位置し、且つ、携帯端末１１０が位置（ｘ3,ｙ3）側に翳されている場合、タグＩＤ“００３”のタグのコンピュータグラフィックス画像データが携帯端末１１０上で表示されることを意味する。また、タグＩＤ“００４”には、方位範囲１８１°〜３６０°が対応付けられている。これは、携帯端末１１０が位置（ｘ3,ｙ3）から見て方位範囲１８１°〜３６０°に位置し、且つ、携帯端末１１０が位置（ｘ3,ｙ3）側に翳されている場合、タグＩＤ“００４”のタグのコンピュータグラフィックス画像データが携帯端末１１０上で表示されることを意味する。The tag ID “003” is associated with an azimuth range of 1 ° to 180 °. This is the case where the
例えば、携帯端末１１０が位置（ｘ3,ｙ3）から見て方位範囲１°〜１８０°に位置し、携帯端末１１０が位置（ｘ3,ｙ3）側に翳されているかどうかの判断は、携帯端末１１０の位置及び姿勢に基づいて行われる。即ち、携帯端末１１０の位置が位置（ｘ3,ｙ3）から見て方位範囲１°〜１８０°に属するかどうかが判定され、また、携帯端末１１０が位置（ｘ3,ｙ3）側に翳されているかどうかは、携帯端末１１０の位置及び姿勢から携帯端末１１０のカメラが現実空間の位置（ｘ3,ｙ3）側を向いているかどうかを判定することによって識別される。For example, whether or not the
表示タグ解析部１２０１は、携帯端末１１０の位置及び姿勢を携帯端末１１０から受信すると、携帯端末１１０がどの位置から見てどの方位範囲に位置し、携帯端末１１０が当該位置側に翳されているかを解析し、解析結果に合致するレコードをタグ管理テーブル１２０３から抽出する。例えば、表示タグ解析部１２０１は、携帯端末１１０が位置（ｘ3，ｙ3）から見て１°〜１８０°の方位範囲に位置し、且つ、携帯端末１１０が位置（ｘ3，ｙ3）に対して翳されていると解析した場合、タグ管理テーブル１２０３の最上段のレコードを抽出する。レコードを抽出すると、表示タグ解析部１２０１は、当該レコードにおけるタグＩＤ“００３”のタグのコンピュータグラフィックス画像データを携帯端末１１０に対して送信する。携帯端末１１０は、タグＩＤ“００３”のタグのコンピュータグラフィックス画像データを、現実空間の位置（ｘ3，ｙ3）に合成表示する。これにより、ユーザは、携帯端末１０の画面上においてタグＩＤ“００３”のタグを閲覧することができる。When the display
また、タグＩＤ“００３”には、広告提供主ＩＤ“ａａａ”が対応付けられており、タグＩＤ“００４”には、広告提供主ＩＤ“ｂｂｂ”が対応付けられている。これは、タグＩＤ“００３”のタグは、広告提供主ＩＤ“ａａａ”の広告提供主による広告であり、タグＩＤ“００４”のタグは、広告提供主ＩＤ“ｂｂｂ”の広告提供主による広告であることを意味している。即ち、タグＩＤ“００３”のタグ及びタグＩＤ“００４”のタグは、携帯端末１１０の画面上で現実空間に合成表示されることによって、それを参照するユーザに対する広告としての機能を果たす。 The tag ID “003” is associated with the advertisement provider ID “aaa”, and the tag ID “004” is associated with the advertisement provider ID “bbb”. The tag with the tag ID “003” is an advertisement by the advertisement provider with the advertisement provider ID “aaa”, and the tag with the tag ID “004” is an advertisement by the advertisement provider with the advertisement provider ID “bbb”. It means that. That is, the tag with the tag ID “003” and the tag with the tag ID “004” are combined and displayed in the real space on the screen of the
また、タグＩＤ“００３”には、広告料金（円／日）“１０，０００”が対応付けられており、タグＩＤ“００４”には、広告料金（円／日）“５，０００”が対応付けられている。これは、タグＩＤ“００３”のタグの１日当たりの広告料金が１０，０００円であり、タグＩＤ“００４”のタグの１日当たりの広告料金が５，０００円であることを意味する。 The tag ID “003” is associated with the advertisement fee (yen / day) “10,000”, and the tag ID “004” is associated with the advertisement fee (yen / day) “5,000”. It is associated. This means that the advertising fee per day for the tag with the tag ID “003” is 10,000 yen, and the advertising fee per day for the tag with the tag ID “004” is 5,000 yen.
また、タグＩＤ“００３”には、広告期間“Ｈ２２，８，１〜”が対応付けられており、タグＩＤ“００４”には、広告期間“Ｈ２２，８，５〜”が対応付けられている。これは、タグＩＤ“００３”のタグを広告として掲載（合成表示）している期間が平成２０年８月１日から現在に至るまでであることを意味し、タグＩＤ“００４”のタグを広告として形成（合成表示）している期間が平成２０年８月５日から現在に至るまでであることを意味する。 The tag ID “003” is associated with the advertisement period “H22, 8, 1”, and the tag ID “004” is associated with the advertisement period “H22, 8, 5”. Yes. This means that the tag ID “003” tag has been posted as an advertisement (synthesized display) from August 1, 2008 to the present, and the tag with the tag ID “004” It means that the period formed (synthesized and displayed) as an advertisement is from August 5, 2008 to the present.
広告料金算出部１２０２は、タグ毎或いは広告提供主毎に広告料金を算出する。タグ毎に広告料金を算出する場合、広告料金算出部１２０２は、タグ管理テーブル１２０３のレコード毎に広告料金（円／日）と広告期間とを乗算し、タグＩＤをキーにして集計する。また、広告提供主毎に広告料金を算出する場合、広告料金算出部１２０２は、タグ管理テーブル１２０３のレコード毎に広告料金（円／日）と広告期間とを乗算し、広告提供主ＩＤをキーにして集計する。 The advertisement
図１０は、本発明の第３の実施形態に係るＡＲ表示システムの動作を示すフローチャートである。先ず携帯端末１１０は、携帯端末１１０の位置及び姿勢を検知する（ステップＳ１００１）。次に携帯端末１１０は、検知した位置及び姿勢をタグ管理サーバ１２０に対して送信する（ステップＳ１００２）。 FIG. 10 is a flowchart showing the operation of the AR display system according to the third embodiment of the present invention. First, the
タグ管理サーバ１２０は、携帯端末１１０から位置及び姿勢を受信する（ステップＳ１００３）。次にタグ管理サーバ１２０は、携帯端末１１０の位置及び姿勢に基づいて、携帯端末１１０がどの位置に対して翳され、また、携帯端末１１０が当該位置から見てどの方位範囲に位置するかを解析する（ステップＳ１００４）。次にタグ管理サーバ１２０は、ステップＳ１００４の解析結果に合致するレコードをタグ管理テーブル１２０３から抽出する（ステップＳ１００５）。次にタグ管理サーバ１２０は、抽出した各レコードのタグＩＤのタグのコンピュータグラフィックス画像データ及び位置を携帯端末１１０に対して送信する（ステップＳ１００６）。 The
携帯端末１１０は、タグ管理サーバ１２０からタグのコンピュータグラフィックス画像データ及び位置を受信する（ステップＳ１００７）。次に携帯端末１１０は、タグのコンピュータグラフィックス画像データを現実空間の当該位置に合成表示する（ステップＳ１００８）。 The
図１１は、図１０のステップＳ１００４〜Ｓ１００８を具体的に説明するための図である。図１１において、携帯端末１１０が地点Ｇに位置し、位置（ｘ3，ｙ3）に向けて翳されている場合、タグ管理サーバ１２０の表示タグ解析部１２０１は、携帯端末１１０の位置及び姿勢から、携帯端末１１０が位置（ｘ3，ｙ3）に翳され、且つ、携帯端末１１０が位置（ｘ3，ｙ3）から見て１°〜１８０°の方位範囲に位置すると判定する。従って、表示タグ解析部１２０１は、タグ管理テーブル１２０３の最上段のレコードを抽出し、タグＩＤ“００３”のタグのコンピュータグラフィックス画像データ及び位置（ｘ3，ｙ3）を携帯端末１１０に対して送信する。これにより、携帯端末１１０は、タグＩＤ“００３”のタグのコンピュータグラフィックス画像データを現実空間における位置（ｘ3，ｙ3）に合成表示する。FIG. 11 is a diagram for specifically explaining steps S1004 to S1008 of FIG. In FIG. 11, when the
一方、携帯端末１１０が地点Ｈに位置し、位置（ｘ3，ｙ3）に向けて翳されている場合、タグ管理サーバ１２０の表示タグ解析部１２０１は、携帯端末１１０の位置及び姿勢から、携帯端末１１０が位置（ｘ3，ｙ3）に翳され、且つ、携帯端末１１０が位置（ｘ3，ｙ3）から見て１８１°〜３６０°の方位範囲に位置すると判定する。従って、表示タグ解析部１２０１は、タグ管理テーブル１２０３の上から２段目のレコードを抽出し、タグＩＤ“００４”のタグのコンピュータグラフィックス画像データ及び位置（ｘ3，ｙ3）を携帯端末１１０に対して送信する。これにより、携帯端末１１０は、タグＩＤ“００４”のタグのコンピュータグラフィックス画像データを現実空間における位置（ｘ3，ｙ3）に合成表示する。On the other hand, when the
このように本実施形態においては、同じ位置に対して携帯端末１１０が翳されていても、当該位置から見てどの方位範囲から携帯端末１１０が翳されているかに応じて異なるタグを当該位置に合成表示させている。例えば、タグの位置から見て交通量が多い方位範囲から翳された携帯端末１１０には広告料金の高いタグを提示し、交通量の少ない方位範囲から翳された携帯端末１１０には広告料金の低いタグを提示するようにしてもよい。これにより、方位によって生じる広告効果を考慮した広告を提供することができる。 As described above, in the present embodiment, even if the
次に、本発明の第４の実施形態について説明する。図１２は、本発明の第４の実施形態において使用する三次元タグの一例を説明するための図である。本実施形態において、図１２に示す三次元タグは現実空間における（ｘ5，ｙ5）の位置に合成表示される。図１２（ａ）は、初期状態における三次元タグの状態を側面から示しており、図１２（ｂ）は、初期状態における三次元タグの状態を上方から示している。図１２に示す例の三次元タグは円柱形状であり、側面に広告ａのタグ、広告ｂのタグ、広告ｃのタグ、広告ｄのタグが配置されている。即ち、図１２（ｂ）に示すように、三次元タグの位置（ｘ5，ｙ5）から見て１°〜９０°には広告ａのタグが配置され、（ｘ5，ｙ5）から見て９１°〜１８０°には広告ｂのタグが配置され、（ｘ5，ｙ5）から見て１８１°〜２７０°には広告ｃのタグが配置され、（ｘ5，ｙ5）から見て２７１°〜３６０°には広告ｄのタグが配置されている。Next, a fourth embodiment of the present invention will be described. FIG. 12 is a diagram for explaining an example of a three-dimensional tag used in the fourth embodiment of the present invention. In the present embodiment, the three-dimensional tag shown in FIG. 12 is synthesized and displayed at the position (x5 , y5 ) in the real space. FIG. 12A shows the state of the three-dimensional tag in the initial state from the side, and FIG. 12B shows the state of the three-dimensional tag in the initial state from above. The three-dimensional tag of the example shown in FIG. 12 has a cylindrical shape, and the tag of the advertisement a, the tag of the advertisement b, the tag of the advertisement c, and the tag of the advertisement d are arranged on the side surface. That is, as shown in FIG. 12B, the tag of the advertisement a is arranged at 1 ° to 90 ° when viewed from the position (x5 , y5 ) of the three-dimensional tag, and from (x5 , y5 ) found in it 91 ° to 180 ° is arranged tag ad b, from the 181 ° to 270 ° as viewed from the (x5, y5) is arranged tag ad c, (x5, y5) A tag of the advertisement d is arranged at 271 ° to 360 ° as viewed.
三次元タグは、ユーザの１回のタップ操作毎に、位置（ｘ5，ｙ5）を軸に９０°回転する。初期状態においては、広告ａのタグが携帯端末１１０の画面の正面を向いており、ユーザのタップ操作の度に三次元タグが９０°ずつ回転し、広告ｂのタグ→広告ｃのタグ→広告ｄ→広告ａの順で画面の正面を向くようにしている。The three-dimensional tag rotates 90 ° about the position (x5 , y5 ) for each tap operation of the user. In an initial state, the tag of the advertisement a faces the front of the screen of the
図１３は、本発明の第４の実施形態に係るＡＲタグ表示システムの構成を概略的に示す図である。図１３に示すように、本実施形態に係るＡＲタグ表示システムは、ユーザが所持するカメラ機能付き携帯端末２１０と、現実空間の映像に合成表示されるタグを管理するためのタグ管理サーバ２２０とで構成される。なお、図１３においては、説明の簡単のため、携帯端末２１０、タグ管理サーバ２２０をそれぞれ一つずつ示しているが、実際にはそれぞれが任意数あって構わない。また、携帯端末２１０、タグ管理サーバ２２０のハードウェア構成は図２−１、図２−２に示した構成と同様である。 FIG. 13 is a diagram schematically showing the configuration of an AR tag display system according to the fourth embodiment of the present invention. As shown in FIG. 13, the AR tag display system according to the present embodiment includes a
本実施形態における携帯端末２１０は、位置姿勢検知部２１０１及び提示部２１０３を備える。位置姿勢検知部２１０１は図１の位置姿勢検知部１０１と同じ構成であり、提示部２１０３は図１の提示部１０３と同じ構成である。 The
本実施形態におけるタグ管理サーバ２２０は、表示タグ解析部２２０１、広告料金算出部２２０２及びタグ管理テーブル２２０３を備える。タグ管理テーブル２２０３には、現実空間における位置、タグＩＤ、方位範囲、広告提供主ＩＤ、広告料金（円／回数）、参照回数が対応付けられて管理されている。現実空間における位置（ｘ5，ｙ5）に関しては、タグＩＤ“００７”、タグＩＤ“００８”、タグＩＤ“００９”、タグＩＤ“０１０”が対応付けられている。即ち、位置（ｘ5，ｙ5）には、タグＩＤ“００７”のタグ、タグＩＤ“００８”のタグ、タグＩＤ“００９”のタグ、タグＩＤ“０１０”のタグの４つのタグが合成表示されることが定義されている。つまり、図１２に示すように、位置（ｘ5，ｙ5）において４つのタグ（広告ａのタグ、広告ｂのタグ、広告ｃのタグ、広告ｄのタグ）が配置されていることを意味している。The
タグ管理テーブル２２０３においては、第３の実施形態と同様に、位置、タグＩＤ、方位範囲、広告提供主ＩＤ、広告料金（円／回数）が管理されている。これらを管理する意義は第３の実施形態と同様である。また、タグ管理テーブル２２０３においては参照回数が管理されている。参照回数は、該当するタグが画面の正面を向くように表示され、ユーザによって閲覧できるようにした回数である。即ち、ユーザのタップ操作によって各タグが順次画面の正面を向くように表示される度に、夫々のタグの参照回数が加算されていく。 In the tag management table 2203, as in the third embodiment, the position, tag ID, azimuth range, advertisement provider ID, and advertisement fee (yen / number of times) are managed. The significance of managing these is the same as in the third embodiment. In the tag management table 2203, the number of references is managed. The number of times of reference is the number of times that the corresponding tag is displayed facing the front of the screen and can be viewed by the user. That is, each time the tags are displayed so as to face the front of the screen sequentially by the user's tap operation, the reference count of each tag is added.
広告料金算出部２２０２は、所定の期間毎、又は管理者の操作に応じて、タグ毎或いは広告提供主毎に広告料金を算出する。タグ毎に広告料金を算出する場合、広告料金算出部２２０２は、タグ管理テーブル２２０３のレコード毎に広告料金（円／回数）と参照回数とを乗算し、タグＩＤをキーにして集計する。また、広告提供主毎に広告料金を算出する場合、広告料金算出部１２０２は、タグ管理テーブル１２０３のレコード毎に広告料金（円／回数）と参照回数とを乗算し、広告提供主ＩＤをキーにして集計する。 The advertisement
上述した実施形態においては、タグ管理サーバが携帯端末の位置及び姿勢に基づいて合成表示させるタグを解析していたが、この解析処理を携帯端末側に実行させるようにしてもよい。即ち、携帯端末側に、上述した表示タグ解析部、タグ表示指示部、タグ管理テーブル及び表示態様管理テーブルを備え、携帯端末が自らの位置及び姿勢に基づいて、合成表示させるタグやその表示サイズを判断すればよい。さらに、携帯端末の位置及び姿勢だけで合成表示させるタグを判定するのではなく、各オブジェクトから携帯端末までの距離に所定の閾値を設け、携帯端末からその閾値より遠い距離のオブジェクトのタグは表示させないようにしてもよい。携帯端末からあまりにも遠い位置にあるオブジェクトのタグは表示させても意味がないので、この閾値を設けることにより不要なタグを振り分けることができる。 In the embodiment described above, the tag management server analyzes the tag to be synthesized and displayed based on the position and orientation of the mobile terminal. However, the analysis process may be executed on the mobile terminal side. That is, the portable terminal is provided with the above-described display tag analysis unit, tag display instruction unit, tag management table, and display mode management table, and the tag that the portable terminal displays in combination based on its own position and orientation and its display size Can be judged. Furthermore, instead of determining a tag to be synthesized and displayed based only on the position and orientation of the mobile terminal, a predetermined threshold is set for the distance from each object to the mobile terminal, and tags for objects at a distance farther than the threshold from the mobile terminal are displayed. It may not be allowed to. Since it is meaningless to display the tag of an object that is too far away from the mobile terminal, unnecessary tags can be assigned by providing this threshold value.
上述した実施形態においては、説明の分かり易さの便宜上、位置姿勢検知部は方位角を扱っていたが、方位角だけでなく仰角を加えても良い。例えば、地磁気センサーやジャイロセンサーや画像解析等或いはそれら組み合わせによって仰角に関する情報を取得し、位置座標や方位角や仰角によって、タグの表示を制御することができる。これにより、角度によって見え難さが変わる場合を考慮した表示制御が可能になる。 In the embodiment described above, the position / orientation detection unit handles the azimuth for the sake of convenience of explanation. However, not only the azimuth but also an elevation angle may be added. For example, information on the elevation angle can be acquired by a geomagnetic sensor, a gyro sensor, image analysis, or a combination thereof, and the display of the tag can be controlled by the position coordinates, the azimuth angle, and the elevation angle. As a result, it is possible to perform display control in consideration of the case where visibility is changed depending on the angle.
１０、１１０、２１０：携帯端末、２０、１２０、２２０：タグ管理サーバ、１０１、１１０１、２１０１：位置姿勢検知部、１０２：評価受付部、１０３、１１０３、２１０３：提示部、２０１、１２０１、２２０１：表示タグ解析部、２０２：タグ表示指示部、２０３、１２０３、２２０３：タグ管理テーブル、２０４：表示態様管理テーブル、１２０２、２２０２：広告料金算出部 10, 110, 210: mobile terminal, 20, 120, 220: tag management server, 101, 1101, 2101: position and orientation detection unit, 102: evaluation reception unit, 103, 1103, 2103: presentation unit, 201, 1201, 2011 : Display tag analysis unit, 202: tag display instruction unit, 203, 1203, 2203: tag management table, 204: display mode management table, 1202, 2202: advertisement fee calculation unit
Claims (10)
Translated fromJapanese前記拡張現実感提示装置の位置及び姿勢を検知する検知手段と、
前記検知手段による検知結果に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する第１の解析手段と、
前記第１の解析手段による解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替える制御手段と、
前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見た方位範囲毎に評価情報を管理する第２の管理手段と、
経路及び進行方向を設定する設定手段と、
前記設定手段により設定された経路及び進行方向に基づいて、前記コンピュータグラフィックス画像データに対応するオブジェクトの現実空間の位置から見て有用な方位範囲を推定する推定手段と、
前記推定手段による推定結果に応じて、前記第２の管理手段における該当する方位範囲の評価情報を更新する更新手段と、
を有し、
前記制御手段は、前記第１の解析手段による解析結果に対応する前記第２の管理手段における方位範囲の評価情報に従って、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替えることを特徴とする情報処理システム。An information processing system having an augmented reality presentation device capable of synthesizing and presenting real-space video and computer graphics image data,
Detection means for detecting the position and orientation of the augmented reality presentation device;
First analysis means for analyzing which azimuth range the augmented reality presentation device belongs to as viewed from the position of an object in the real space corresponding to the computer graphics image data, based on a detection result by the detection means;
Control means for switching the computer graphics image data to be presented in the augmented reality presentation device in accordance with an analysis result by the first analysis means;
Second management means for managing evaluation information for each azimuth range viewed from the position of an object in the real space corresponding to the computer graphics image data;
Setting means for setting a route and a traveling direction;
Estimating means for estimating a useful azimuth range when viewed from the position of the object corresponding to the computer graphics image data in the real space, based on the path and the traveling direction set by the setting means;
Updating means for updating evaluation information of the corresponding azimuth range in the second management means according to the estimation result by the estimation means;
Have
The control means, according to the evaluation information of the bearing range in the second management unit corresponding to the analysis result of the first analysis unit, toswitch between the computer graphics image data to be presented in the augmented reality presentation apparatus An information processing system characterized by
前記拡張現実感提示装置の位置及び姿勢を検知する検知手段と、
前記検知手段による検知結果に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する第１の解析手段と、
前記第１の解析手段による解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替える制御手段と、
前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見た方位範囲毎に評価情報を管理する第１の管理手段と、
を有し、
前記制御手段は、前記第１の解析手段による解析結果に対応する前記第１の管理手段における方位範囲の評価情報に従って、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替えることを特徴とする情報処理システム。An information processing system having an augmented reality presentation device capable of synthesizing and presenting real-space video and computer graphics image data,
Detection means for detecting the position and orientation of the augmented reality presentation device;
First analysis means for analyzing which azimuth range the augmented reality presentation device belongs to as viewed from the position of an object in the real space corresponding to the computer graphics image data, based on a detection result by the detection means;
Control means for switching the computer graphics image data to be presented in the augmented reality presentation device in accordance with an analysis result by the first analysis means;
First management means for managing evaluation information for each azimuth range viewed from the position of an object in real space corresponding to the computer graphics image data;
Have
The control means switches the computer graphics image data to be presented in the augmented reality presentation device according to the evaluation information of the azimuth range in the first management means corresponding to the analysis result by the first analysis means. A featured information processing system.
前記受付手段により前記コンピュータグラフィックス画像データに対する前記所定の操作を受け付けた場合、当該受付時における前記拡張現実感提示装置の位置及び姿勢に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する第２の解析手段と、
前記第２の解析手段による解析結果に応じて、前記第１の管理手段における該当する方位範囲の評価情報を更新する更新手段と、
を更に有することを特徴とする請求項２に記載の情報処理システム。And accepting means for accepting a predetermined operation to the computer graphics image data to be presented in theprevious SL augmented reality presentation apparatus,
When the predetermined operation for the computer graphics image data is received by the reception unit, the real space corresponding to the computer graphics image data is based on the position and orientation of the augmented reality presentation device at the time of the reception. Second analysis means for analyzing which azimuth range the augmented reality presentation device belongs to as viewed from the position of the object;
Updating means for updating evaluation information of the corresponding azimuth range in the first management means according to the analysis result by the second analysis means;
The information processing system accordingto claim 2,further comprising:
前記拡張現実感提示装置の位置及び姿勢を検知する検知ステップと、
前記検知ステップによる検知結果に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する解析ステップと、
前記解析ステップによる解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替える制御ステップと、
前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見た方位範囲毎に評価情報を管理する管理ステップと、
を含み、
前記制御ステップでは、前記解析ステップによる解析結果に対応する前記管理ステップにおける方位範囲の評価情報に従って、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替えることを特徴とする情報処理システムの制御方法。A control method for an information processing system having an augmented reality presentation device capable of combining and presenting a video of real space and computer graphics image data,
A detection step of detecting the position and orientation of the augmented reality presentation device;
Based on the detection result of the detection step, an analysis step for analyzing which azimuth range the augmented reality presentation device belongs to when viewed from the position of the object in the real space corresponding to the computer graphics image data;
A control step of switching the computer graphics image data to be presented in the augmented reality presentation device according to the analysis result of the analysis step;
A management step for managing evaluation information for each azimuth range viewed from the position of an object in the real space corresponding to the computer graphics image data;
Including
In the control step, the computer graphics image data to bepresented in the augmented reality presentation device is switched in accordance with the evaluation information of the azimuth range in the management step corresponding to the analysis result in the analysis step. Control method.
前記拡張現実感提示装置の位置及び姿勢を検知する検知ステップと、
前記検知ステップによる検知結果に基づいて、前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見て前記拡張現実感提示装置がどの方位範囲に属するか解析する解析ステップと、
前記解析ステップによる解析結果に応じて、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替える制御ステップと、
前記コンピュータグラフィックス画像データに対応する現実空間のオブジェクトの位置から見た方位範囲毎に評価情報を管理する管理ステップと、
をコンピュータに実行させ、
前記制御ステップでは、前記解析ステップによる解析結果に対応する前記管理ステップにおける方位範囲の評価情報に従って、前記拡張現実感提示装置において提示させる前記コンピュータグラフィックス画像データを切り替えることを特徴とするプログラム。A program for causing a computer to execute a control method of an information processing system having an augmented reality presentation device capable of synthesizing and presenting real-space video and computer graphics image data,
A detection step of detecting the position and orientation of the augmented reality presentation device;
Based on the detection result of the detection step, an analysis step for analyzing which azimuth range the augmented reality presentation device belongs to when viewed from the position of the object in the real space corresponding to the computer graphics image data;
A control step of switching the computer graphics image data to be presented in the augmented reality presentation device according to the analysis result of the analysis step;
A management step for managing evaluation information for each azimuth range viewed from the position of an object in the real space corresponding to the computer graphics image data;
To the computer,
In the control step, the computer graphics image data to be presented in the augmented reality presentation device is switched in accordance with the evaluation information of the azimuth range in the management step corresponding to the analysis result in the analysis step .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010269635AJP5674441B2 (en) | 2010-12-02 | 2010-12-02 | Information processing system, control method thereof, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010269635AJP5674441B2 (en) | 2010-12-02 | 2010-12-02 | Information processing system, control method thereof, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012118882A JP2012118882A (en) | 2012-06-21 |
| JP5674441B2true JP5674441B2 (en) | 2015-02-25 |
Family
ID=46501596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010269635AActiveJP5674441B2 (en) | 2010-12-02 | 2010-12-02 | Information processing system, control method thereof, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5674441B2 (en) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5803103B2 (en)* | 2010-12-28 | 2015-11-04 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, information processing system, portable terminal, control method thereof, and program |
| JP6130841B2 (en)* | 2012-09-07 | 2017-05-17 | 日立マクセル株式会社 | Receiver |
| JP6160154B2 (en)* | 2013-03-22 | 2017-07-12 | セイコーエプソン株式会社 | Information display system using head-mounted display device, information display method using head-mounted display device, and head-mounted display device |
| JP5580924B1 (en)* | 2013-08-30 | 2014-08-27 | ヤフー株式会社 | Distribution device, terminal device, distribution method, and distribution program |
| KR20180014246A (en)* | 2014-01-24 | 2018-02-07 | 피씨엠에스 홀딩스, 인크. | Methods, apparatus, systems, devices, and computer program products for augmenting reality in connection with the real world places |
| JP2015228050A (en)* | 2014-05-30 | 2015-12-17 | ソニー株式会社 | Information processing device and information processing method |
| JP2019057057A (en) | 2017-09-20 | 2019-04-11 | 富士ゼロックス株式会社 | Information processing apparatus, information processing system, and program |
| JP7224894B2 (en)* | 2018-12-20 | 2023-02-20 | キヤノン株式会社 | Information processing device, information processing method and program |
| DE112019006107B4 (en)* | 2019-01-11 | 2025-03-27 | Mitsubishi Electric Corporation | Authoring device, authoring method and authoring program |
| JP7116200B2 (en)* | 2021-01-06 | 2022-08-09 | 株式会社三井住友銀行 | AR platform system, method and program |
| JP2023018253A (en)* | 2021-07-27 | 2023-02-08 | キヤノン株式会社 | Image processing device, image processing method, and program |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1647142A (en)* | 2002-02-25 | 2005-07-27 | 精工爱普生株式会社 | Advertisement system, advertisement method, and program thereof |
| US7391424B2 (en)* | 2003-08-15 | 2008-06-24 | Werner Gerhard Lonsing | Method and apparatus for producing composite images which contain virtual objects |
| JP3861866B2 (en)* | 2003-09-11 | 2006-12-27 | 日本電気株式会社 | 3D graphics display device |
| JP2005092164A (en)* | 2003-09-12 | 2005-04-07 | Ac & T:Kk | Multi-purpose electronic signage system and electronic signage distribution method |
| JP2005108108A (en)* | 2003-10-01 | 2005-04-21 | Canon Inc | Three-dimensional CG operation device and method, and position and orientation sensor calibration device |
| JP2006059136A (en)* | 2004-08-20 | 2006-03-02 | Seiko Epson Corp | Viewer device and program thereof |
| JP2011242816A (en)* | 2008-09-09 | 2011-12-01 | Tonchidot Corp | System capable of adding virtual information to visual field information and displaying it |
- 2010
- 2010-12-02JPJP2010269635Apatent/JP5674441B2/enactiveActive
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012118882A (en) | 2012-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5674441B2 (en) | Information processing system, control method thereof, and program | |
| US20230417567A1 (en) | Augmented reality maps | |
| US9940692B2 (en) | Augmented reality overlays based on an optically zoomed input | |
| EP2506222B1 (en) | Augmented reality apparatus, method and program | |
| US20090289955A1 (en) | Reality overlay device | |
| TWI269024B (en) | Navigation system | |
| CN104731337B (en) | Method for representing virtual information in true environment | |
| KR100985737B1 (en) | Method, terminal device and computer-readable recording medium for providing information on an object included in visual field of the terminal device | |
| US20210025729A1 (en) | Street-Level Guidance Via Route Path | |
| US9235933B2 (en) | Wearable display system that displays previous runners as virtual objects on a current runner's path | |
| US9767610B2 (en) | Image processing device, image processing method, and terminal device for distorting an acquired image | |
| US20150070275A1 (en) | Systems and methods for navigating a scene using deterministic movement of an electronic device | |
| JP2012068481A (en) | Augmented reality expression system and method | |
| US20110288763A1 (en) | Method and apparatus for displaying three-dimensional route guidance | |
| AU2013401486A1 (en) | Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor | |
| US20150066359A1 (en) | System and apparatus for processing information, image display apparatus, control method and computer program | |
| KR102027565B1 (en) | A Method For Providing Augmented Reality Walking Navigation Service Using a 3D Character | |
| JP6345381B2 (en) | Augmented reality system | |
| CN111124128B (en) | Position prompting method and related product | |
| JP4710217B2 (en) | Information presenting apparatus, information presenting method, information presenting system, and computer program | |
| KR102578119B1 (en) | Smart glasses operation method interworking to mobile device | |
| US10650037B2 (en) | Enhancing information in a three-dimensional map | |
| KR20120043439A (en) | Space image output system improving the roving of advertisement | |
| KR20060117140A (en) | Constellation information providing service using a mobile communication terminal. | |
| Au et al. | Mirrormap: augmenting 2d mobile maps with virtual mirrors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20131107 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20140714 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20140826 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20141009 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20141209 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20141222 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:5674441 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 |