JP4920660B2

Movatterモバイル変換

Info

Publication number: JP4920660B2
Application number: JP2008274736A
Authority: JP
Inventors: 勝市川
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2008-10-24
Filing date: 2008-10-24
Publication date: 2012-04-18
Anticipated expiration: 2028-10-24
Also published as: JP2010102588A

Description

本発明は、過去に撮像され、記憶されている風景画像といったリアル画像に仮想オブジェクトを合成して表示する可搬合成画像表示装置及び方法に関する。 The present invention relates to a portable composite image display apparatus and method that synthesizes and displays a virtual object on a real image such as a landscape image captured and stored in the past.

従来、カメラ付き携帯端末で撮像した人物画像に対して、予め登録されたアニメのキャラクタ画像等を合成する画像処理システムが提案されている（例えば、特許文献１）。この画像処理システムでは、カメラ付き携帯端末で撮像した人物画像を画像合成のためのシステムに送信すると、当該キャラクタ画像と画像合成を行い、携帯端末へと送信する。そして、携帯端末装置は、送信された画像を受信して表示することができる。 2. Description of the Related Art Conventionally, there has been proposed an image processing system that synthesizes a character image or the like registered in advance with a human image captured by a camera-equipped mobile terminal (for example, Patent Document 1). In this image processing system, when a person image captured by a mobile terminal with a camera is transmitted to a system for image composition, the character image is combined with the character image and transmitted to the mobile terminal. The mobile terminal device can receive and display the transmitted image.

一方、加速度センサー等を備えた操作端末をユーザが操作することに応じて、仮想空間において仮想キャラクター（アバター等を含む）がテニスやキャッチボールを行ったり、モンスターと対戦ゲームを行ったりすることができるビデオゲーム装置が知られている（例えば、特許文献２）。
特開２００８−１９３４６９号公報特開２００７−２４４４１８号公報On the other hand, a virtual character (including an avatar) may play tennis or catch a ball or play a game against a monster in a virtual space in response to a user operating an operation terminal equipped with an acceleration sensor or the like. A video game device that can be used is known (for example, Patent Document 2).
JP 2008-193469 A JP 2007-244418 A

しかしながら、仮想空間ではなく、例えば自宅の前やテーマパーク等の実在の場所の風景にそれぞれ仮想オブジェクトを合成してキャッチボールを行ったりモンスターと戦ったりすることができる技術は提案されていない。更に、例えばカメラ付き携帯端末で撮像した実在の場所の風景動画像を使用しようとすると、当該風景動画像は手ぶれ等により常に向きが変化しており、そのままの風景動画像に仮想オブジェクトの位置を対応させて表示するには当該仮想オブジェクトの表示位置や向きの計算のためのシステム負荷が過大になるばかりでなく、動画像の向きがぶれるとかえってゲーム等の操作を難しくするという課題がある。 However, no technology has been proposed that can synthesize a virtual object and play a catch ball or fight a monster instead of a virtual space, for example, in front of a home or in a real place such as a theme park. Furthermore, for example, if an attempt is made to use a landscape moving image of an actual location captured by a camera-equipped mobile terminal, the direction of the landscape moving image always changes due to camera shake or the like. In order to display them in correspondence, there is a problem that not only the system load for calculating the display position and orientation of the virtual object becomes excessive, but also the operation of a game or the like becomes difficult if the orientation of the moving image fluctuates.

そこで、本発明は、リアリティのある実在の場所の風景の中でゲーム等を行うことが可能な可搬合成画像表示装置を提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a portable composite image display device capable of playing a game or the like in a realistic real scenery.

本発明では、以下のような解決手段を提供する。 The present invention provides the following solutions.

（１）予め撮像して記憶した風景画像に仮想オブジェクトを合成して表示する可搬合成画像表示装置であって、表示手段と、前記風景画像を撮像した際の位置情報、方位情報及び傾き情報と、前記仮想オブジェクトを合成する画像内の位置とに関連付けられた前記風景画像を予め記憶する風景画像記憶手段と、画像の表示を行うための操作が受け付けられると、前記可搬合成画像表示装置の位置を示す位置情報を取得する位置情報取得手段と、画像の表示を行うための操作が受け付けられると、ユーザが前記表示手段の画面を視認した際の前記可搬合成画像表示装置の方位を示す方位情報を取得する方位情報取得手段と、画像の表示を行うための操作が受け付けられると、ユーザが前記表示手段の画面を視認した際の、前記可搬合成画像表示装置の傾きを示す傾き情報を取得する傾き情報取得手段と、前記風景画像記憶手段に記憶されている前記風景画像の中から、前記位置情報取得手段により取得された前記位置情報、前記方位情報取得手段により取得された前記方位情報及び前記傾き情報取得手段により取得された前記傾き情報に基づいて前記表示手段に表示する風景画像を決定する画像決定手段と、前記風景画像記憶手段に記憶され前記画像決定手段により決定された風景画像に関連付けられた前記画像内の位置に基づいて、当該決定された風景画像に、前記仮想オブジェクトを合成して前記表示手段に表示する画像合成表示手段と、を備える可搬合成画像表示装置。(1) A portable composite image display device that synthesizes and displays a virtual object on a landscape image captured and stored in advance, the display means, and position information, orientation information,and tilt informationwhen the landscape image is captured And a landscape image storage means for storing in advance the landscape image associated with the position in the image to synthesize the virtual object,and the portable composite image display device whenan operation for displaying theimage is accepted When the position information acquisition means for acquiring the position information indicating the positionof the display and the operation for displaying theimage are accepted, theorientation of the portable composite image display devicewhen the uservisually recognizesthe screen of the display means is determined. andazimuth information acquisition means for acquiringazimuth information indicating,when an operation for displaying an image is accepted, when the user views the screen of the display unit, the portable composite image display A tilt information acquisition unit that acquires inclination information indicating an inclination of location, from among said scenery image stored in the scenery image storing means, the position information acquired by the position information acquiringunit, theazimuth information acquisition An image determination unit that determines a landscape image to be displayed on the display unit based on theorientation informationacquired by the unit and the tilt information acquired by the tilt information acquisition unit; and the image stored in the landscape image storage unit Image combining display means for combining the virtual object with the determined landscape image based on the position in the image associated with the landscape image determined by the determining means and displaying the virtual object on the display means. Portable composite image display device.

（１）記載の合成画像表示装置によれば、風景画像記憶手段は、風景画像を撮像した位置情報及び向き情報に関連付けて風景画像を記憶する。そして、位置情報取得手段により、可搬合成画像表示装置の位置を示す位置情報を取得し、向き情報取得手段により、可搬合成画像表示装置の向きを示す向き情報を取得する。そして、画像決定手段により、予め記憶した風景画像の中から、位置情報及び向き情報に基づいて可搬合成画像表示装置に表示する風景画像を決定し、画像合成表示手段により、決定した風景画像に仮想オブジェクトを合成して表示する。 According to the composite image display device described in (1), the landscape image storage unit stores the landscape image in association with the position information and the orientation information obtained by capturing the landscape image. Then, the position information acquisition unit acquires position information indicating the position of the portable composite image display device, and the direction information acquisition unit acquires direction information indicating the direction of the portable composite image display device. Then, the image determining means determines a landscape image to be displayed on the portable composite image display device based on the position information and the orientation information from the previously stored landscape images, and the image composite display means converts the landscape image to the determined landscape image. Combine and display virtual objects.

このようにすることで、可搬合成画像表示装置の位置及び向きに基づいて可搬合成画像表示装置に表示する風景画像を決定することができる。そして、決定した風景画像に対して、仮想オブジェクトを合成して、合成した画像を表示する。このため、可搬合成画像表示装置により風景画像を撮像することなく、リアリティのある実在の場所の風景の中でゲーム等を行うことが可能な可搬合成画像表示装置を提供することができる。更に、予め記憶されている画像が、仮想オブジェクトの合成が最適となるように撮像されることで、画像の明るさや、視野、ズームといった仮想オブジェクトの合成以外の画像処理を行うことを必要としないため、画像処理を行う場合に対して負荷を抑制することができる。 By doing in this way, the landscape image displayed on a portable synthetic | combination image display apparatus can be determined based on the position and direction of a portable synthetic | combination image display apparatus. Then, a virtual object is synthesized with the determined landscape image, and the synthesized image is displayed. Therefore, it is possible to provide a portable composite image display device capable of playing a game or the like in a real real scenery without taking a landscape image with the portable composite image display device. Furthermore, since the image stored in advance is captured so that the composition of the virtual object is optimal, it is not necessary to perform image processing other than the composition of the virtual object such as image brightness, field of view, and zoom. Therefore, the load can be suppressed as compared with the case where image processing is performed.

（２）前記予め撮像した風景画像は、通信ネットワークを介して前記可搬合成画像表示装置と接続可能な風景画像記憶装置に記憶されており、取得した前記可搬合成画像表示装置の位置情報に基づいて、対応する前記風景画像を前記風景画像記憶装置から受信することを特徴とする（１）に記載の可搬合成画像表示装置。(2 ) The pre-captured landscape image is stored in a landscape image storage device that can be connected to the portable composite image display device via a communication network, and the acquired position information of the portable composite image display device is stored in the acquired location information. The portable composite image display device according to(1) , wherein the corresponding landscape image is received from the landscape image storage device.

このような構成によれば、風景画像を通信ネットワークを介して可搬合成画像表示装置と接続可能な画像記憶装置に予め記憶することができる。このため、可搬合成画像表示装置の記憶容量以上の風景画像データを格納できる画像記憶装置を設けることにより、可搬合成画像表示装置の記憶容量にかかわらず、多量の画像データを格納することができる。According to such a configuration, the landscape image can be stored in advance in the image storage device that can be connected to the portable composite image display device via the communication network. Therefore, by providing an image storage device that can store landscape image data that is larger than the storage capacity of the portable composite image display device, a large amount of image data can be stored regardless of the storage capacity of the portable composite image display device. it can.

（３）予め撮像して記憶した風景画像に仮想オブジェクトを合成して可搬合成画像表示装置に表示する可搬合成画像表示方法であって、前記可搬合成画像表示装置は、制御手段と、表示手段と、前記風景画像を撮像した際の位置情報、方位情報及び傾き情報と、前記仮想オブジェクトを合成する画像内の位置とに関連付けて前記風景画像を予め記憶する記憶手段を備え、前記可搬合成画像表示方法は、画像の表示を行うための操作が受け付けられると、前記制御手段が、前記可搬合成画像表示装置の位置を示す位置情報を取得するステップと、画像の表示を行うための操作が受け付けられると、前記制御手段が、ユーザが前記表示手段の画面を視認した際の前記可搬合成画像表示装置の方位を示す方位情報を取得するステップと、画像の表示を行うための操作が受け付けられると、前記制御手段が、ユーザが前記表示手段の画面を視認した際の、前記可搬合成画像表示装置の傾きを示す傾き情報を取得するステップと、前記制御手段が、前記記憶手段に記憶されている前記風景画像の中から、前記位置情報を取得するステップにおいて取得された前記位置情報、前記方位情報を取得するステップにおいて取得された前記方位情報及び前記傾き情報を取得するステップにおいて取得された前記傾き情報に基づいて前記表示手段に表示する風景画像を決定するステップと、前記制御手段が、前記記憶手段に記憶され前記風景画像を決定するステップにおいて決定された風景画像に関連付けられた前記画像内の位置に基づいて、当該決定された風景画像に、前記仮想オブジェクトを合成して前記表示手段に表示するステップと、を含むことを特徴とする可搬合成画像表示方法。(3) A portable composite image display method for combining a virtual object with a landscape image captured and stored in advance and displaying it on a portable composite image display device, the portable composite image display device comprising: a control unit; A storage means for storing the landscape image in advance in association with display means, position information, orientation information,and tilt informationwhen the landscape image is captured, and a position in the image where the virtual object is synthesized; In the portable composite image display method, whenan operation for displaying animage is accepted, the control unit acquires position information indicating the position of the portable composite image display device, anddisplays theimage. If the operation is accepted, said control means, acquiringdirection information indicating theorientation of the portable composite image displayapparatus when the user views the screen of the display means,the display of the image When the operation for performing is accepted, said control means, acquiring inclination information that indicates when a user views the screen of the display unit, a tilt of the portable composite image display apparatus, said control means The position information acquired in the step of acquiring the position information, thedirection information acquired in the step of acquiring thedirection information,and the inclination information are acquired from the landscape images stored in the storage unit.The landscape determined in the step of determining a landscape image to be displayed on the display unit based on theinclination information acquired in the acquiring step, and the step of determining the landscape image stored in the storage unit by the control unit. Based on the position in the image associated with the image, the virtual object is synthesized with the determined landscape image. Portable composite image display method characterized by comprising the steps of: displaying on the display means.

このような構成によれば、上述した可搬合成画像表示装置で述べた効果と同様の効果を奏することができる。 According to such a configuration, the same effects as those described in the above-described portable composite image display device can be obtained.

本発明によれば、リアリティのある実在の場所の風景の中でゲーム等を行うことが可能な可搬合成画像表示装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the portable synthetic | combination image display apparatus which can play a game etc. in the scenery of the real place with reality can be provided.

以下、本発明の実施形態について図を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本実施形態に係る可搬合成画像表示装置１の機能を示す機能ブロック図である。 FIG. 1 is a functional block diagram showing functions of the portable compositeimage display device 1 according to the present embodiment.

可搬合成画像表示装置１は、ＧＰＳ情報受信部４１と、方位情報取得部４２と、傾き情報取得部４３と、表示画像決定部１０４と、画像合成部１０５と、表示部１３と、操作部１２と、補助記憶部２０と、を備える。そして、補助記憶部２０は、ゲームプログラム２００と、風景画像ＤＢ２０１と、仮想オブジェクトＤＢ２０２と、を有する。方位情報取得部４２及び傾き情報取得部４３は、向き情報取得手段を構成する。なお、後述のように傾き情報取得部４３のみにより向き情報取得手段を構成してもよい。 The portable compositeimage display device 1 includes a GPSinformation reception unit 41, an orientationinformation acquisition unit 42, an inclinationinformation acquisition unit 43, a displayimage determination unit 104, animage synthesis unit 105, adisplay unit 13, and an operation unit. 12 and theauxiliary storage unit 20. Theauxiliary storage unit 20 includes agame program 200, a landscape image DB 201, and a virtual object DB 202. The orientationinformation acquisition unit 42 and the inclinationinformation acquisition unit 43 constitute an orientation information acquisition unit. As will be described later, the orientation information acquisition unit may be configured by only the inclinationinformation acquisition unit 43.

操作部１２は、後述で説明するように、各種設定や入力操作を行う操作ボタン群、決定操作ボタン等を備えており、ユーザによる可搬合成画像表示装置１の操作を受け付ける。操作部１２において、ユーザによる所定の操作が受け付けられると、ゲームプログラム２００が実行されることにより、可搬合成画像表示装置１の位置、方位、及び傾きの特定が開始される。 As will be described later, theoperation unit 12 includes an operation button group for performing various settings and input operations, a determination operation button, and the like, and receives an operation of the portable compositeimage display device 1 by the user. When a predetermined operation by the user is accepted in theoperation unit 12, thegame program 200 is executed to start specifying the position, orientation, and inclination of the portable compositeimage display device 1.

ＧＰＳ情報受信部４１は、位置を特定するための全地球測位システムのＧＰＳ衛星から電波を受信し、受信した電波の時刻差に基づいて現在位置を特定する。具体的には、ＧＰＳ情報受信部４１は、複数のＧＰＳ衛星からそれぞれの位置情報及び時刻情報を受信して、それぞれの衛星と、可搬合成画像表示装置１との距離を算出し、それぞれの衛星との距離を満たす地点、すなわち、可搬合成画像表示装置１の位置を算出することにより、可搬合成画像表示装置１の位置情報を特定する。 The GPSinformation receiving unit 41 receives radio waves from the GPS satellites of the global positioning system for specifying the position, and specifies the current position based on the time difference of the received radio waves. Specifically, the GPSinformation receiving unit 41 receives position information and time information from a plurality of GPS satellites, calculates the distance between each satellite and the portable compositeimage display device 1, The position information of the portable compositeimage display device 1 is specified by calculating a point that satisfies the distance from the satellite, that is, the position of the portable compositeimage display device 1.

方位情報取得部４２は、可搬合成画像表示装置１に固定して内蔵されている地磁気センサ４２０が検出する地磁気から得られる方位情報を特定する。これにより、可搬合成画像表示装置１の水平方向の向きを取得することができる。 The azimuthinformation acquisition unit 42 specifies the azimuth information obtained from the geomagnetism detected by thegeomagnetic sensor 420 fixed and built in the portable compositeimage display device 1. Thereby, the horizontal direction of the portable compositeimage display device 1 can be acquired.

傾き情報取得部４３は、可搬合成画像表示装置１に固定して内蔵されている加速度センサ４３０が検出する加速度センサ４３０の傾きから得られる傾き情報を取得する。具体的には、可搬合成画像表示装置１の内部に固定されている加速度センサ４３０が各軸の重力加速度成分の分力を測定し、加速度センサ４３０の傾きを算出することで、可搬合成画像表示装置１の垂直方向の傾きを取得する。このことにより、可搬合成画像表示装置１の横方向の向き（方位）情報に限らず、縦方向の向き情報も特定できるので、坂道の上り方向や下り方向、建物を地上から見上げたり、上階から下を向いたりといった視野の調整を適宜行うことができる。なお、傾き情報取得部４３により、縦方向の傾きのみならず、横方向の傾き（すなわち方位情報）を取得するように構成してもよい。この場合には、方位情報取得部４２は不要となる。 The inclinationinformation acquisition unit 43 acquires inclination information obtained from the inclination of theacceleration sensor 430 detected by theacceleration sensor 430 that is fixed and incorporated in the portable compositeimage display device 1. Specifically, theacceleration sensor 430 fixed inside the portable compositeimage display device 1 measures the component force of the gravitational acceleration component of each axis, and calculates the inclination of theacceleration sensor 430, thereby carrying out the portable synthesis. The vertical inclination of theimage display device 1 is acquired. As a result, not only the horizontal direction (orientation) information of the portable compositeimage display device 1 but also the vertical direction information can be specified. It is possible to appropriately adjust the visual field such as facing down from the floor. Note that the inclinationinformation acquisition unit 43 may acquire not only the vertical inclination but also the horizontal inclination (that is, azimuth information). In this case, the azimuthinformation acquisition unit 42 is not necessary.

図２は、本実施形態に係る風景画像ＤＢ２０１を示す図である。 FIG. 2 is a diagram showing alandscape image DB 201 according to the present embodiment.

風景画像ＤＢ２０１は、予め撮像した風景画像を記憶するＤＢであり、後述で説明する補助記憶部２０に格納されている。風景画像ＤＢ２０１は、風景画像を特定するための情報として、画像ＩＤ、ファイル名、位置、方位、傾き、及び仮想オブジェクト表示位置等を記憶している。なお、当該風景画像はこれらの情報により特定可能なものであれば様々なものを含むことができ、動画像、静止画像の別を問わない。 The landscape image DB 201 is a DB that stores landscape images captured in advance, and is stored in theauxiliary storage unit 20 described later. The landscape image DB 201 stores an image ID, a file name, a position, a direction, a tilt, a virtual object display position, and the like as information for specifying a landscape image. Note that the landscape image can include a variety of images as long as they can be specified by these pieces of information, regardless of whether they are moving images or still images.

画像ＩＤは、風景画像ＤＢ２０１に記憶されている風景画像ファイルを一意に特定するためのＩＤである。ファイル名は、画像ＩＤ同様に、風景画像ＤＢ２０１に記憶されている風景画像ファイルを一意に特定するものである。位置には、風景画像ファイルが対応する位置情報である経度・緯度情報が格納されている。方位には、風景画像ファイルが対応する方位情報が格納されている。傾きには、風景画像ファイルが対応する傾き情報が格納されている。位置、方位、及び傾きは、後述の表示画像決定部１０４が、表示部に表示する風景画像ファイルを決定するために参照され、これによって表示部に表示する風景画像ファイルが一意に特定される。仮想オブジェクト表示位置は、後述で説明する画像合成部１０５により参照され、表示部１３に表示することが決定された風景画像ファイルに対して仮想オブジェクトを合成するときの仮想オブジェクトの合成位置を決定するために用いられる。仮想オブジェクト表示位置は、仮想オブジェクトが最適に表示されるように予め決定される。また、１つの風景画像ファイルにおいて仮想オブジェクトを複数合成する場合には、それぞれの仮想オブジェクトに対して仮想オブジェクト表示位置が予め決定される。 The image ID is an ID for uniquely specifying a landscape image file stored in thelandscape image DB 201. The file name uniquely identifies the landscape image file stored in thelandscape image DB 201 as with the image ID. In the position, longitude / latitude information, which is position information corresponding to the landscape image file, is stored. In the direction, direction information corresponding to the landscape image file is stored. Inclination stores inclination information corresponding to the landscape image file. The position, azimuth, and inclination are referred to by the display image determination unit 104 (to be described later) to determine a landscape image file to be displayed on the display unit, whereby the landscape image file to be displayed on the display unit is uniquely specified. The virtual object display position is referred to by animage combining unit 105 described later, and determines a virtual object combining position when a virtual object is combined with a landscape image file determined to be displayed on thedisplay unit 13. Used for. The virtual object display position is determined in advance so that the virtual object is optimally displayed. When a plurality of virtual objects are combined in one landscape image file, a virtual object display position is determined in advance for each virtual object.

なお、本実施形態では、風景画像ＤＢ２０１は、可搬合成画像表示装置１の補助記憶部２０に格納されていることとしたが、これに限らない。例えば、通信ネットワークを介して可搬合成画像表示装置１と接続可能な外部サーバに対して風景画像ＤＢ２０１を設けることとしてもよい。このようにすることで、可搬合成画像表示装置１の補助記憶部２０の記憶容量以上のデータを格納できる記憶装置を外部サーバに設けて、当該記憶装置に対して風景画像ＤＢ２０１を格納することにより、可搬合成画像表示装置１の補助記憶部２０の記憶容量にかかわらず、多量の風景画像を格納することができる。 In the present embodiment, thelandscape image DB 201 is stored in theauxiliary storage unit 20 of the portable compositeimage display device 1, but the present invention is not limited to this. For example, thelandscape image DB 201 may be provided for an external server that can be connected to the portable compositeimage display device 1 via a communication network. In this way, a storage device capable of storing data larger than the storage capacity of theauxiliary storage unit 20 of the portable compositeimage display device 1 is provided in the external server, and thelandscape image DB 201 is stored in the storage device. Thus, a large amount of landscape images can be stored regardless of the storage capacity of theauxiliary storage unit 20 of the portable compositeimage display device 1.

図１に戻り、表示画像決定部１０４は、ＧＰＳ情報受信部４１、方位情報取得部４２、及び傾き情報取得部４３より、それぞれ、位置情報、方位情報、及び傾き情報を取得する。そして、風景画像ＤＢ２０１を参照して、取得した位置情報、方位情報、及び傾き情報に応じた風景画像ファイルを選択して、表示部１３に表示する風景画像ファイルとして決定する。すなわち、風景画像ＤＢ２０１に記憶されている風景画像ファイルから、取得した位置情報、方位、及び傾きに応じた風景画像ファイルを一意に特定して、表示部１３に表示する風景画像ファイルとして決定する。 Returning to FIG. 1, the displayimage determination unit 104 acquires position information, direction information, and inclination information from the GPSinformation reception unit 41, the directioninformation acquisition unit 42, and the inclinationinformation acquisition unit 43, respectively. Then, with reference to thelandscape image DB 201, a landscape image file corresponding to the acquired position information, azimuth information, and tilt information is selected and determined as a landscape image file to be displayed on thedisplay unit 13. That is, a landscape image file corresponding to the acquired position information, orientation, and inclination is uniquely specified from the landscape image file stored in thelandscape image DB 201 and determined as a landscape image file to be displayed on thedisplay unit 13.

画像合成部１０５は、表示画像決定部１０４により決定した風景画像ファイルに対して、ゲームプログラム２００を介して仮想オブジェクトＤＢ２０２から取得した仮想オブジェクトの合成を行う。具体的には、画像合成部１０５は、風景画像ＤＢ２０１を参照し、表示部１３に表示することが決定された風景画像ファイルの仮想オブジェクト表示位置を取得する。一方で、ゲームプログラム２００に対して、合成する仮想オブジェクトの取得リクエストを行い、ゲームプログラム２００を介して合成する仮想オブジェクトを取得して、仮想オブジェクト表示位置に基づいて、取得した仮想オブジェクトと、風景画像ファイルと、を合成する。 Theimage composition unit 105 synthesizes the virtual object acquired from thevirtual object DB 202 via thegame program 200 with respect to the landscape image file determined by the displayimage determination unit 104. Specifically, theimage composition unit 105 refers to thelandscape image DB 201 and acquires the virtual object display position of the landscape image file determined to be displayed on thedisplay unit 13. On the other hand, a virtual object acquisition request is made to thegame program 200, the virtual object to be combined is acquired via thegame program 200, and the acquired virtual object and landscape are acquired based on the virtual object display position. Combine with the image file.

表示部１３は、後述で説明するように、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）や有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）等により構成され、各種情報を表示する。 As will be described later, thedisplay unit 13 includes an LCD (Liquid Crystal Display), an organic EL (Electro Luminescence), and the like, and displays various types of information.

ゲームプログラム２００は、ユーザにより操作部１２が操作されることに応じて、ＧＰＳ情報受信部４１、方位情報取得部４２、及び傾き情報取得部４３による、位置情報、方位情報、傾き情報の特定を開始させる。そして、画像合成部１０５により行われる合成する仮想オブジェクトの取得リクエストに応じて、仮想オブジェクトＤＢ２０２より合成する仮想オブジェクトを取得し、画像合成部１０５に対して提示を行う。なお、本実施形態ではゲームプログラム２００が、仮想オブジェクトＤＢ２０２より合成する仮想オブジェクトを取得し、画像合成部１０５に対して提示を行うこととしたが、これに限らない。例えば、アバター等の仮想オブジェクトを用いてビジュアルチャットを行うビジュアルチャットプログラムといったプログラム、すなわち、仮想オブジェクトを表示するプログラムであってもよい。 Thegame program 200 specifies position information, azimuth information, and tilt information by the GPSinformation receiving unit 41, the azimuthinformation acquiring unit 42, and the tiltinformation acquiring unit 43 according to the operation of theoperation unit 12 by the user. Let it begin. Then, in response to the virtual object acquisition request to be combined performed by theimage combining unit 105, the virtual object to be combined is acquired from thevirtual object DB 202 and presented to theimage combining unit 105. In the present embodiment, thegame program 200 acquires a virtual object to be combined from thevirtual object DB 202 and presents the virtual object to theimage combining unit 105. However, the present invention is not limited to this. For example, a program such as a visual chat program that performs a visual chat using a virtual object such as an avatar, that is, a program that displays a virtual object may be used.

図３は、本実施形態に係る可搬合成画像表示装置１のハードウェア構成を示すブロック図である。 FIG. 3 is a block diagram showing a hardware configuration of the portable compositeimage display device 1 according to the present embodiment.

図３に示すように、可搬合成画像表示装置１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０、メモリ１１、操作部１２、表示部１３、補助記憶部２０、ネットワーク通信Ｉ／Ｆ３０、ＧＰＳ情報受信部４１、方位情報取得部４２、及び傾き情報取得部４３がバスラインＢＵＳにより接続されて構成されている。 As shown in FIG. 3, the portable compositeimage display device 1 includes a CPU (Central Processing Unit) 10, amemory 11, anoperation unit 12, adisplay unit 13, anauxiliary storage unit 20, a network communication I /F 30, a GPS information receiving unit. 41, the directioninformation acquisition part 42, and the inclinationinformation acquisition part 43 are connected by the bus line BUS.

ＣＰＵ１０は、可搬合成画像表示装置１を統括的に制御する部分であり、メモリ１１に記憶された各種プログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、本発明に係る各種機能を実現している。 TheCPU 10 is a part that controls the portable compositeimage display device 1 in an integrated manner, and appropriately reads and executes various programs stored in thememory 11, thereby cooperating with the hardware described above, and according to the present invention. Various functions are realized.

操作部１２は、各種設定や入力操作を行う操作ボタン群、決定操作ボタン等を備えており、操作部１２による入力情報はＣＰＵ１０の制御下で処理される。表示部１３は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）や有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）によって構成され、各種情報を表示する。 Theoperation unit 12 includes an operation button group for performing various settings and input operations, a determination operation button, and the like, and input information by theoperation unit 12 is processed under the control of theCPU 10. Thedisplay unit 13 includes an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence), and displays various types of information.

補助記憶部２０は、フラッシュメモリ等により構成され、可搬合成画像表示装置１が機能するための各種プログラム及び本発明の機能を実行するプログラムを記憶しており、更に、風景画像ＤＢ２０１と、仮想オブジェクトＤＢ２０２等の各種データベースを構成可能である。 Theauxiliary storage unit 20 is configured by a flash memory or the like, stores various programs for the portable compositeimage display device 1 to function and programs for executing the functions of the present invention. Various databases such as theobject DB 202 can be configured.

ネットワーク通信Ｉ／Ｆ３０は、可搬合成画像表示装置１を専用ネットワーク又は公共ネットワークを介してネットワーク上に存在するサーバ等と接続できるようにするためのネットワーク・アダプタである。 The network communication I /F 30 is a network adapter for enabling the portable compositeimage display device 1 to be connected to a server or the like existing on the network via a dedicated network or a public network.

ＧＰＳ情報受信部４１は、ＧＰＳ衛星から電波を受信する。ＧＰＳ情報受信部４１は、無線通信に必要なアンテナ及びアンテナ信号処理回路等を含んで構成される。ＧＰＳ情報受信部４１は、受信した電波に基づいて処理を行い、位置情報を取得する。 The GPSinformation receiving unit 41 receives radio waves from GPS satellites. The GPSinformation receiving unit 41 includes an antenna and an antenna signal processing circuit necessary for wireless communication. The GPSinformation receiving unit 41 performs processing based on the received radio wave and acquires position information.

方位情報取得部４２は、地磁気センサ４２０から方位情報を取得する。 The azimuthinformation acquisition unit 42 acquires azimuth information from thegeomagnetic sensor 420.

傾き情報取得部４３は、加速度センサ４３０から傾き情報を取得する。 The tiltinformation acquisition unit 43 acquires tilt information from theacceleration sensor 430.

なお、可搬合成画像表示装置１は、いわゆるＧＰＳ受信機能、地磁気センサ４２０、加速度センサ４３０を備えた携帯端末であるものとする。表示は省略するが、無線通信部、音声処理部、マイク、スピーカ、電源部といった携帯端末が備えている一般的な構成を有しているものとする。 The portable compositeimage display device 1 is assumed to be a portable terminal including a so-called GPS reception function, ageomagnetic sensor 420, and anacceleration sensor 430. Although the display is omitted, it is assumed that the mobile terminal has a general configuration such as a wireless communication unit, a voice processing unit, a microphone, a speaker, and a power supply unit.

また、本実施形態では、いわゆるＧＰＳ受信機能、地磁気センサ４２０、加速度センサ４３０を備えた携帯端末としたが、これに限らない。例えば、ＧＰＳ受信機能、地磁気センサ４２０、加速度センサ４３０を備えた携帯式のゲーム機といった、ＧＰＳ受信機能、地磁気センサ４２０、加速度センサ４３０を備えた機器であって、可搬性のあるものであればよい。 In the present embodiment, the mobile terminal includes the so-called GPS reception function, thegeomagnetic sensor 420, and theacceleration sensor 430. However, the present invention is not limited to this. For example, if a device having a GPS receiving function, ageomagnetic sensor 420, and anacceleration sensor 430, such as a portable game machine having a GPS receiving function, ageomagnetic sensor 420, and anacceleration sensor 430, is portable. Good.

［処理フロー］
図４は、本実施形態に係る可搬合成画像表示装置１の処理内容を示すフローチャートである。[Processing flow]
FIG. 4 is a flowchart showing the processing contents of the portable compositeimage display device 1 according to the present embodiment.

ステップＳ１１０では、ゲームプログラム２００は、操作部１２においてユーザによる所定の操作が受け付けられると、ＧＰＳ情報受信部４１、方位情報取得部４２、及び傾き情報取得部４３に対して、それぞれ可搬合成画像表示装置１の位置、方位、及び傾きの特定させる。 In step S <b> 110, when a predetermined operation by the user is received in theoperation unit 12, thegame program 200 sends a portable composite image to the GPSinformation reception unit 41, the azimuthinformation acquisition unit 42, and the tiltinformation acquisition unit 43. The position, orientation, and tilt of thedisplay device 1 are specified.

ステップＳ１２０では、ＧＰＳ情報受信部４１は、可搬合成画像表示装置１の位置情報を特定する。 In step S <b> 120, the GPSinformation receiving unit 41 specifies the position information of the portable compositeimage display device 1.

ステップＳ１３０では、方位情報取得部４２は、可搬合成画像表示装置１の方位情報を特定する。 In step S <b> 130, the azimuthinformation acquisition unit 42 specifies the azimuth information of the portable compositeimage display device 1.

ステップＳ１４０では、傾き情報取得部４３は、可搬合成画像表示装置１の傾き情報を特定する。 In step S <b> 140, the tiltinformation acquisition unit 43 specifies the tilt information of the portable compositeimage display device 1.

ステップＳ１５０では、表示画像決定部１０４は、位置情報、方位情報、及び傾き情報に基づいて、風景画像ＤＢ２０１から表示部１３に表示する風景画像ファイルを決定する。 In step S150, the displayimage determination unit 104 determines a landscape image file to be displayed on thedisplay unit 13 from thelandscape image DB 201 based on the position information, the azimuth information, and the tilt information.

ステップＳ１６０では、画像合成部１０５は、表示部１３に表示することが決定された風景画像ファイルに対して仮想オブジェクトの合成を行う。 In step S160, theimage composition unit 105 performs composition of the virtual object on the landscape image file determined to be displayed on thedisplay unit 13.

ステップＳ１７０では、表示部１３は、合成された画像の表示を行う。 In step S170, thedisplay unit 13 displays the synthesized image.

［合成画像の表示例］
図５から図７は、本実施形態に係る表示部１３に対して仮想オブジェクトが合成された風景画像ファイルについて説明するための図である。[Example of composite image display]
5 to 7 are views for explaining a landscape image file in which a virtual object is combined with thedisplay unit 13 according to the present embodiment.

図５は、本実施形態に係る表示部１３に表示することが決定された画像ファイルに対して、画像合成部１０５により仮想オブジェクトの合成が行われる前の状態を示す図である。図５は、仮想オブジェクトが表示される前の風景画像ファイルであるので、風景画像のみが表示されており、この風景画像ファイルに対して画像合成部１０５により、仮想オブジェクトの合成が行われる。 FIG. 5 is a diagram illustrating a state before the virtual object is synthesized by theimage synthesis unit 105 with respect to the image file determined to be displayed on thedisplay unit 13 according to the present embodiment. Since FIG. 5 is a landscape image file before the virtual object is displayed, only the landscape image is displayed. Theimage composition unit 105 synthesizes the landscape object with the landscape image file.

図６及び図７は、本実施形態に係る表示部１３に表示することが決定された画像ファイルに対して、画像合成部１０５により仮想オブジェクトの合成が行われた後の状態を示す図である。 6 and 7 are diagrams illustrating a state after the virtual object is synthesized by theimage synthesis unit 105 with respect to the image file determined to be displayed on thedisplay unit 13 according to the present embodiment. .

図６では、ゲームプログラム２００により選択された仮想オブジェクトであるキャッチボールゲームを行うためのキャラクタ３０１と、グローブ３０２とが、画像合成部１０５により、風景画像に対して合成されていることが確認できる。また、図７では、ゲームプログラム２００が実在の場所で仮想モンスターとの対戦を行うゲームプログラムである場合に、ゲームプログラム２００により選択された仮想オブジェクトであるモンスター３０３と、武器選択画像３０４とが、画像合成部１０５により、風景画像に対して合成されていることが確認できる。 In FIG. 6, it can be confirmed that thecharacter 301 for playing the catch ball game, which is a virtual object selected by thegame program 200, and theglove 302 are combined with the landscape image by theimage combining unit 105. . Further, in FIG. 7, when thegame program 200 is a game program for playing against a virtual monster in a real place, amonster 303 that is a virtual object selected by thegame program 200 and aweapon selection image 304 are Theimage composition unit 105 can confirm that the image is synthesized with the landscape image.

図５から図７に示されるように、画像ファイルには、風景画像ＤＢ２０１において、仮想オブジェクト表示位置が予め関連付けられており、この仮想オブジェクト表示位置は、仮想オブジェクトが画像ファイルに対して最適に合成されるように予め決定されている。このため、風景画像ファイルに対して仮想オブジェクトを常に最適な位置に表示させることができるので、動画像のぶれや適切な位置に仮想オブジェクトが表示されないといった問題が発生しない。したがって、ユーザは、動画像の向きのぶれ等によるゲームの操作性の煩わしさを感じることなく、リアリティのある実在の場所の風景の中でゲーム等を行うことができる。また、仮想オブジェクトの表示位置を都度決定する必要がないため、仮想オブジェクトの表示位置を決定するといったシステム負荷を軽減することができる。 As shown in FIGS. 5 to 7, a virtual object display position is associated with an image file in thelandscape image DB 201 in advance, and the virtual object display position is optimally combined with the image file. Is determined in advance. For this reason, since the virtual object can always be displayed at the optimum position with respect to the landscape image file, there is no problem that the virtual object is not displayed at the appropriate position or the shake of the moving image. Therefore, the user can play a game or the like in a real scenery of a real place without feeling troublesomeness of the operability of the game due to the movement of the moving image. Further, since it is not necessary to determine the display position of the virtual object each time, it is possible to reduce the system load such as determining the display position of the virtual object.

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施例に記載されたものに限定されるものではない。 As mentioned above, although embodiment of this invention was described, this invention is not restricted to embodiment mentioned above. The effects described in the embodiments of the present invention are only the most preferable effects resulting from the present invention, and the effects of the present invention are limited to those described in the embodiments of the present invention. is not.

本実施形態に係る可搬合成画像表示装置１の機能を示す機能ブロック図である。It is a functional block diagram which shows the function of the portable syntheticimage display apparatus 1 which concerns on this embodiment.本実施形態に係る風景画像ＤＢ２０１を示す図である。It is a figure which shows scenery image DB201 concerning this embodiment.本実施形態に係る可搬合成画像表示装置１のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of the portable syntheticimage display apparatus 1 which concerns on this embodiment.本実施形態に係る可搬合成画像表示装置１の処理内容を示すフローチャートである。It is a flowchart which shows the processing content of the portable compositeimage display apparatus 1 which concerns on this embodiment.本実施形態に係る表示部１３に表示することが決定された画像ファイルに対して、画像合成部１０５により仮想オブジェクトの合成が行われる前の状態を示す図である。It is a figure which shows the state before the synthetic | combination of a virtual object is performed by the image synthetic |combination part 105 with respect to the image file determined to display on thedisplay part 13 which concerns on this embodiment.本実施形態に係る表示部１３に表示することが決定された画像ファイルに対して、画像合成部１０５により仮想オブジェクトの合成が行われた後の状態を示す図である。It is a figure which shows the state after the synthetic | combination of a virtual object was performed by the image synthetic |combination part 105 with respect to the image file determined to display on thedisplay part 13 which concerns on this embodiment.本実施形態に係る表示部１３に表示することが決定された画像ファイルに対して、画像合成部１０５により仮想オブジェクトの合成が行われた後の状態を示す図である。It is a figure which shows the state after the synthetic | combination of a virtual object was performed by the image synthetic |combination part 105 with respect to the image file determined to display on thedisplay part 13 which concerns on this embodiment.

符号の説明Explanation of symbols

１可搬合成画像表示装置
１２操作部
１３表示部
２０補助記憶部
４１ＧＰＳ情報受信部
４２方位情報取得部
４３傾き情報取得部
１０４表示画像決定部
１０５画像合成部
２００ゲームプログラム
２０１風景画像ＤＢ
２０２仮想オブジェクトＤＢ
４２０地磁気センサ
４３０加速度センサDESCRIPTION OFSYMBOLS 1 Portable compositeimage display apparatus 12Operation part 13Display part 20Auxiliary storage part 41 GPSinformation receiving part 42 Directioninformation acquisition part 43 Inclinationinformation acquisition part 104 Displayimage determination part 105Image composition part 200Game program 201 Landscape image DB
202 Virtual object DB
420Geomagnetic sensor 430 Acceleration sensor

Claims

Translated fromJapanese

予め撮像して記憶した風景画像に仮想オブジェクトを合成して表示する可搬合成画像表示装置であって、
表示手段と、
前記風景画像を撮像した際の位置情報、方位情報及び傾き情報と、前記仮想オブジェクトを合成する画像内の位置とに関連付けられた前記風景画像を予め記憶する風景画像記憶手段と、
画像の表示を行うための操作が受け付けられると、前記可搬合成画像表示装置の位置を示す位置情報を取得する位置情報取得手段と、
画像の表示を行うための操作が受け付けられると、ユーザが前記表示手段の画面を視認した際の、前記可搬合成画像表示装置の方位を示す方位情報を取得する方位情報取得手段と、
画像の表示を行うための操作が受け付けられると、ユーザが前記表示手段の画面を視認した際の、前記可搬合成画像表示装置の傾きを示す傾き情報を取得する傾き情報取得手段と、
前記風景画像記憶手段に記憶されている前記風景画像の中から、前記位置情報取得手段により取得された前記位置情報、前記方位情報取得手段により取得された前記方位情報及び前記傾き情報取得手段により取得された前記傾き情報に基づいて前記表示手段に表示する風景画像を決定する画像決定手段と、
前記風景画像記憶手段に記憶され前記画像決定手段により決定された風景画像に関連付けられた前記画像内の位置に基づいて、当該決定された風景画像に、前記仮想オブジェクトを合成して前記表示手段に表示する画像合成表示手段と、
を備える可搬合成画像表示装置。A portable composite image display device that synthesizes and displays a virtual object on a landscape image captured and stored in advance,
Display means;
Landscape image storage means for preliminarily storing the landscape image associated with position information, orientation information,and tilt informationwhen the landscape image is captured, and a position in the image where the virtual object is synthesized;
When an operation for displaying an image is accepted, position information acquisition means for acquiring position information indicating the position of the portable composite image display device;
When the display operation is performed to the image it is accepted, andazimuth information acquisition means for acquiringthe time the user views the screen of the display unit, theorientation information indicating theorientation of the portable composite image display device,
When an operation for displaying an image is accepted, inclination information acquisition means for acquiring inclination information indicating the inclination of the portable composite image display device when the user visually recognizes the screen of the display means;
Acquiring from among the scenery image stored in the scenery image storing means, the positional information acquired by the position information acquiringmeans,by theorientation information acquired by theazimuth information acquisition meansand the tilt information acquisition unit Image determining means for determining a landscape image to be displayed on the display means based on thetilt information that hasbeen made ;
Based on the position in the image associated with the landscape image stored in the landscape image storage means and determined by the image determination means, the virtual object is combined with the determined landscape image to the display means. Image composition display means for displaying;
A portable composite image display device comprising:

前記予め撮像した風景画像は、通信ネットワークを介して前記可搬合成画像表示装置と接続可能な風景画像記憶装置に記憶されており、
取得した前記可搬合成画像表示装置の位置情報に基づいて、対応する前記風景画像を前記風景画像記憶装置から受信することを特徴とする請求項１に記載の可搬合成画像表示装置。The pre-captured landscape image is stored in a landscape image storage device that can be connected to the portable composite image display device via a communication network;
2. The portable composite image display device according to claim1 , wherein the corresponding landscape image is received from the landscape image storage device based on the acquired position information of the portable composite image display device.