WO2023223887A1 - Information processing device, information processing method, display control device, display control method - Google Patents

Abstract

An information processing device according to the present invention is equipped with an operating unit that performs processing in which a marker position is projected onto the image plane of a captured image on the basis of captured-image position information, which is information indicating a captured-image position in the captured image obtained by capturing an image of a region in which a marker is located, captured-image angle information, which is information indicating the angle at which the image was captured, and marker position information, which is information indicating the location of the marker, a range is set, as an estimated marker presence range, on the image plane including the projected marker position, which is the position of the projected marker, and the estimated marker presence range is associated with the captured image.

Description

Translated fromJapanese

情報処理装置、情報処理方法、表示制御装置、表示制御方法Information processing device, information processing method, display control device, display control method

　本技術は、情報処理装置とその方法、表示制御装置とその方法とに関し、特には、マーカが配置された対象地域を撮像して得られた撮像画像の表示画像に基づいてユーザがマーカ検出作業を行う場合に好適な情報処理技術及び表示制御技術に関する。The present technology relates to an information processing device and its method, and a display control device and its method, and in particular, the present technology relates to an information processing device and its method, and a display control device and its method. The present invention relates to information processing technology and display control technology suitable for performing.

　上空からドローン等の移動体を用いて地面側を撮像した複数の撮像画像に基づいて、対象地域の三次元構造を示す三次元点群を生成し、対象地域の三次元測量を実現する技術がある。具体的には、対象地域上を移動しながら撮像した複数の撮像画像に基づき、ＳｆＭ（Structure from Motion）等の手法により対象地域の三次元点群を生成する技術等が知られている。A technology that realizes 3D surveying of a target area by generating a 3D point cloud showing the 3D structure of the target area based on multiple captured images of the ground side taken from above using a mobile object such as a drone. be. Specifically, techniques are known that generate a three-dimensional point cloud of a target area using a method such as SfM (Structure from Motion) based on a plurality of captured images taken while moving over the target area.

　上記のような対象地域の三次元測量を行う場合には、ＧＰＳ（Global Positioning System）センサ等のＧＮＳＳ（Global Navigation Satellite System）センサによる位置検出精度とその不安定性に由来する不確かさが存在する。この不確かさを検証したりキャリブレーション（校正）したりするためには、Ground Truthとして絶対位置座標が既知の地上点が必要となる。このため、対象地域にGround Truthとして機能するマーカを配置するということが行われる。
　マーカがどの撮像画像におけるどの位置に写されているかを特定することで、絶対座標系におけるマーカ位置と画像座標系におけるマーカ位置との対応関係が特定されるため、マーカ位置の理想位置からの誤差を求めることができる。そして、この誤差の情報に基づき、生成した点群データの精度を評価したり、また上記したＧＮＳＳセンサの精度に起因する絶対座標位置の検出誤差についてのキャリブレーション等を行うことが可能とされる。When performing a three-dimensional survey of a target area as described above, there is uncertainty due to the accuracy and instability of position detection by GNSS (Global Navigation Satellite System) sensors such as GPS (Global Positioning System) sensors. In order to verify or calibrate this uncertainty, a ground point whose absolute position coordinates are known is required as the ground truth. For this reason, markers that function as ground truth are placed in the target area.
By identifying the position of the marker in which captured image, the correspondence between the marker position in the absolute coordinate system and the marker position in the image coordinate system can be determined. can be found. Based on this error information, it is possible to evaluate the accuracy of the generated point cloud data and to calibrate the detection error of the absolute coordinate position due to the accuracy of the GNSS sensor mentioned above. .

　なお、関連する従来技術については下記特許文献１を挙げることができる。この特許文献１には、配置位置が既知であるマーカを用いた校正技術が開示されている。Note that the followingPatent Document 1 can be mentioned as related conventional technology. ThisPatent Document 1 discloses a calibration technique using markers whose placement positions are known.

米国特許出願公開第２０１２／０１２７０３０号明細書US Patent Application Publication No. 2012/0127030

　ここで、実際にマーカを活用するためには、下記の二つの作業が必要とされている。
１）衛星測位やレーザ測距等により配置したマーカの絶対座標を測定する
２）撮像画像について、どの画像のどの位置にどのマーカが写っているかを特定するHere, in order to actually utilize the marker, the following two operations are required.
1) Measure the absolute coordinates of the placed marker using satellite positioning, laser ranging, etc. 2) Identify which marker is in which position in which image of the captured image

　これらのうち、上記２）の作業は、現状では、対象地域を撮像して得られた複数の撮像画像をユーザが画面上で閲覧してどの画像のどの位置にどのマーカが写っているかを特定する作業とされている。具体的に、この作業においてユーザは、マーカごとに、そのマーカが写っている画像について画像内の位置を指定する操作を装置に対して行うようにされている。装置側では、このようなユーザの指定操作に基づき、マーカごとに、そのマーカがどの画像のどの位置（画像座標系における位置）に写っているかという対応関係を示すデータを生成する処理が行われ、この対応関係データが、上述した点群精度評価や絶対座標位置のキャリブレーション等に用いられる。
　以下、上記のように対象地域を撮像して得られた複数の撮像画像をユーザが画面上で閲覧し、マーカが写っている画像について画像内のマーカ位置を指定する作業のことを「マーカ検出作業」と表記する。Among these, the task 2) above is currently performed by the user viewing multiple images obtained by capturing the target area on the screen and identifying which marker is in which position in which image. It is considered to be a work to do. Specifically, in this work, the user performs an operation on the device to specify, for each marker, the position within the image in which the marker appears. On the device side, based on the user's specified operation, processing is performed to generate data indicating the correspondence relationship of which image and which position (position in the image coordinate system) the marker appears in for each marker. This correspondence relationship data is used for the above-mentioned point cloud accuracy evaluation, absolute coordinate position calibration, and the like.
Hereinafter, we will refer to the task of "marker detection" in which the user views multiple captured images obtained by capturing the target area as described above on the screen and specifies the marker position in the image for the image containing the marker. "Work".

　しかしながら、上記のようなマーカ検出作業では、ユーザは、対象地域を撮像した大量の撮像を閲覧してそこからマーカが写っている画像の特定や、写っているマーカの同定（どのマーカであるかの特定）、さらにそのマーカの画像内における位置の指定を行うことを要し、作業負担が膨大となる。However, in the above-mentioned marker detection work, the user views a large number of images taken of the target area, and from there, identifies images that include markers, and identifies markers (which markers are included). In addition, it is necessary to specify the position of the marker in the image, resulting in an enormous workload.

　本技術は上記事情に鑑み為されたものであり、マーカ検出作業の効率化を図ることを目的とする。This technology was developed in view of the above circumstances, and its purpose is to improve the efficiency of marker detection work.

　本技術に係る情報処理装置は、マーカが配置された対象地域を撮像して得られた撮像画像の撮像位置を示す情報である撮像位置情報と、前記撮像画像の撮像アングルを示す情報である撮像アングル情報と、前記マーカの配置位置を示す情報であるマーカ位置情報とに基づき、前記撮像画像の画像平面に前記マーカの位置を投影し、投影された前記マーカの位置であるマーカ投影位置を含む前記画像平面上の範囲を推定マーカ存在範囲として設定し、前記推定マーカ存在範囲の情報を前記撮像画像に対応づける処理を行う演算部を備えたものである。
　上記のように撮像画像に推定マーカ存在範囲の情報を対応づけることで、撮像画像の表示時において、撮像画像と共に推定マーカ存在範囲の視覚化情報を表示することが可能となり、ユーザは、表示された推定マーカ存在範囲を元に、撮像画像内に写されたマーカの同定やマーカ位置の特定をし易くなる。The information processing device according to the present technology includes imaging position information that is information indicating the imaging position of a captured image obtained by imaging a target area where a marker is placed, and imaging position information that is information indicating the imaging angle of the captured image. Projecting the position of the marker onto the image plane of the captured image based on angle information and marker position information that is information indicating the placement position of the marker, and including a marker projection position that is the projected position of the marker. The apparatus includes a calculation unit that sets a range on the image plane as an estimated marker existing range and performs a process of associating information on the estimated marker existing range with the captured image.
By associating information about the estimated marker existing range with the captured image as described above, when displaying the captured image, it becomes possible to display visualization information about the estimated marker existing range together with the captured image, and the user can Based on the estimated marker existence range, it becomes easier to identify the marker captured in the captured image and to specify the marker position.

　また、本技術に係る情報処理方法は、情報処理装置が、マーカが配置された対象地域を撮像して得られた撮像画像の撮像位置を示す情報である撮像位置情報と、前記撮像画像の撮像アングルを示す情報である撮像アングル情報と、前記マーカの配置位置を示す情報であるマーカ位置情報とに基づき、前記撮像画像の画像平面に前記マーカの位置を投影し、投影された前記マーカの位置であるマーカ投影位置を含む前記画像平面上の範囲を推定マーカ存在範囲として設定し、前記推定マーカ存在範囲の情報を前記撮像画像に対応づける処理を行う情報処理方法である。
　このような情報処理方法によっても、上記した本技術に係る情報処理装置と同様の作用が得られる。Further, in the information processing method according to the present technology, the information processing device collects imaging position information, which is information indicating the imaging position of a captured image obtained by imaging a target area in which a marker is placed, and an imaging position of the captured image. The position of the marker is projected onto the image plane of the captured image based on imaging angle information, which is information indicating the angle, and marker position information, which is information indicating the arrangement position of the marker, and the projected position of the marker is In this information processing method, a range on the image plane including a marker projection position is set as an estimated marker existing range, and information on the estimated marker existing range is associated with the captured image.
Such an information processing method also provides the same effect as the information processing device according to the present technology described above.

　また、本技術に係る表示制御装置は、マーカが配置された対象地域を撮像して得られた撮像画像であって、画像平面に前記マーカの位置を投影することによって前記画像平面上に検出されたマーカ投影位置を含む前記画像平面上の範囲として設定された推定マーカ存在範囲の情報が対応づけられた前記撮像画像について、前記推定マーカ存在範囲の視覚化情報を、前記撮像画像と共に表示部に表示させる処理を行う表示制御部を備えたものである。
　これにより、マーカ検出作業のために撮像画像を表示する場合に対応して、撮像画像と共に、推定マーカ存在範囲の視覚化情報を表示することが可能となり、ユーザは、表示された推定マーカ存在範囲を元に、撮像画像内に写されたマーカの同定やマーカ位置の特定をし易くなる。The display control device according to the present technology also provides a captured image obtained by capturing a target area in which a marker is placed, which is detected on the image plane by projecting the position of the marker onto the image plane. With respect to the captured image to which information of the estimated marker existing range set as a range on the image plane including the projected marker projection position is associated, visualization information of the estimated marker existing range is displayed on a display unit together with the captured image. It is equipped with a display control section that performs display processing.
As a result, when displaying a captured image for marker detection work, it becomes possible to display visualization information of the estimated marker existing range along with the captured image, and the user can view the displayed estimated marker existing range. Based on this, it becomes easier to identify the marker captured in the captured image and to specify the marker position.

　また、本技術に係る表示制御方法は、表示制御装置が、マーカが配置された対象地域を撮像して得られた撮像画像であって、画像平面に前記マーカの位置を投影することによって前記画像平面上に検出されたマーカ投影位置を含む前記画像平面上の範囲として設定された推定マーカ存在範囲の情報が対応づけられた前記撮像画像について、前記推定マーカ存在範囲の視覚化情報を、前記撮像画像と共に表示部に表示させる処理を行う表示制御方法である。
　このような表示制御方法によっても、上記した本技術に係る表示制御装置と同様の作用が得られる。Further, in the display control method according to the present technology, the display control device captures a captured image obtained by capturing an image of a target area in which markers are arranged, and projects the position of the marker on an image plane. With respect to the captured image associated with the information of the estimated marker existing range set as the range on the image plane including the marker projection position detected on the plane, the visualization information of the estimated marker existing range is added to the captured image. This is a display control method that performs processing to display an image on a display unit.
Such a display control method also provides the same effect as the display control device according to the present technology described above.

本技術に係る実施形態としての測量システムの構成概要を例示した図である。1 is a diagram illustrating a configuration overview of a surveying system as an embodiment of the present technology.実施形態において前提とする三次元測量手法の説明図である。FIG. 2 is an explanatory diagram of a three-dimensional surveying method based on the embodiment.対象地域に配置されるマーカについての説明図である。FIG. 3 is an explanatory diagram of markers placed in a target area.実施形態としての情報処理装置の内部構成例を示したブロック図である。FIG. 1 is a block diagram showing an example of the internal configuration of an information processing device according to an embodiment.実施形態としての表示制御装置の内部構成例を示したブロック図である。FIG. 1 is a block diagram showing an example of the internal configuration of a display control device as an embodiment.実施形態におけるマーカ投影処理の説明図である。FIG. 3 is an explanatory diagram of marker projection processing in the embodiment.実施形態における推定マーカ存在範囲の設定手法についての説明図である。FIG. 3 is an explanatory diagram of a method for setting an estimated marker existence range in the embodiment.実施形態における推定マーカ存在範囲の大きさの設定手法についての説明図である。FIG. 3 is an explanatory diagram of a method for setting the size of an estimated marker existing range in the embodiment.マーカ投影位置の検出結果例の説明図である。FIG. 3 is an explanatory diagram of an example of a detection result of a marker projection position.実施形態におけるマーカ含候補画像の判定手法についての説明図である。FIG. 3 is an explanatory diagram of a method for determining marker-containing candidate images in the embodiment.実施形態における推定マーカ存在範囲の情報の対応づけ手法についての説明図である。FIG. 3 is an explanatory diagram of a method for associating information on estimated marker existence ranges in the embodiment.実施形態としての情報処理装置側の処理例を示したフローチャートである。2 is a flowchart illustrating an example of processing on the information processing device side as an embodiment.実施形態としての表示制御装置側の処理例を示したフローチャートである。7 is a flowchart illustrating an example of processing on the display control device side as an embodiment.実施形態における作業画面の例を示した図である。It is a figure showing an example of a work screen in an embodiment.推定マーカ存在範囲の視覚化情報が表示された作業画面の例を示した図である。FIG. 7 is a diagram illustrating an example of a work screen on which visualization information of an estimated marker existing range is displayed.推定マーカ存在範囲の視覚化情報が表示された作業画面の別例を示した図である。FIG. 7 is a diagram showing another example of the work screen on which visualization information of the estimated marker existing range is displayed.推定マーカ存在範囲の視覚化情報が表示された作業画面のさらに別例を示した図である。FIG. 7 is a diagram showing still another example of a work screen on which visualization information of an estimated marker existing range is displayed.

　以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
＜１．実施形態としての測量システムの概要＞
＜２．装置構成＞
（2-1．情報処理装置の構成）
（2-2．表示制御装置の構成）
＜３．マーカ存在範囲の推定及び範囲情報の対応づけ処理＞
＜４．表示制御側の処理＞
＜５．変形例＞
＜６．実施形態のまとめ＞
＜７．本技術＞
Hereinafter, embodiments of the present technology will be described in the following order with reference to the accompanying drawings.
<1. Overview of surveying system as an embodiment>
<2. Device configuration>
(2-1. Configuration of information processing device)
(2-2. Configuration of display control device)
<3. Estimation of marker existence range and matching process of range information>
<4. Display control side processing>
<5. Modified example>
<6. Summary of embodiments>
<7. This technology＞

＜１．実施形態としての測量システムの概要＞
　図１は、本技術に係る実施形態としての測量システムの構成概要を例示した図である。
　実施形態の測量システムは、本技術に係る情報処理装置の一実施形態である情報処理装置１と、本技術に係る表示制御装置の一実施形態としてのユーザ端末２と、撮像装置３とを少なくとも備えて構成されるシステムとなる。
　情報処理装置１、及びユーザ端末２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、及びＲＡＭ( Random Access Memory)等を有するコンピュータ装置として構成されている。<1. Overview of surveying system as an embodiment>
FIG. 1 is a diagram illustrating an overview of the configuration of a surveying system as an embodiment of the present technology.
The surveying system of the embodiment includes at least aninformation processing device 1 as an embodiment of the information processing device according to the present technology, auser terminal 2 as an embodiment of the display control device according to the present technology, and animaging device 3. The system will be configured with the necessary features.
Theinformation processing device 1 and theuser terminal 2 are configured as computer devices having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.

　撮像装置３は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型等のイメージセンサを備えて構成され、被写体を撮像した撮像画像を得る。本例において撮像装置３は、Ｒ（赤）光、Ｂ（青）光、Ｇ（緑）光を個別に受光するためのカラーフィルタを有し、これらＲ光、Ｂ光、Ｇ光の受光信号に基づいて撮像画像としてカラー画像を得るＲＧＢカメラとして構成されている。Theimaging device 3 is configured with an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) type or a CCD (Charge Coupled Device) type, and obtains a captured image of a subject. In this example, theimaging device 3 has a color filter for individually receiving R (red) light, B (blue) light, and G (green) light, and receives light reception signals of these R, B, and G lights. The camera is configured as an RGB camera that obtains a color image as a captured image based on the following.

　本例において撮像装置３は、移動体Ｍに搭載されている。移動体Ｍは、撮像装置３を搭載したまま移動を行うことが可能とされた物体を広く意味する。本例では、移動体Ｍは、例えばドローンや飛行機、ヘリコプター等の飛行体とされる。In this example, theimaging device 3 is mounted on a moving body M. The moving object M broadly refers to an object that can be moved while theimaging device 3 is mounted thereon. In this example, the mobile object M is a flying object such as a drone, an airplane, or a helicopter.

　実施形態の測量システムでは、撮像装置３を搭載した移動体Ｍを、例えば建設現場等の対象地域Ａｔの上空で移動させながら、撮像装置３により対象地域Ａｔを撮像させる。このとき、撮像装置３による撮像は、対象地域Ａｔを複数の区域に区切って、区域ごとに行う。すなわち、対象地域Ａｔの撮像画像として、対象地域Ａｔのそれぞれ異なる区域を撮像した複数枚の撮像画像を得る。In the surveying system of the embodiment, the moving body M equipped with theimaging device 3 is moved over the target area At, such as a construction site, for example, while theimaging device 3 images the target area At. At this time, theimaging device 3 divides the target area At into a plurality of areas and performs imaging for each area. That is, a plurality of captured images of different areas of the target area At are obtained as the captured images of the target area At.

　具体的な三次元測量の手法を、図２を参照して説明する。
　図示のように本実施形態では、対象地域Ａｔには複数の撮像実行地点Ｐｉが設定されている。本実施形態では、移動体Ｍの飛行ルートＲｆとして、このように対象地域Ａｔに設定された複数の撮像実行地点Ｐｉを通る飛行ルートＲｆが定められており、移動体Ｍをこの飛行ルートＲｆに従って飛行させながら、撮像装置３が各撮像実行地点Ｐｉで地面側を撮像することで、撮像実行地点Ｐｉごとに、撮像画像に基づく三次元点群の生成を行う。そして、測量システムでは、このように撮像実行地点Ｐｉごとに得られた三次元点群の情報に基づき、対象地域Ａｔ全体の三次元構造を示す点群データの生成が行われる。換言すれば、対象地域Ａｔ全体についての三次元測量結果を示す測量データが得られる。A specific three-dimensional surveying method will be explained with reference to FIG. 2.
As shown in the figure, in this embodiment, a plurality of imaging execution points Pi are set in the target area At. In this embodiment, a flight route Rf passing through a plurality of imaging execution points Pi set in the target area At is determined as the flight route Rf of the mobile body M, and the mobile body M is guided along this flight route Rf. While flying, theimaging device 3 images the ground side at each imaging execution point Pi, thereby generating a three-dimensional point group based on the captured image for each imaging execution point Pi. Then, in the surveying system, point cloud data indicating the three-dimensional structure of the entire target area At is generated based on the three-dimensional point cloud information obtained for each imaging execution point Pi in this way. In other words, survey data indicating the three-dimensional survey results for the entire target area At is obtained.

　本例では、三次元点群の生成は、情報処理装置１が、撮像装置３により撮像された複数の撮像画像を入力し、それら撮像画像に基づいて行うことになるが、この三次元点群の生成にあたっては、撮像画像の座標系（以下「画像座標系」と表記する）と絶対座標系（ワールド座標系）との間での座標変換処理を要する。この座標変換処理には、撮像画像の撮像位置（絶対座標系における位置）を示す情報である撮像位置情報と、撮像画像の撮像アングルを示す情報である撮像アングル情報と、撮像時の焦点距離や撮像素子のサイズ、画素数等といったカメラパラメータの情報とを要する。
　本例では、これら撮像位置情報、撮像アングル情報、及びカメラパラメータの情報は、撮像装置３が撮像画像に対しメタデータとして付与するものとされている。このメタデータ付きの撮像画像を情報処理装置１が入力することで、情報処理装置１は、三次元点群生成のための上記した座標変換処理を行うことが可能とされる。
　なお、上記のメタデータ生成のために、撮像装置３には、撮像位置情報を取得するための例えばＧＰＳ（Global Positioning System）センサ等のＧＮＳＳ（Global Navigation Satellite System）センサ、及び、撮像アングル情報を取得するためのジャイロセンサや方位角センサを備えている。ここで、本例において、撮像位置情報は、三次元空間上の位置を示す情報であり、高度（対地距離）の情報も含むものとされる。In this example, theinformation processing device 1 inputs a plurality of captured images captured by theimaging device 3 and generates the three-dimensional point cloud based on the captured images. To generate the image, coordinate conversion processing is required between the coordinate system of the captured image (hereinafter referred to as "image coordinate system") and the absolute coordinate system (world coordinate system). This coordinate conversion process requires information such as imaging position information, which is information indicating the imaging position of the captured image (position in the absolute coordinate system), imaging angle information, which is information indicating the imaging angle of the captured image, and the focal length and focal length at the time of imaging. Information on camera parameters such as the size and number of pixels of the image sensor is required.
In this example, theimaging device 3 adds the imaging position information, imaging angle information, and camera parameter information to the captured image as metadata. By inputting this captured image with metadata to theinformation processing device 1, theinformation processing device 1 can perform the above-described coordinate transformation process for generating a three-dimensional point group.
In order to generate the above metadata, theimaging device 3 is equipped with a GNSS (Global Navigation Satellite System) sensor such as a GPS (Global Positioning System) sensor for acquiring imaging position information, and imaging angle information. It is equipped with a gyro sensor and azimuth sensor for acquisition. Here, in this example, the imaging position information is information indicating a position in three-dimensional space, and also includes information on altitude (distance above ground).

　また、本例において、対象地域Ａｔには、図３に示すように複数のマーカ４が配置されている。
　これらマーカ４は、前述した点群データの精度評価やＧＮＳＳセンサの精度に起因する絶対座標位置の検出誤差についてのキャリブレーションを行うにあたってのGround Truthとして機能させるマーカである。Furthermore, in this example, a plurality ofmarkers 4 are arranged in the target area At, as shown in FIG.
Thesemarkers 4 are markers that function as ground truths for evaluating the accuracy of the point cloud data described above and calibrating the detection error of the absolute coordinate position due to the accuracy of the GNSS sensor.

　図１において、ユーザ端末２は、ユーザによる使用が想定される、情報処理装置１とは別の装置であり、本例では、可搬性を有するコンピュータ装置とされる。ユーザ端末２の具体的な装置形態としては、例えばスマートフォンやタブレット端末、ノートブック型のパーソナルコンピュータ等を挙げることができる。或いは、ユーザ端末２の装置形態としては、スマートグラスやヘッドマウントディスプレイ等の形態も考えられ得る。In FIG. 1, theuser terminal 2 is a device different from theinformation processing device 1 that is expected to be used by a user, and in this example, it is a portable computer device. Specific device forms of theuser terminal 2 include, for example, a smartphone, a tablet terminal, a notebook personal computer, and the like. Alternatively, the device form of theuser terminal 2 may be smart glasses, a head mounted display, or the like.

　本例において、ユーザ端末２は、情報処理装置１が生成した対象地域Ａｔについての三次元点群を視覚化した情報をユーザに表示する処理を行う。
　また、特に本実施形態において、ユーザ端末２は、前述したマーカ検出作業のためにユーザに用いられる。確認のため述べておくと、マーカ検出作業とは、対象地域Ａｔを撮像して得られた複数の撮像画像をユーザが画面上で閲覧し、マーカが写っている画像について画像内のマーカ位置を指定する作業のことを意味する。
In this example, theuser terminal 2 performs a process of displaying to the user information that visualizes a three-dimensional point cloud about the target area At generated by theinformation processing device 1.
Further, particularly in this embodiment, theuser terminal 2 is used by the user for the marker detection work described above. For confirmation, marker detection work is a process in which a user views multiple captured images obtained by capturing the target area At on the screen, and determines the marker position in the image for the image in which the marker appears. It means the specified work.

＜２．装置構成＞
（2-1．情報処理装置の構成）
　図４は、情報処理装置１の内部構成例を示したブロック図である。
　図示のように情報処理装置１は、メモリ部１０、点群生成部１１、制御部１２、及び通信部１３を備えており、これら各部がバス１４を介して相互にデータ通信を行うことが可能とされている。<2. Device configuration>
(2-1. Configuration of information processing device)
FIG. 4 is a block diagram showing an example of the internal configuration of theinformation processing device 1. As shown in FIG.
As shown in the figure, theinformation processing device 1 includes amemory section 10, a pointcloud generation section 11, acontrol section 12, and acommunication section 13, and these sections can perform data communication with each other via abus 14. It is said that

　メモリ部１０は、例えばＨＤＤ（Hard Disk Drive）やＳＤＤ（Solid State Drive）等の不揮発性のメモリにより構成され、情報処理装置１で扱われる各種データの記憶に用いられる。
　本例において、メモリ部１０には、撮像装置３が対象地域Ａｔを撮像して得られた撮像画像が記憶される。具体的には、移動体Ｍに搭載された撮像装置３により、対象地域Ａｔ内のそれぞれ異なる区域を撮像した複数枚の撮像画像である。
　本例において、撮像装置３による撮像画像は、通信部１３を介してメモリ部１０に記憶される。例えば、撮像装置３による対象地域Ａｔ全体の撮像完了後に、撮像装置３から全撮像画像を情報処理装置１に転送させてメモリ部１０に記憶させることが考えられる。或いは、撮像装置３が対象地域Ａｔの撮像中に順次撮像済みの撮像画像を情報処理装置１に転送し、このように順次転送される撮像画像をメモリ部１０に記憶させることも考えられる。Thememory unit 10 is constituted by a nonvolatile memory such as an HDD (Hard Disk Drive) or an SDD (Solid State Drive), and is used to store various data handled by theinformation processing device 1.
In this example, thememory unit 10 stores a captured image obtained by theimaging device 3 capturing an image of the target area At. Specifically, these are a plurality of captured images obtained by capturing images of different areas within the target area At using theimaging device 3 mounted on the mobile body M.
In this example, images captured by theimaging device 3 are stored in thememory unit 10 via thecommunication unit 13. For example, after theimaging device 3 completes imaging the entire target area At, it is conceivable that all the captured images are transferred from theimaging device 3 to theinformation processing device 1 and stored in thememory unit 10. Alternatively, it is also conceivable that theimaging device 3 sequentially transfers captured images to theinformation processing device 1 while imaging the target area At, and stores the captured images sequentially transferred in this way in thememory unit 10.

　また、前述のように、撮像画像には、メタデータとして、撮像位置情報、撮像アングル情報、及びカメラパラメータの情報が付与されている。Furthermore, as described above, information on the imaging position, imaging angle, and camera parameters is added to the captured image as metadata.

　点群生成部１１は、対象地域Ａｔ上を移動しながら撮像した撮像画像である、メモリ部１０に記憶された複数枚の撮像画像に基づき、対象地域Ａｔの三次元構造を示す点群データを生成する。
　本例において、点群生成部１１は、ＳｆＭ（Structure from Motion）により点群データを生成する。公知のようにＳｆＭは、カメラの視点を変えながら撮像した複数の撮像画像から対象の三次元構造とカメラ位置とを求める技術である。ＳｆＭでは、カメラの視点を変えながら撮像した複数の撮像画像から、対応点（同一特徴点）を検出した結果に基づいて対象の三次元構造を示す点群データを生成する。
　ここでの点群データは、認識された各点（上記の対応点）ごとに、三次元空間上の座標情報（Ｘ座標、Ｙ座標、Ｚ座標）と、Ｒ、Ｇ、Ｂの輝度値とを対応づけた情報として生成される。The pointcloud generation unit 11 generates point cloud data indicating the three-dimensional structure of the target area At based on a plurality of captured images stored in thememory unit 10, which are captured images taken while moving over the target area At. generate.
In this example, the pointcloud generation unit 11 generates point cloud data using SfM (Structure from Motion). As is well known, SfM is a technique for determining the three-dimensional structure of an object and the camera position from a plurality of captured images captured while changing the viewpoint of the camera. In SfM, point cloud data indicating the three-dimensional structure of an object is generated based on the results of detecting corresponding points (same feature points) from a plurality of captured images captured while changing the camera viewpoint.
The point cloud data here includes coordinate information (X coordinate, Y coordinate, Z coordinate) in three-dimensional space and brightness values of R, G, and B for each recognized point (corresponding point above). It is generated as information that associates the

　通信部１３は、各種機器との有線／無線通信や、インターネット等の伝送路を介しての通信処理を行う通信用デバイスを包括的に表したものである。情報処理装置１は、この通信部１３を介して、撮像装置３やユーザ端末２との間でデータ通信を行うことが可能とされる。Thecommunication unit 13 comprehensively represents a communication device that performs wired/wireless communication with various devices and communication processing via a transmission path such as the Internet. Theinformation processing device 1 is able to perform data communication with theimaging device 3 and theuser terminal 2 via thecommunication unit 13.

　制御部１２は、例えばＣＰＵ、ＲＯＭ、及びＲＡＭ等を有するマイクロコンピュータを備えて構成され、ＣＰＵが例えばＲＯＭに記憶されたプログラムやＲＡＭにロードされたプログラムに従った処理を実行することで、情報処理装置１の全体制御を行う。
　具体的に、制御部１２は、点群生成部１１による点群データの生成処理について、処理の実行指示等の制御を行う。また、制御部１２は、通信部１３を介して、撮像装置３やユーザ端末２（後述するＣＰＵ２１）との間でデータ通信を行う。
　また、特に本実施形態の場合、制御部１２は、メモリ部１０に記憶された複数の撮像画像について、前述したメタデータに含まれる撮像位置情報及び撮像アングル情報と、マーカ４の配置位置を示す情報であるマーカ位置情報とに基づくマーカ投影処理や推定マーカ存在範囲の設定処理、撮像画像に対する推定マーカ存在範囲の情報の対応づけ処理等を行うが、制御部１２が行うこれら実施形態としての処理については改めて説明する。
Thecontrol unit 12 is configured with a microcomputer having, for example, a CPU, a ROM, a RAM, etc., and the CPU executes processing according to a program stored in the ROM or a program loaded in the RAM, so that information is stored. Performs overall control of theprocessing device 1.
Specifically, thecontrol unit 12 controls the point cloud data generation process by the pointcloud generation unit 11, such as instructing execution of the process. Further, thecontrol unit 12 performs data communication with theimaging device 3 and the user terminal 2 (CPU 21 described later) via thecommunication unit 13.
In particular, in the case of the present embodiment, thecontrol unit 12 indicates the imaging position information and imaging angle information included in the above-mentioned metadata and the arrangement position of themarker 4 for the plurality of captured images stored in thememory unit 10. Marker projection processing based on the marker position information, setting processing of the estimated marker existing range, processing of associating the information of the estimated marker existing range with the captured image, etc. are performed, but these processings performed by thecontrol unit 12 are as follows. I will explain it again.

（2-2．表示制御装置の構成）
　図５は、ユーザ端末２の内部構成例を示したブロック図である。
　図示のようにユーザ端末２は、ＣＰＵ２１を備えている。ＣＰＵ２１は、ＲＯＭ２２や例えばＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の不揮発性メモリ部２４に記憶されているプログラム、又は記憶部２９からＲＡＭ２３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ２３にはまた、ＣＰＵ２１が各種の処理を実行する上において必要なデータなども適宜記憶される。(2-2. Configuration of display control device)
FIG. 5 is a block diagram showing an example of the internal configuration of theuser terminal 2. As shown in FIG.
As illustrated, theuser terminal 2 includes aCPU 21. TheCPU 21 executes various processes according to programs stored in theROM 22 or anonvolatile memory section 24 such as an EEP-ROM (Electrically Erasable Programmable Read-Only Memory), or a program loaded into theRAM 23 from thestorage section 29. . TheRAM 23 also appropriately stores data necessary for theCPU 21 to execute various processes.

　ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、及び不揮発性メモリ部２４は、バス３３を介して相互に接続されている。このバス３３にはまた、入出力インタフェース（Ｉ／Ｆ）２５も接続されている。TheCPU 21,ROM 22,RAM 23, andnonvolatile memory section 24 are interconnected via abus 33. An input/output interface (I/F) 25 is also connected to thisbus 33 .

　入出力インタフェース２５には、操作子や操作デバイスよりなる入力部２６が接続される。例えば、入力部２６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
　入力部２６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ２１によって解釈される。The input/output interface 25 is connected to aninput section 26 consisting of an operator or an operating device. For example, theinput unit 26 may be various operators or operating devices such as a keyboard, mouse, keys, dial, touch panel, touch pad, or remote controller.
A user's operation is detected by theinput unit 26, and a signal corresponding to the input operation is interpreted by theCPU 21.

　また入出力インタフェース２５には、ＬＣＤ（Liquid Crystal Display）或いは有機ＥＬ（Electro-Luminescence）パネルなどよりなる表示部２７や、スピーカなどよりなる音声出力部２８が一体又は別体として接続される。
　表示部２７は各種の情報表示に用いられ、例えばコンピュータ装置の筐体に設けられるディスプレイデバイスや、コンピュータ装置に接続される別体のディスプレイデバイス等により構成される。Also, connected to the input/output interface 25 are adisplay section 27 made of an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) panel, and anaudio output section 28 made of a speaker or the like, either integrally or separately.
Thedisplay unit 27 is used to display various information, and is configured by, for example, a display device provided in the housing of the computer device, a separate display device connected to the computer device, or the like.

　表示部２７は、ＣＰＵ２１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部２７はＣＰＵ２１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。Thedisplay unit 27 displays images for various image processing, moving images to be processed, etc. on the display screen based on instructions from theCPU 21. Further, thedisplay unit 27 displays various operation menus, icons, messages, etc., ie, as a GUI (Graphical User Interface), based on instructions from theCPU 21.

　入出力インタフェース２５には、ＨＤＤ（Hard Disk Drive）や固体メモリなどより構成される記憶部２９や、モデムなどより構成される通信部３０が接続される場合もある。The input/output interface 25 may be connected to astorage section 29 made up of an HDD (Hard Disk Drive), a solid state memory, etc., and acommunication section 30 made up of a modem or the like.

　通信部３０は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。Thecommunication unit 30 performs communication processing via a transmission path such as the Internet, and communicates with various devices by wired/wireless communication, bus communication, etc.

　入出力インタフェース２５にはまた、必要に応じてドライブ３１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記憶媒体３２が適宜装着される。Adrive 31 is also connected to the input/output interface 25 as necessary, and aremovable storage medium 32 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory is appropriately installed.

　ドライブ３１により、リムーバブル記憶媒体３２から各処理に用いられるプログラム等のデータファイルなどを読み出すことができる。読み出されたデータファイルは記憶部２９に記憶されたり、データファイルに含まれる画像や音声が表示部２７や音声出力部２８で出力されたりする。またリムーバブル記憶媒体３２から読み出されたコンピュータプログラム等は必要に応じて記憶部２９にインストールされる。Thedrive 31 can read data files such as programs used for each process from theremovable storage medium 32. The read data file is stored in thestorage section 29, and images and sounds included in the data file are outputted on thedisplay section 27 and theaudio output section 28. Further, computer programs and the like read from theremovable storage medium 32 are installed in thestorage unit 29 as necessary.

　上記のようなハードウェア構成を有するコンピュータ装置では、例えば本実施形態の処理のためのソフトウェア（プログラム）を、通信部３０によるネットワーク通信やリムーバブル記憶媒体３２を介してインストールすることができる。或いは、当該ソフトウェアは予めＲＯＭ２２や記憶部２９等に記憶されていてもよい。
　ＣＰＵ２１が各種のプログラムに基づいて処理動作を行うことで、ユーザ端末２としての必要な情報処理や通信処理が実行される。
In a computer device having the above-mentioned hardware configuration, for example, software (program) for the processing of this embodiment can be installed via network communication by thecommunication unit 30 or theremovable storage medium 32. Alternatively, the software may be stored in theROM 22,storage unit 29, etc. in advance.
By theCPU 21 performing processing operations based on various programs, necessary information processing and communication processing as theuser terminal 2 is executed.

＜３．マーカ存在範囲の推定及び範囲情報の対応づけ処理＞
　本実施形態では、ユーザによるマーカ検出作業についての効率化を図るために、情報処理装置１において、撮像画像の画像平面にマーカ４の位置を投影し、投影されたマーカ４の位置であるマーカ投影位置を含む画像平面上の範囲を推定マーカ存在範囲として設定し、推定マーカ存在範囲の情報を撮像画像に対応づける、という処理を行う。
　このように撮像画像に推定マーカ存在範囲の情報を対応づけることで、マーカ検出作業における撮像画像の表示時において、撮像画像と共に推定マーカ存在範囲の視覚化情報を表示することが可能となり、ユーザは、表示された推定マーカ存在範囲を元に、撮像画像内に写されたマーカの同定やマーカ位置の特定をし易くなる。
　従って、マーカ検出作業の効率化を図ることができる。<3. Estimation of marker existence range and matching process of range information>
In this embodiment, in order to improve the efficiency of marker detection work by the user, theinformation processing device 1 projects the position of themarker 4 onto the image plane of the captured image, and the marker projection which is the position of the projectedmarker 4 is performed. A process is performed in which the range on the image plane including the position is set as the estimated marker existing range, and the information on the estimated marker existing range is associated with the captured image.
By associating the information on the estimated marker existing range with the captured image in this way, when displaying the captured image in marker detection work, it is possible to display visualization information on the estimated marker existing range together with the captured image, and the user can Based on the displayed estimated marker existence range, it becomes easier to identify the marker captured in the captured image and to specify the marker position.
Therefore, it is possible to improve the efficiency of marker detection work.

　図６及び図７を参照し、推定マーカ存在範囲の設定手法について説明する。
　図６は、マーカ投影処理の説明図である。
　図中、「Ｐｍ」は対象地域Ａｔに配置されたマーカ４のマーカ位置（絶対座標位置）を表している。
　図示のように対象地域Ａｔ上を移動しながら撮像された複数の撮像画像について、それぞれ、撮像画像の画像平面上にマーカ位置Ｐｍを投影し、画像平面上における（つまり画像座標系における）マーカ投影位置Ｐｍ’を検出する。このマーカ投影処理は、マーカ４ごとに、各撮像画像について行う。すなわち、対象地域Ａｔにおけるマーカ４の配置数をＮ、対象地域Ａｔ上を移動しながら撮像した撮像画像の枚数をＭとしたとき、マーカ投影処理は、「Ｎ×Ｍ」で表される、マーカ４と撮像画像との組み合わせごとに行われるものである。
　マーカ投影処理は、制御部１２が行う。具体的に制御部１２は、マーカ投影処理を、撮像画像に付与された撮像位置情報及び撮像アングル情報と、マーカ位置情報とに基づいて行う。マーカ投影処理は、これら撮像位置情報、撮像アングル情報、マーカ位置情報と共に、前述したカメラパラメータの情報を用いて行うことも考えられる。
　ここで、マーカ位置情報は既知の位置情報であり、例えばメモリ部１０等、制御部１２が読出可能な記憶装置に予め記憶されているとする。A method for setting the estimated marker existence range will be described with reference to FIGS. 6 and 7.
FIG. 6 is an explanatory diagram of marker projection processing.
In the figure, "Pm" represents the marker position (absolute coordinate position) of themarker 4 placed in the target area At.
As shown in the figure, for a plurality of captured images captured while moving over the target area At, a marker position Pm is projected onto the image plane of each captured image, and marker projection on the image plane (that is, in the image coordinate system) is performed. Detect position Pm'. This marker projection process is performed for each captured image for eachmarker 4. That is, when the number ofmarkers 4 arranged in the target area At is N, and the number of captured images taken while moving on the target area At is M, the marker projection process is performed using markers expressed as "N x M". This is performed for each combination of 4 and the captured image.
The marker projection process is performed by thecontrol unit 12. Specifically, thecontrol unit 12 performs marker projection processing based on the imaging position information and imaging angle information given to the captured image, and the marker position information. The marker projection process may be performed using the above-mentioned camera parameter information in addition to the imaging position information, imaging angle information, and marker position information.
Here, it is assumed that the marker position information is known position information, and is stored in advance in a storage device such as thememory unit 10 that can be read by thecontrol unit 12.

　このとき、マーカ４の配置態様と撮像画像の撮像位置・撮像アングルの関係によっては、マーカ投影処理においては、図示の例のように一つの撮像画像に複数のマーカ４についてのマーカ投影位置Ｐｍ’が検出され得る。At this time, depending on the arrangement of themarkers 4 and the relationship between the imaging position and imaging angle of the captured image, in the marker projection process, the marker projection position Pm' of a plurality ofmarkers 4 may be displayed in one captured image as in the illustrated example. can be detected.

　制御部１２は、マーカ投影処理を行ったことに応じ、撮像画像の画像平面上において、検出したマーカ投影位置Ｐｍ’を含む範囲を推定マーカ存在範囲Ａｍとして設定する。In response to performing the marker projection process, thecontrol unit 12 sets the range including the detected marker projection position Pm' on the image plane of the captured image as the estimated marker existing range Am.

　図７は、推定マーカ存在範囲Ａｍの設定手法についての説明図である。
　本例では、推定マーカ存在範囲Ａｍは円形の範囲としている。図示のようにマーカ投影位置Ｐｍ’を基準として、そこから半径Ｒの範囲を推定マーカ存在範囲Ａｍとして設定する。FIG. 7 is an explanatory diagram of a method for setting the estimated marker existence range Am.
In this example, the estimated marker existence range Am is a circular range. As shown in the figure, a range of a radius R from the marker projection position Pm' is set as the estimated marker existing range Am.

　ここで、本例において制御部１２は、推定マーカ存在範囲Ａｍの大きさ（つまり本例では半径Ｒ）を、該推定マーカ存在範囲Ａｍの設定対象とする撮像画像の撮像位置からの対地距離に応じて可変的に設定する。撮像画像の撮像位置からの対地距離は、本例では、撮像画像に付与された撮像位置情報に含まれる高度の情報を用いる。Here, in this example, thecontrol unit 12 sets the size of the estimated marker existing range Am (that is, the radius R in this example) to the ground distance from the imaging position of the captured image for which the estimated marker existing range Am is set. Set variably depending on the situation. In this example, altitude information included in the imaging position information given to the captured image is used as the ground distance from the imaging position of the captured image.

　具体的に、制御部１２は、図８Ａと図８Ｂの対比として示すように、対地距離が長いほど推定マーカ存在範囲Ａｍの大きさ、つまり半径Ｒを大きく設定する。
　上記で説明した通り、撮像画像の画像平面に対するマーカ投影は、撮像アングル情報に基づき行われるが、撮像アングル情報に誤差がある場合には、対地距離が長いほどマーカ投影位置の理想位置からの誤差が大きくなる。そこで、上記のように対地距離が長いほど推定マーカ存在範囲の大きさを大きくするものとしている。
　これにより、撮像アングル情報の誤差に起因したマーカ投影位置Ｐｍ’の誤差の大きさが対地距離に応じて変化することを考慮した適切な推定マーカ存在範囲の設定を行うことができる。Specifically, as shown in the comparison between FIGS. 8A and 8B, the longer the distance from the ground, the larger the size of the estimated marker existing range Am, that is, the radius R, is set by thecontrol unit 12.
As explained above, marker projection onto the image plane of the captured image is performed based on the imaging angle information, but if there is an error in the imaging angle information, the longer the ground distance, the greater the error from the ideal position of the marker projection position. becomes larger. Therefore, as described above, the longer the distance from the ground, the larger the estimated marker existence range.
As a result, it is possible to appropriately set the estimated marker existence range in consideration of the fact that the magnitude of the error in the marker projection position Pm' due to the error in the imaging angle information changes depending on the distance from the ground.

　ここで、マーカ４の配置態様と撮像画像の撮像位置・撮像アングルの関係によっては、図９Ａに示すように、マーカ投影位置Ｐｍ’が、対象とする撮像画像の画枠範囲内に検出される場合と、図９Ｂに示すように対象とする撮像画像の画枠範囲外に検出される場合とが有り得る。
　以下の説明では、これら図９Ａ、図９Ｂに示すように、撮像画像の画像座標系を（ｕ，ｖ）座標系で表現する。この場合、画像座標系は、例えば撮像画像の最も左上となる画素を原点（０，０）とした座標系であるとする。撮像画像の水平方向画素数をｗ、垂直方向画素数をｈとすると、撮像画像の画枠範囲は、図示のように（０，０）（０，ｗ）（ｈ，０）（ｈ，ｗ）の四点で囲われた範囲と表現することができる。Here, depending on the arrangement of themarker 4 and the relationship between the imaging position and imaging angle of the captured image, the marker projection position Pm' is detected within the image frame range of the target captured image, as shown in FIG. 9A. There are cases in which the object is detected outside the image frame range of the target captured image, as shown in FIG. 9B.
In the following description, the image coordinate system of the captured image will be expressed as a (u,v) coordinate system, as shown in FIGS. 9A and 9B. In this case, the image coordinate system is assumed to be, for example, a coordinate system with the origin (0, 0) at the upper leftmost pixel of the captured image. Assuming that the number of pixels in the horizontal direction of the captured image is w and the number of pixels in the vertical direction is h, the image frame range of the captured image is (0, 0) (0, w) (h, 0) (h, w ) can be expressed as the range surrounded by the four points.

　このとき、検出されたマーカ投影位置Ｐｍ’が画枠範囲から大幅に離れている撮像画像については、マーカ４が写されている可能性が低い画像であると言うことができ、そのような画像がマーカ検出作業において表示されることは、作業効率の向上を図る上で望ましくないと言える。
　そこで、本実施形態では、検出されたマーカ投影位置Ｐｍ’が画枠範囲から大幅に離れている撮像画像については、推定マーカ存在範囲Ａｍやマーカ投影位置Ｐｍ’の対応づけの対象から除外する。At this time, it can be said that a captured image in which the detected marker projection position Pm' is significantly away from the image frame range is an image in which themarker 4 is unlikely to be captured, and such an image It can be said that it is undesirable for the marker detection work to be displayed in order to improve work efficiency.
Therefore, in the present embodiment, captured images in which the detected marker projection position Pm' is significantly away from the image frame range are excluded from the targets of association of the estimated marker existing range Am and the marker projection position Pm'.

　具体的に、制御部１２は、図１０に示す手法により、マーカ４が写されている可能性が低い画像を除外する。
　図１０では、撮像画像の画像平面上に設定する判定範囲を例示している。
　具体的に、判定範囲としては、（０，０）（０，ｗ）（ｈ，０）（ｈ，ｗ）の四点で表される撮像画像の画枠範囲（図中、実線の範囲）を基準として、この画枠範囲を上下方向にそれぞれ２Ｒ分だけ拡張した、（－２Ｒ，０）（－２Ｒ，ｗ）（ｈ＋２Ｒ，０）（ｈ＋２Ｒ，ｗ）の四点で表される第一範囲（図中、点線の範囲）と、画枠範囲を左右方向にそれぞれ２Ｒ分だけ拡張した（０，－２Ｒ）（０，ｗ＋２Ｒ）（ｈ，－２Ｒ）（ｈ，ｗ＋２Ｒ）の四点で表される第二範囲（図中、一点鎖線の範囲）と、画枠範囲のそれぞれ四隅の点を中心とした半径２Ｒの範囲である第三範囲（図中、それぞれ二点鎖線で示す範囲）とを定める。
　制御部１２は、撮像画像ごとに、検出したマーカ投影位置Ｐｍ’がこれら第一範囲、第二範囲、第三範囲のうちの何れかの範囲内に位置するか否かを判定し、肯定結果が得られた場合は、その撮像画像が、マーカ４が写されている可能性が高い画像としての「マーカ含候補画像」であるとの判定結果を得る。そして、本例において制御部１２は、マーカ含候補画像として判定された撮像画像を対象として、その撮像画像について検出したマーカ投影位置Ｐｍ’の情報、及び推定マーカ存在範囲Ａｍの情報を対応づける。具体的には、マーカ含候補画像として判定された撮像画像に対してのみ、その撮像画像について検出したマーカ投影位置Ｐｍ’の情報及び推定マーカ存在範囲Ａｍの情報を対応づける。Specifically, thecontrol unit 12 uses the method shown in FIG. 10 to exclude images in which themarker 4 is unlikely to be captured.
FIG. 10 illustrates the determination range set on the image plane of the captured image.
Specifically, the determination range is the image frame range of the captured image represented by the four points (0, 0) (0, w) (h, 0) (h, w) (the range indicated by the solid line in the figure). The first image frame range is expanded by 2R in the vertical direction using range (the dotted line range in the figure) and the four points (0, -2R) (0, w + 2R) (h, -2R) (h, w + 2R), which are the image frame range extended by 2R in the left and right directions. The second range represented (the range indicated by the dashed-dot line in the figure) and the third range, which is a range ofradius 2R centered on the four corner points of the image frame range (the range indicated by the dashed-double line in the figure) Establish.
Thecontrol unit 12 determines, for each captured image, whether the detected marker projection position Pm' is located within any one of the first range, second range, and third range, and determines a positive result. If this is the case, a determination result is obtained that the captured image is a "marker-containing candidate image", which is an image in which themarker 4 is likely to be captured. In this example, thecontrol unit 12 associates the information about the marker projection position Pm' detected for the captured image with the information about the estimated marker existing range Am for the captured image determined as a marker-containing candidate image. Specifically, information on the marker projection position Pm' detected for the captured image and information on the estimated marker existing range Am are associated only with the captured image determined as a marker-containing candidate image.

　このとき、撮像画像に対するマーカ投影位置Ｐｍ’の情報及び推定マーカ存在範囲Ａｍの情報の対応づけは、例えば図１１に例示するように、撮像画像の実データに対するメタデータの付与として行う。
　図１１Ａでは、対象の撮像画像について、一つのマーカ４についてのマーカ投影位置Ｐｍ’及び推定マーカ存在範囲Ａｍのみが得られた場合におけるメタデータの付与例を示している。図１１Ｂでは、対象の撮像画像について、二つのマーカ４についてのマーカ投影位置Ｐｍ’及び推定マーカ存在範囲Ａｍが得られた場合におけるメタデータの付与例を示している。At this time, the information on the marker projection position Pm' and the information on the estimated marker existing range Am with respect to the captured image are associated, for example, as metadata added to the actual data of the captured image, as illustrated in FIG.
FIG. 11A shows an example of adding metadata when only the marker projection position Pm' and the estimated marker existence range Am for onemarker 4 are obtained for the captured image of the target. FIG. 11B shows an example of adding metadata when the marker projection position Pm' and the estimated marker existence range Am for the twomarkers 4 are obtained for the captured image of the target.

　ここで、図１０で例示したように本実施形態では、マーカ含候補画像か否かの判定として、マーカ投影位置Ｐｍ’が画枠範囲内に位置するか否かの判定ではなく、画枠範囲と画枠範囲の外側の所定範囲とを含んだ画像平面範囲内に位置するか否かの判定を行うようにしている。Here, as illustrated in FIG. 10, in this embodiment, the determination of whether or not the marker-containing candidate image is made is not by determining whether the marker projection position Pm' is located within the image frame range, but by determining whether or not the marker projection position Pm' is located within the image frame range. It is determined whether or not the image plane is located within an image plane range that includes the image plane and a predetermined range outside the image frame range.

　マーカ投影位置Ｐｍ’は、理想位置からの誤差が生じ得るものであるため、実際にマーカ４が写っている撮像画像についてマーカ投影位置Ｐｍ’を求めても、マーカ投影位置Ｐｍ’は、該撮像画像の画枠範囲の外側に検出される場合がある。そこで、上記のように画枠範囲の外側の範囲も含む画像平面範囲を基準としてマーカ含候補画像の判定を行うことで、そのように実際にはマーカ４が写っていてもマーカ投影位置Ｐｍ’が画枠範囲外に検出される撮像画像を、マーカ含候補画像として正しく検出することが可能となる。
　従って、マーカ含候補画像の判定精度を高めることができる。Since the marker projection position Pm' may have an error from the ideal position, even if the marker projection position Pm' is calculated for the captured image in which themarker 4 actually appears, the marker projection position Pm' will not be the same as that of the captured image. It may be detected outside the image frame range. Therefore, by determining marker-containing candidate images based on the image plane range including the area outside the image frame range as described above, even if themarker 4 is actually shown, the marker projection position Pm' A captured image detected outside the image frame range can be correctly detected as a marker-containing candidate image.
Therefore, the accuracy of determining marker-containing candidate images can be improved.

　なお、上記説明では、推定マーカ存在範囲Ａｍを円形の範囲とする例を挙げたが、推定マーカ存在範囲Ａｍの形状は円形に限定されるものではなく、例えば三角形や矩形、多角形等、他の形状を採用し得るものである。In the above description, an example is given in which the estimated marker existence range Am is a circular range, but the shape of the estimated marker existence range Am is not limited to a circle, and may be, for example, a triangle, a rectangle, a polygon, etc. It is possible to adopt the shape of

　図１２は、上記により説明した実施形態としての情報処理装置１側の処理を実現するために制御部１２（ＣＰＵ）が実行すべき具体的な処理手順例を示したフローチャートである。
　先ず、制御部１２はステップＳ１０１で、画像識別子ｍ、マーカ識別子ｎの値を１にリセットする。ここで、画像識別子ｍは、処理対象とする撮像画像を識別するための識別子であり、マーカ識別子ｎは、対象とするマーカ４を識別するための識別子である。FIG. 12 is a flowchart showing an example of a specific processing procedure that should be executed by the control unit 12 (CPU) in order to realize the processing on theinformation processing device 1 side as the embodiment described above.
First, thecontrol unit 12 resets the values of the image identifier m and the marker identifier n to 1 in step S101. Here, the image identifier m is an identifier for identifying the captured image to be processed, and the marker identifier n is an identifier for identifying themarker 4 to be processed.

　ステップＳ１０１に続くステップＳ１０２で制御部１２は、ｍ番目の画像を選択する処理として、メモリ部１０に記憶された複数の撮像画像のうちからｍ番目の撮像画像を選択する処理を行う。In step S102 following step S101, thecontrol unit 12 performs a process of selecting the m-th captured image from among the plurality of captured images stored in thememory unit 10, as the process of selecting the m-th image.

　ステップＳ１０２に続くステップＳ１０３で制御部１２は、ｎ番目のマーカ４を選択する処理を行い、さらに続くステップＳ１０４で、画像平面に対するマーカ投影処理を行う。すなわち、選択した撮像画像に付与された撮像位置情報及び撮像アングル情報と、選択したマーカ４のマーカ位置情報とに基づき、該マーカ位置情報が示すマーカ位置Ｐｍを、選択した撮像画像の画像平面上に投影してマーカ投影位置Ｐｍ’を検出する。In step S103 following step S102, thecontrol unit 12 performs processing to select the n-th marker 4, and further in subsequent step S104, performs marker projection processing on the image plane. That is, based on the imaging position information and imaging angle information given to the selected captured image and the marker position information of the selectedmarker 4, the marker position Pm indicated by the marker position information is set on the image plane of the selected captured image. The marker projection position Pm' is detected.

　ステップＳ１０４に続くステップＳ１０５で制御部１２は、マーカ投影処理で求まったマーカ投影位置Ｐｍ’を含む推定マーカ存在範囲Ａｍを設定する。前述のように本例では、推定マーカ存在範囲Ａｍは、対地距離に応じてその大きさを設定する。In step S105 following step S104, thecontrol unit 12 sets an estimated marker existence range Am that includes the marker projection position Pm' determined by the marker projection process. As described above, in this example, the size of the estimated marker existence range Am is set according to the distance from the ground.

　ステップＳ１０５に続くステップＳ１０６で制御部１２は、マーカ含候補画像か否かの判定を行う。すなわち先の図１０を参照して説明したように、前述した第一範囲、第二範囲、第三範囲について、検出したマーカ投影位置Ｐｍ’がそれらの範囲の何れかの範囲内に位置しているか否かを判定する。In step S106 following step S105, thecontrol unit 12 determines whether the candidate image contains a marker. That is, as explained with reference to FIG. 10, the detected marker projection position Pm' is located within any of the first range, second range, and third range described above. Determine whether or not there is.

　ステップＳ１０６において、マーカ含候補画像であると判定した場合、制御部１２はステップＳ１０７に進み、マーカ投影位置Ｐｍ’及び推定マーカ存在範囲Ａｍの情報を選択した画像に対応づける処理を行う。具体的に本例では、先の図１１に例示したように、選択した撮像画像に対し、マーカ投影位置Ｐｍ’及び推定マーカ存在範囲Ａｍの情報をメタデータとして付与することで、撮像画像に対してマーカ投影位置Ｐｍ’及び推定マーカ存在範囲Ａｍの情報を対応づける。
　このステップＳ１０６の対応づけ処理を行ったことに応じ、制御部１２はステップＳ１０７に処理を進める。If it is determined in step S106 that the image is a marker-containing candidate image, thecontrol unit 12 proceeds to step S107 and performs a process of associating information on the marker projection position Pm' and estimated marker existing range Am with the selected image. Specifically, in this example, as illustrated in FIG. 11, information on the marker projection position Pm' and the estimated marker existence range Am is added to the selected captured image as metadata, so that the captured image is The marker projection position Pm' and the information on the estimated marker existence range Am are associated with each other.
In response to performing the association process in step S106, thecontrol unit 12 advances the process to step S107.

　一方、ステップＳ１０６でマーカ含候補画像でないと判定した場合、制御部１２はステップＳ１０６の処理をパスしてステップＳ１０７に処理を進める。すなわち、マーカ含候補画像でないと判定された撮像画像に対しては、マーカ投影位置Ｐｍ’及び推定マーカ存在範囲Ａｍの情報の対応づけは行われない。On the other hand, if it is determined in step S106 that the image is not a marker-containing candidate image, thecontrol unit 12 passes the process in step S106 and advances the process to step S107. That is, the information on the marker projection position Pm' and the estimated marker existing range Am is not associated with the captured image that is determined not to be a marker-containing candidate image.

　ステップＳ１０７で制御部１２は、マーカ識別子ｎの値がＮ（マーカ４の総数）に達したか否かを判定する。これは、選択したＭ番目の撮像画像を対象として、全てのマーカ４についてのマーカ投影や推定マーカ存在範囲Ａｍの設定、マーカ含候補画像か否かの判定、及びマーカ含候補画像である場合のマーカ投影位置Ｐｍ’及び推定マーカ存在範囲Ａｍの対応づけが行われたか否かを判定していることに相当する。In step S107, thecontrol unit 12 determines whether the value of the marker identifier n has reached N (the total number of markers 4). This includes setting the marker projection and estimated marker existence range Am for allmarkers 4, determining whether or not the image is a marker-containing candidate image, and determining whether the image is a marker-containing candidate image for the selected M-th captured image. This corresponds to determining whether or not the marker projection position Pm' and the estimated marker existing range Am have been associated.

　ステップＳ１０８において、マーカ識別子ｎの値がＮに達していないと判定した場合、制御部１２はステップＳ１０９に進んでマーカ識別子ｎの値を１インクリメントし、ステップＳ１０３に戻る。If it is determined in step S108 that the value of the marker identifier n has not reached N, thecontrol unit 12 proceeds to step S109, increments the value of the marker identifier n by 1, and returns to step S103.

　一方、ステップＳ１０８でマーカ識別子ｎの値がＮに達していないと判定した場合、制御部１２はステップＳ１１０に進んでマーカ識別子ｎの値を１にリセットした上で、ステップＳ１１１で画像識別子ｍの値がＭ（撮像画像の総数）に達したか否かを判定する。画像識別子ｍの値がＭに達していなければ、制御部１２はステップＳ１１２に進んで画像識別子ｍの値を１インクリメントし、ステップＳ１０２に戻る。これにより、次の撮像画像を対象として、全てのマーカ４についてのマーカ投影や推定マーカ存在範囲Ａｍの設定、マーカ含候補画像か否かの判定、及びマーカ含候補画像である場合のマーカ投影位置Ｐｍ’及び推定マーカ存在範囲Ａｍの対応づけが行われる。On the other hand, if it is determined in step S108 that the value of the marker identifier n has not reached N, thecontrol unit 12 proceeds to step S110, resets the value of the marker identifier n to 1, and then proceeds to step S111 to reset the value of the image identifier m. It is determined whether the value has reached M (total number of captured images). If the value of the image identifier m has not reached M, thecontrol unit 12 proceeds to step S112, increments the value of the image identifier m by 1, and returns to step S102. As a result, for the next captured image, marker projection for allmarkers 4, setting of estimated marker existence range Am, determination of whether the image is a marker-containing candidate image, and marker projection position in the case of a marker-containing candidate image. Pm' and the estimated marker existence range Am are associated with each other.

　一方、ステップＳ１１１で画像識別子ｍの値がＭに達していると判定した場合、制御部１２は図１２に示す一連の処理を終える。
On the other hand, if it is determined in step S111 that the value of the image identifier m has reached M, thecontrol unit 12 ends the series of processes shown in FIG.

＜４．表示制御側の処理＞
　続いて、ユーザ端末２側の処理について説明する。
　図１３は、ユーザ端末２が実行する実施形態としての処理を示したフローチャートである。図１３に示す処理は、ユーザ端末２におけるＣＰＵ２１が例えば記憶部２９等の所定の記憶装置に記憶されたプログラムに基づき実行する。<4. Display control side processing>
Next, processing on theuser terminal 2 side will be explained.
FIG. 13 is a flowchart showing the processing executed by theuser terminal 2 as an embodiment. The process shown in FIG. 13 is executed by theCPU 21 in theuser terminal 2 based on a program stored in a predetermined storage device such as thestorage unit 29, for example.

　先ず、ＣＰＵ２１はステップＳ２０１で、情報処理装置１より画像を入力する処理を行う。すなわち、通信部３０を介したデータ通信によって、情報処理装置１より、先の図１２の処理を経た複数の撮像画像（Ｍ枚の撮像画像）を記憶部２９に記憶させる処理を行う。確認のため述べておくと、図１２の処理を経ることで、Ｍ枚の撮像画像のうちマーカ含候補画像としての撮像画像には、マーカ投影位置Ｐｍ’及び推定マーカ存在範囲Ａｍの情報が対応づけられている。また、マーカ含候補画像としての撮像画像には、複数のマーカ４についてのマーカ投影位置Ｐｍ’及び推定マーカ存在範囲Ａｍの情報が対応づけられている場合もある。First, in step S201, theCPU 21 performs a process of inputting an image from theinformation processing device 1. That is, by data communication via thecommunication unit 30, theinformation processing device 1 performs a process of storing a plurality of captured images (M captured images) that have undergone the process shown in FIG. 12 in thestorage unit 29. For confirmation, by going through the process shown in FIG. 12, information on the marker projection position Pm' and the estimated marker existence range Am corresponds to the captured image as a marker-containing candidate image among the M captured images. It is attached. Further, the captured image as the marker-containing candidate image may be associated with information about the marker projection position Pm' and the estimated marker existing range Am for a plurality ofmarkers 4.

　ステップＳ２０１に続くステップＳ２０２でＣＰＵ２１は、マーカ含候補画像のリストを表示する処理を行う。In step S202 following step S201, theCPU 21 performs processing to display a list of marker-containing candidate images.

　図１４は、表示部２７の表示画面２７ａに表示される作業画面Ｇｓの例を示している。
　作業画面Ｇｓは、ユーザがマーカ検出作業を行う際に表示画面２７ａに表示される画面である。
　図示のように作業画面Ｇｓには、画像表示領域Ａｇが設けられている。この画像表示領域Ａｇは、マーカ検出作業においてユーザに撮像画像の内容を提示するための領域とされる。FIG. 14 shows an example of the work screen Gs displayed on thedisplay screen 27a of thedisplay unit 27.
The work screen Gs is a screen displayed on thedisplay screen 27a when the user performs marker detection work.
As shown in the figure, the work screen Gs is provided with an image display area Ag. This image display area Ag is an area for presenting the content of the captured image to the user during marker detection work.

　ステップＳ２０２の処理において、ＣＰＵ２１は、この作業画面Ｇｓにおいて、図１４に例示するような撮像画像のリストＬｓを表示する。このリストＬｓには、少なくともマーカ含候補画像としての撮像画像のファイル名等の画像識別情報の一覧を表示する。図示の例では、画像識別情報と共に、撮像画像のサムネイル画像を表示するものとしている。
　本例において、ＣＰＵ２１は、このリストＬｓに表示された撮像画像の一覧からユーザにより選択された撮像画像を、画像表示領域Ａｇに表示させる処理を行う。
　このような手法とすることで、対象地域Ａｔを撮像したＭ枚の撮像画像のうち、マーカ含候補画像としての撮像画像が作業画面Ｇｓにおいて優先的に表示（マーカ含候補画像でない撮像画像よりも優先して表示）されるようにしている。In the process of step S202, theCPU 21 displays a list Ls of captured images as illustrated in FIG. 14 on this work screen Gs. This list Ls displays at least a list of image identification information such as file names of captured images as marker-containing candidate images. In the illustrated example, thumbnail images of captured images are displayed together with image identification information.
In this example, theCPU 21 performs a process of displaying a captured image selected by the user from the list of captured images displayed in the list Ls in the image display area Ag.
By adopting such a method, among the M captured images of the target area At, the captured image as a marker-containing candidate image is preferentially displayed on the work screen Gs (over the captured image that is not a marker-containing candidate image). (displayed with priority).

　なお、ここではマーカ含候補画像が優先的に表示されるようにするにあたり、画像表示領域Ａｇに表示する候補画像のリストＬｓにマーカ含候補画像のみを表示するという手法を採る例を挙げたが、マーカ含候補画像が優先的に表示されるようにするための手法はこれに限定されるものではない。
　例えば、ユーザの画像選択操作は受け付けず、マーカ含候補画像を自動的に画像表示領域Ａｇに表示するという手法も考えられる。この場合、表示中のマーカ含候補画像についてマーカ４の写っている位置の指定が完了したことに応じて、次のマーカ含候補画像を画像表示領域Ａｇに表示することが考えられる。Note that in order to preferentially display marker-containing candidate images, an example has been given in which a method is adopted in which only marker-containing candidate images are displayed in the list Ls of candidate images displayed in the image display area Ag. However, the method for preferentially displaying marker-containing candidate images is not limited to this.
For example, a method may be considered in which a candidate image including a marker is automatically displayed in the image display area Ag without accepting the user's image selection operation. In this case, it is conceivable to display the next marker-containing candidate image in the image display area Ag in response to completion of designation of the position of themarker 4 in the currently displayed marker-containing candidate image.

　図１３において、ステップＳ２０２に続くステップＳ２０３でＣＰＵ２１は、リストＬｓから画像が選択されるまで待機し、画像が選択された場合は、ステップＳ２０４で、選択画像に対応づけられたマーカ投影位置Ｐｍ’及び推定マーカ存在範囲Ａｍの視覚化情報を選択画像と共に表示させる処理を行う。In FIG. 13, in step S203 following step S202, theCPU 21 waits until an image is selected from the list Ls, and if an image is selected, in step S204, theCPU 21 moves to a marker projection position Pm' associated with the selected image. Then, a process is performed to display visualization information of the estimated marker existing range Am together with the selected image.

　図１５は、撮像画像、及び撮像画像に対応づけられたマーカ投影位置Ｐｍ’及び推定マーカ存在範囲Ａｍの視覚化情報の表示態様例を示している。
　ステップＳ２０３の表示処理では、この図１５に例示するように、作業画面Ｇｓの画像表示領域ＡｇにおいてリストＬｓから選択された撮像画像を表示させる。
　また、この選択された撮像画像に対応づけられたマーカ投影位置Ｐｍ’、推定マーカ存在範囲Ａｍの視覚化情報として、それぞれ図中に例示するようなマーカ位置視覚化情報Ｖｐｍ、マーカ範囲視覚化情報Ｖａｍを表示させる。
　このとき、マーカ位置視覚化情報Ｖｐｍ、マーカ範囲視覚化情報Ｖａｍとしては、それぞれ、撮像画像に対応づけられたマーカ投影位置Ｐｍ’の情報、推定マーカ存在範囲Ａｍの情報が示す画像座標系の位置情報に従った位置に表示させる。FIG. 15 shows an example of a display mode of a captured image and visualization information of the marker projection position Pm' and estimated marker existing range Am associated with the captured image.
In the display process of step S203, as illustrated in FIG. 15, the captured image selected from the list Ls is displayed in the image display area Ag of the work screen Gs.
Furthermore, as visualization information of the marker projection position Pm' and estimated marker existence range Am associated with the selected captured image, marker position visualization information Vpm and marker range visualization information as illustrated in the figure, respectively. Display Vam.
At this time, the marker position visualization information Vpm and the marker range visualization information Vam are the positions in the image coordinate system indicated by the information of the marker projection position Pm' and the information of the estimated marker existing range Am, respectively, which are associated with the captured image. Display in the position according to the information.

　ここで、前述もしたように、マーカ投影位置Ｐｍ’は、必ずしも撮像画像の画枠範囲内に検出されるとは限らないものであり、マーカ位置視覚化情報Ｖｐｍとしては、図１６に例示するように、撮像画像の画枠範囲外となる位置に表示される場合もある。同様に、マーカ範囲視覚化情報Ｖａｍとしては、少なくとも一部が撮像画像の画枠範囲外にはみ出して表示される場合もある。
　本例では、このようにマーカ位置視覚化情報Ｖｐｍが撮像画像の画枠範囲外に表示されたり、マーカ範囲視覚化情報Ｖａｍの少なくとも一部が撮像画像の画枠範囲外にはみ出したりすることを想定して、画像表示領域Ａｇのサイズを、撮像画像の画枠サイズよりも大きくしている。Here, as mentioned above, the marker projection position Pm' is not necessarily detected within the image frame range of the captured image, and the marker position visualization information Vpm is illustrated in FIG. In some cases, the image may be displayed at a position outside the image frame of the captured image. Similarly, at least a portion of the marker range visualization information Vam may be displayed extending outside the image frame range of the captured image.
In this example, the marker position visualization information Vpm is displayed outside the image frame range of the captured image, or at least a part of the marker range visualization information Vam protrudes outside the image frame range of the captured image. Assuming this, the size of the image display area Ag is made larger than the image frame size of the captured image.

　なお、確認のため述べておくと、撮像画像によっては複数のマーカ４についてマーカ投影位置Ｐｍ’及び推定マーカ存在範囲Ａｍの情報が対応づけられている場合もあるため、図１７に例示するように、作業画面Ｇｓにおいては、１枚の撮像画像の表示に対して、複数のマーカ４についてのマーカ位置視覚化情報Ｖｐｍ及びマーカ範囲視覚化情報Ｖａｍが表示され得る。For confirmation, information on the marker projection position Pm' and the estimated marker existence range Am may be associated with a plurality ofmarkers 4 depending on the captured image, so as illustrated in FIG. , on the work screen Gs, marker position visualization information Vpm and marker range visualization information Vam for a plurality ofmarkers 4 may be displayed for displaying one captured image.

　ここで、本実施形態では、マーカ範囲視覚化情報Ｖａｍについては、何れのマーカの推定マーカ存在範囲Ａｍであるかを示すマーカ識別情報Ｖｒを含む視覚化情報として表示させるものとしている（図１５から図１７参照）。具体的に本例では、マーカ識別情報Ｖｒとしては、マーカ４の識別番号を示す情報を表示させるものとしている。
　これにより、表示された撮像画像内に写されたマーカ４がどのマーカ４であるかを同定する作業について容易化を図ることが可能となる。Here, in this embodiment, the marker range visualization information Vam is displayed as visualization information including marker identification information Vr indicating which marker's estimated marker existence range Am belongs to (see FIG. 15). (See Figure 17). Specifically, in this example, information indicating the identification number of themarker 4 is displayed as the marker identification information Vr.
This makes it possible to facilitate the task of identifying whichmarker 4 captured in the displayed captured image is.

　なお、推定マーカ存在範囲の視覚化情報を何れのマーカの推定マーカ存在範囲であるかが示されるように表示させる手法については、上記のようなマーカ識別番号を示すマーカ識別情報Ｖｒを表示させる手法に限定されるものではない。例えば、マーカ４ごとに、そのマーカ４に対応するマーカ範囲視覚化情報Ｖａｍの色や形状を定義しておき、マーカ４に応じた色、形状によるマーカ範囲視覚化情報Ｖａｍを表示させる等の手法も考えられる。As for the method of displaying the visualization information of the estimated marker existence range in such a way as to indicate which marker the estimated marker existence range belongs to, there is a method of displaying the marker identification information Vr indicating the marker identification number as described above. It is not limited to. For example, for eachmarker 4, define the color and shape of the marker range visualization information Vam corresponding to thatmarker 4, and display the marker range visualization information Vam with the color and shape corresponding to themarker 4. can also be considered.

　図１３において、ステップＳ２０４に続くステップＳ２０５でＣＰＵ２１は、マーカ位置指定受け付け処理を実行する。すなわち、図１５から図１７で例示したような撮像画像、マーカ位置視覚化情報Ｖｐｍ、及びマーカ範囲視覚化情報Ｖａｍの表示状態において、ユーザによるマーカ４の位置の指定操作を受け付ける処理である。
　このとき、マーカ４の位置の指定操作は、例えば表示されたマーカ位置視覚化情報Ｖｐｍをドラッグして位置を指定する操作等とすることが考えられる。
　ステップＳ２０４の受け付け処理において、ユーザによりマーカ４の位置を指定する操作が行われた場合、ＣＰＵ２１はステップＳ２０６に処理を進める。In FIG. 13, in step S205 following step S204, theCPU 21 executes marker position designation acceptance processing. That is, this is a process of accepting an operation for specifying the position of themarker 4 by the user in the display state of the captured image, the marker position visualization information Vpm, and the marker range visualization information Vam as illustrated in FIGS. 15 to 17.
At this time, the operation of specifying the position of themarker 4 may be, for example, an operation of specifying the position by dragging the displayed marker position visualization information Vpm.
In the acceptance process of step S204, if the user performs an operation to specify the position of themarker 4, theCPU 21 advances the process to step S206.

　ステップＳ２０６でＣＰＵ２１は、処理終了条件が成立したか否かを判定する。すなわち、例えば作業画面Ｇｓを閉じる操作等、予め処理終了条件として定められた所定の条件の成立有無を判定する。In step S206, theCPU 21 determines whether the processing end condition is satisfied. That is, it is determined whether or not a predetermined condition, such as an operation to close the work screen Gs, which is determined in advance as a process end condition, is met.

　ステップＳ２０６において、処理終了条件が成立していないと判定した場合、ＣＰＵ２１はステップＳ２０３に戻る。これによりユーザは、次の撮像画像（本例ではマーカ含候補画像）をリストＬｓから選択して表示させ、該選択した撮像画像を対象としたマーカ位置の指定操作を行うことができる。If it is determined in step S206 that the processing end condition is not satisfied, theCPU 21 returns to step S203. This allows the user to select and display the next captured image (in this example, a marker-containing candidate image) from the list Ls, and to specify the marker position for the selected captured image.

　一方、ステップＳ２０６で処理終了条件が成立したと判定した場合、ＣＰＵ２１は図１３に示す一連の処理を終える。
On the other hand, if it is determined in step S206 that the processing end condition is satisfied, theCPU 21 ends the series of processing shown in FIG.

＜５．変形例＞
　以上、本技術に係る実施形態について説明したが、本技術は、上記した具体例に限定されるものでなく、多様な変形例としての構成を採り得る。
　例えば上記では、撮像画像に対して推定マーカ存在範囲Ａｍの情報を対応づける例として、推定マーカ存在範囲Ａｍの情報を撮像画像のメタデータとして付与する例を挙げたが、撮像画像に対する推定マーカ存在範囲Ａｍの情報を対応づけは、例えば撮像画像のファイル名等の画像識別情報と推定マーカ存在範囲Ａｍとの対応関係を示す対応関係情報を生成することで行う等、他の手法により行うこともできる。<5. Modified example>
Although the embodiments according to the present technology have been described above, the present technology is not limited to the above-described specific example, and can take configurations as various modified examples.
For example, in the above example, as an example of associating information on the estimated marker existing range Am with the captured image, an example was given in which information on the estimated marker existing range Am is added as metadata of the captured image. The information on the range Am may be associated with other methods, such as by generating correspondence information indicating the correspondence between image identification information such as the file name of the captured image and the estimated marker existing range Am. can.

　また、上記では、マーカ範囲視覚化情報Ｖａｍを表示部（表示部２７）に表示させる制御を行う表示制御部（本例ではＣＰＵ２１）と表示部２７とが同一装置内に設けられた例を示したが、表示制御部を備える装置と表示部を備える装置とを別体とする構成も考えられる。Furthermore, in the above example, the display control unit (in this example, the CPU 21) that controls displaying the marker range visualization information Vam on the display unit (display unit 27) and thedisplay unit 27 are provided in the same device. However, a configuration is also conceivable in which the device including the display control section and the device including the display section are separate bodies.

　また、上記では、撮像画像に対するマーカ投影処理や推定マーカ存在範囲Ａｍの情報の対応づけ処理を行う装置（情報処理装置１）と、上記の表示制御部を有する装置（ユーザ端末２）とが別体とされた例を挙げたが、これらの装置を一体に構成することも考えられる。
　また、撮像画像に対するマーカ投影処理や推定マーカ存在範囲Ａｍの情報の対応づけ処理を行う装置は、対象地域Ａｔの撮像を行う撮像装置と一体に構成されることも考えられる。Furthermore, in the above, a device (information processing device 1) that performs marker projection processing on a captured image and a matching process of information on estimated marker existence range Am is separated from a device (user terminal 2) having the above-mentioned display control unit. Although we have given an example in which these devices are integrated, it is also possible to configure these devices in one piece.
Further, it is also conceivable that the device that performs the marker projection process on the captured image and the process of associating information on the estimated marker existing range Am is configured integrally with the imaging device that performs the image capture of the target area At.

　また、上記では、本技術に係る撮像装置を移動させるための移動体Ｍの例として飛行体を挙げたが、移動体Ｍは飛行体に限定されるものではない。例えば、先端部に撮像装置が取り付けられた棒状部材（長尺物）を支持する車両等の走行体を走行させることで、飛行体を用いた場合と同様に、高所から地面側を移動しながら撮像することが可能である。
Further, in the above description, a flying object was cited as an example of the moving object M for moving the imaging device according to the present technology, but the moving object M is not limited to a flying object. For example, by running a traveling object such as a vehicle that supports a rod-shaped member (long object) with an imaging device attached to the tip, it is possible to move from a high place to the ground side, similar to when using a flying object. It is possible to take images while

＜６．実施形態のまとめ＞
　以上で説明したように実施形態としての情報処理装置（同１）は、マーカ（同４）が配置された対象地域（同Ａｔ）を撮像して得られた撮像画像の撮像位置を示す情報である撮像位置情報と、撮像画像の撮像アングルを示す情報である撮像アングル情報と、マーカの配置位置を示す情報であるマーカ位置情報とに基づき、撮像画像の画像平面にマーカの位置を投影し、投影されたマーカの位置であるマーカ投影位置（同Ｐｍ’）を含む画像平面上の範囲を推定マーカ存在範囲（同Ａｍ）として設定し、推定マーカ存在範囲の情報を撮像画像に対応づける処理を行う演算部（制御部１２）を備えたものである。
　上記のように撮像画像に推定マーカ存在範囲の情報を対応づけることで、撮像画像の表示時において、撮像画像と共に推定マーカ存在範囲の視覚化情報を表示することが可能となり、ユーザは、表示された推定マーカ存在範囲を元に、撮像画像内に写されたマーカの同定やマーカ位置の特定をし易くなる。
　従って、マーカ検出作業の効率化を図ることができる。
　ここで、マーカ検出作業は、例えば、撮像画像についての画像認識処理を用いて、画像内におけるマーカ位置を特定する処理を行うことで自動化することも考えられる。しかしながら、対象地域を撮像した大量の撮像画像について、個々にマーカ位置特定のための画像認識処理をマーカごとに行うことは情報処理装置の処理負担や処理時間の増大化を招く。
　これに対し、本実施形態の手法によれば、撮像画像に対する画像解析として少なくともマーカ投影処理のみを行えばよく、画像認識処理を行う場合よりも大幅に処理負担や処理時間の軽減を図ることができる。<6. Summary of embodiments>
As explained above, the information processing apparatus (1) according to the embodiment uses information indicating the imaging position of the captured image obtained by imaging the target area (At) where the marker (4) is placed. Projecting the position of the marker on the image plane of the captured image based on certain imaging position information, imaging angle information that is information indicating the imaging angle of the captured image, and marker position information that is information indicating the arrangement position of the marker, The range on the image plane including the marker projection position (Pm'), which is the position of the projected marker, is set as the estimated marker existence range (Am), and the process of associating the information of the estimated marker existence range with the captured image is performed. It is equipped with an arithmetic unit (control unit 12) that performs the calculation.
By associating information about the estimated marker existing range with the captured image as described above, when displaying the captured image, it becomes possible to display visualization information about the estimated marker existing range together with the captured image, and the user can Based on the estimated marker existence range, it becomes easier to identify the marker captured in the captured image and to specify the marker position.
Therefore, it is possible to improve the efficiency of marker detection work.
Here, the marker detection work may be automated by, for example, performing a process of specifying the marker position within the image using image recognition processing of the captured image. However, performing image recognition processing for identifying marker positions individually for each marker on a large number of captured images of a target area increases the processing load and processing time on the information processing device.
In contrast, according to the method of this embodiment, at least only marker projection processing needs to be performed as image analysis for the captured image, and the processing load and processing time can be significantly reduced compared to the case where image recognition processing is performed. can.

　また、実施形態としての情報処理装置においては、対象地域を異なる位置から撮像して得られた複数の撮像画像に基づいて対象地域の三次元点群を生成する点群生成部（同１１）を備えている。
　これにより、対象地域の三次元測量のために撮像された複数の撮像画像を対象としたマーカ検出作業について、作業の効率化を図ることができる。Furthermore, the information processing apparatus according to the embodiment includes a point cloud generation unit (11) that generates a three-dimensional point cloud of the target area based on a plurality of captured images obtained by capturing the target area from different positions. We are prepared.
Thereby, it is possible to improve the efficiency of marker detection work that targets a plurality of captured images taken for three-dimensional surveying of a target area.

　さらに、実施形態としての情報処理装置においては、演算部は、対象地域を異なる位置から撮像して得られた複数の撮像画像のうちから、画枠範囲を基準とした所定の画像平面範囲内にマーカ投影位置が位置する撮像画像をマーカ含候補画像として検出し、マーカ含候補画像を対象として推定マーカ存在範囲の情報を対応づけている。
　これにより、マーカ検出作業のために撮像画像を表示する際、推定マーカ存在範囲が対応づけられた撮像画像をマーカ含候補画像として認識することが可能となり、マーカ含候補画像が優先的に表示されるようにすることが可能となる。
　従って、マーカ検出作業において、ユーザにマーカが写っている撮像画像を特定させる必要をなくすことが可能となり、その点でマーカ検出作業の効率化を図ることができる。Furthermore, in the information processing device according to the embodiment, the calculation unit selects a plurality of captured images obtained by capturing the target area from different positions within a predetermined image plane range based on the image frame range. A captured image in which a marker projection position is located is detected as a marker-containing candidate image, and information on an estimated marker existing range is associated with the marker-containing candidate image.
As a result, when displaying captured images for marker detection work, it is possible to recognize captured images associated with the estimated marker existence range as marker-containing candidate images, and marker-containing candidate images are displayed preferentially. It becomes possible to make it so that
Therefore, in the marker detection work, it is possible to eliminate the need for the user to specify the captured image in which the marker is shown, and in this respect, it is possible to improve the efficiency of the marker detection work.

　さらにまた、実施形態としての情報処理装置においては、演算部は、マーカ含候補画像か否かの判定として、マーカ投影位置が画枠範囲と画枠範囲の外側の所定範囲とを含んだ画像平面範囲内に位置するか否かの判定を行っている（図１０参照）。
　マーカ投影位置は、理想位置からの誤差が生じ得るものであるため、実際にマーカが写っている撮像画像についてマーカ投影位置を求めても、マーカ投影位置は、該撮像画像の画枠範囲の外側に検出される場合がある。そこで、上記のように画枠範囲の外側の範囲も含む画像平面範囲を基準としてマーカ含候補画像の判定を行うことで、そのように実際にはマーカが写っていてもマーカ投影位置が画枠範囲外に検出される撮像画像を、マーカ含候補画像として正しく検出することが可能となる。
　従って、マーカ含候補画像の判定精度を高めることができる。Furthermore, in the information processing apparatus according to the embodiment, the calculation unit determines whether the image is a marker-containing candidate image or not on an image plane in which the marker projection position includes an image frame range and a predetermined range outside the image frame range. It is determined whether the location is within the range (see FIG. 10).
Since the marker projection position may have an error from the ideal position, even if the marker projection position is determined for a captured image in which the marker actually appears, the marker projection position may be outside the image frame range of the captured image. may be detected. Therefore, as described above, by determining marker-containing candidate images based on the image plane range that includes the area outside the image frame range, even if the marker is actually shown, the marker projection position is not within the image frame. It becomes possible to correctly detect a captured image detected outside the range as a marker-containing candidate image.
Therefore, the accuracy of determining marker-containing candidate images can be improved.

　また、実施形態としての情報処理装置においては、演算部は、撮像画像の撮像位置からの対地距離に応じて該撮像画像に対する推定マーカ存在範囲の大きさを可変的に設定している（図８参照）。
　撮像画像の画像平面に対するマーカ投影は撮像アングル情報に基づき行われるが、撮像アングル情報に誤差がある場合には、対地距離が長いほどマーカ投影位置の理想位置からの誤差が大きくなる。そこで、上記のように対地距離に応じて推定マーカ存在範囲の大きさを可変的に設定することで、対地距離が長いほど推定マーカ存在範囲の大きさを大きくすることが可能となる。
　従って、撮像アングル情報の誤差に起因したマーカ投影位置の誤差の大きさが対地距離に応じて変化することを考慮した適切な推定マーカ存在範囲の設定を行うことができる。Further, in the information processing device according to the embodiment, the calculation unit variably sets the size of the estimated marker existence range for the captured image according to the ground distance from the imaging position of the captured image (FIG. 8 reference).
Marker projection onto the image plane of the captured image is performed based on the imaging angle information, but if there is an error in the imaging angle information, the longer the ground distance, the greater the error from the ideal position of the marker projection position. Therefore, by variably setting the size of the estimated marker existing range according to the ground distance as described above, it becomes possible to increase the size of the estimated marker existing range as the ground distance becomes longer.
Therefore, it is possible to appropriately set the estimated marker existence range in consideration of the fact that the magnitude of the error in the marker projection position due to the error in the imaging angle information changes depending on the distance from the ground.

　さらに、実施形態としての情報処理装置においては、推定マーカ存在範囲は円形の範囲とされ、演算部は、対地距離に応じて推定マーカ存在範囲の半径の大きさを可変的に設定している。
　これにより、推定マーカ存在範囲が円形範囲である場合に対応して、対地距離に応じた適切な推定マーカ存在範囲の設定を行うことができる。Further, in the information processing device according to the embodiment, the estimated marker existing range is a circular range, and the calculation unit variably sets the size of the radius of the estimated marker existing range according to the distance from the ground.
Thereby, in response to the case where the estimated marker existing range is a circular range, it is possible to appropriately set the estimated marker existing range according to the distance from the ground.

　また、実施形態としての情報処理方法は、情報処理装置が、マーカが配置された対象地域を撮像して得られた撮像画像の撮像位置を示す情報である撮像位置情報と、撮像画像の撮像アングルを示す情報である撮像アングル情報と、マーカの配置位置を示す情報であるマーカ位置情報とに基づき、撮像画像の画像平面にマーカの位置を投影し、投影されたマーカの位置であるマーカ投影位置を含む画像平面上の範囲を推定マーカ存在範囲として設定し、推定マーカ存在範囲の情報を撮像画像に対応づける処理を行う情報処理方法である。
　このような情報処理方法によっても、上記した実施形態としての情報処理装置と同様の作用及び効果が得られる。Further, in the information processing method as an embodiment, the information processing apparatus collects imaging position information, which is information indicating the imaging position of a captured image obtained by imaging a target area where a marker is placed, and an imaging angle of the captured image. The position of the marker is projected onto the image plane of the captured image based on the imaging angle information, which is information indicating the location of the marker, and the marker position information, which is information indicating the placement position of the marker, and the marker projection position, which is the position of the projected marker, is determined. This is an information processing method that sets a range on an image plane including the estimated marker existing range as an estimated marker existing range, and performs a process of associating information on the estimated marker existing range with a captured image.
With such an information processing method, the same operations and effects as those of the information processing apparatus as the embodiment described above can be obtained.

　実施形態としての表示制御装置（ユーザ端末２）は、マーカが配置された対象地域を撮像して得られた撮像画像であって、画像平面にマーカの位置を投影することによって画像平面上に検出されたマーカ投影位置を含む画像平面上の範囲として設定された推定マーカ存在範囲の情報が対応づけられた撮像画像について、推定マーカ存在範囲の視覚化情報を、撮像画像と共に表示部に表示させる処理を行う表示制御部（ＣＰＵ２１）を備えたものである。
　これにより、マーカ検出作業のために撮像画像を表示する場合に対応して、撮像画像と共に、推定マーカ存在範囲の視覚化情報を表示することが可能となり、ユーザは、表示された推定マーカ存在範囲を元に、撮像画像内に写されたマーカの同定やマーカ位置の特定をし易くなる。
　従って、マーカ検出作業の効率化を図ることができる。The display control device (user terminal 2) according to the embodiment detects a captured image obtained by capturing a target area in which a marker is placed, on the image plane by projecting the position of the marker on the image plane. A process of displaying visualization information of the estimated marker existing range on a display unit together with the captured image, with respect to the captured image associated with the information of the estimated marker existing range, which is set as a range on the image plane including the projected marker projection position. It is equipped with a display control unit (CPU 21) that performs the following.
As a result, when displaying a captured image for marker detection work, it becomes possible to display visualization information of the estimated marker existing range along with the captured image, and the user can view the displayed estimated marker existing range. Based on this, it becomes easier to identify the marker captured in the captured image and to specify the marker position.
Therefore, it is possible to improve the efficiency of marker detection work.

　また、実施形態としての表示制御装置においては、表示制御部は、推定マーカ存在範囲の情報が対応づけられた撮像画像が、推定マーカ存在範囲の情報が対応づけられていない撮像画像よりも優先的に表示されるように制御している。
　例えば、推定マーカ存在範囲の情報が対応づけられた撮像画像のリストをユーザに提示し、該リストから表示画像を選択させる等により、推定マーカ存在範囲の情報が対応づけられた撮像画像が優先的に表示されるようにする。
　これにより、マーカが写っている可能性の低い撮像画像が表示されることの防止を図ることができ、マーカ検出作業の効率化を図ることができる。Further, in the display control device according to the embodiment, the display control unit gives priority to the captured image to which the information of the estimated marker existence range is associated, over the captured image to which the information of the estimated marker existence range is not associated. It is controlled so that it is displayed.
For example, by presenting a list of captured images associated with information on the estimated marker existing range to the user and having the user select a display image from the list, the captured image associated with the information on the estimated marker existing range is prioritized. to be displayed.
Thereby, it is possible to prevent a captured image that is unlikely to include a marker from being displayed, and it is possible to improve the efficiency of marker detection work.

　さらに、実施形態としての表示制御装置においては、対象地域には複数のマーカが配置され、撮像画像には、マーカごとに推定マーカ存在範囲の情報が対応づけられ、表示制御部は、何れのマーカの推定マーカ存在範囲であるかが示されるように推定マーカ存在範囲の視覚化情報を表示部に表示させている。
　これにより、表示された撮像画像内に写されたマーカがどのマーカであるかを同定する作業について容易化を図ることが可能となる。
　従って、マーカ検出作業の効率化を図ることができる。Furthermore, in the display control device according to the embodiment, a plurality of markers are arranged in the target area, and information on the estimated marker existence range is associated with each marker in the captured image, and the display control unit is configured to Visualization information of the estimated marker existing range is displayed on the display unit so as to indicate whether the estimated marker existing range is within the estimated marker existing range.
This makes it possible to facilitate the task of identifying which marker is captured in the displayed captured image.
Therefore, it is possible to improve the efficiency of marker detection work.

　また、実施形態としての表示制御方法は、表示制御装置が、マーカが配置された対象地域を撮像して得られた撮像画像であって、画像平面にマーカの位置を投影することによって画像平面上に検出されたマーカ投影位置を含む画像平面上の範囲として設定された推定マーカ存在範囲の情報が対応づけられた撮像画像について、推定マーカ存在範囲の視覚化情報を、撮像画像と共に表示部に表示させる処理を行う表示制御方法である。
　このような表示制御方法によっても、上記した実施形態としての表示制御装置と同様の作用及び効果が得られる。Further, in the display control method according to the embodiment, the display control device captures a captured image obtained by capturing a target area in which markers are arranged, and projects the position of the marker onto the image plane. Visualization information of the estimated marker existing range is displayed on the display unit along with the captured image for the captured image to which the information of the estimated marker existing range is associated, which is set as the range on the image plane including the marker projection position detected in This is a display control method that performs processing to
Such a display control method also provides the same functions and effects as the display control device as the embodiment described above.

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
Note that the effects described in this specification are merely examples and are not limiting, and other effects may also exist.

＜７．本技術＞
　本技術は以下のような構成を採ることもできる。
（１）
　マーカが配置された対象地域を撮像して得られた撮像画像の撮像位置を示す情報である撮像位置情報と、前記撮像画像の撮像アングルを示す情報である撮像アングル情報と、前記マーカの配置位置を示す情報であるマーカ位置情報とに基づき、前記撮像画像の画像平面に前記マーカの位置を投影し、投影された前記マーカの位置であるマーカ投影位置を含む前記画像平面上の範囲を推定マーカ存在範囲として設定し、前記推定マーカ存在範囲の情報を前記撮像画像に対応づける処理を行う演算部を備えた
　情報処理装置。
（２）
　前記対象地域を異なる位置から撮像して得られた複数の前記撮像画像に基づいて前記対象地域の三次元点群を生成する点群生成部を備えた
　前記（１）に記載の情報処理装置。
（３）
　前記演算部は、
　前記対象地域を異なる位置から撮像して得られた複数の前記撮像画像のうちから、画枠範囲を基準とした所定の画像平面範囲内に前記マーカ投影位置が位置する撮像画像をマーカ含候補画像として検出し、前記マーカ含候補画像を対象として前記推定マーカ存在範囲の情報を対応づける
　前記（１）又は（２）に記載の情報処理装置。
（４）
　前記演算部は、
　前記マーカ含候補画像か否かの判定として、前記マーカ投影位置が前記画枠範囲と前記画枠範囲の外側の所定範囲とを含んだ画像平面範囲内に位置するか否かの判定を行う
　前記（３）に記載の情報処理装置。
（５）
　前記演算部は、
　前記撮像画像の撮像位置からの対地距離に応じて該撮像画像に対する前記推定マーカ存在範囲の大きさを可変的に設定する
　前記（１）から（４）の何れかに記載の情報処理装置。
（６）
　前記推定マーカ存在範囲は円形の範囲とされ、
　前記演算部は、
　前記対地距離に応じて前記推定マーカ存在範囲の半径の大きさを可変的に設定する
　前記（５）に記載の情報処理装置。
（７）
　情報処理装置が、
　マーカが配置された対象地域を撮像して得られた撮像画像の撮像位置を示す情報である撮像位置情報と、前記撮像画像の撮像アングルを示す情報である撮像アングル情報と、前記マーカの配置位置を示す情報であるマーカ位置情報とに基づき、前記撮像画像の画像平面に前記マーカの位置を投影し、投影された前記マーカの位置であるマーカ投影位置を含む前記画像平面上の範囲を推定マーカ存在範囲として設定し、前記推定マーカ存在範囲の情報を前記撮像画像に対応づける処理を行う
　情報処理方法。
（８）
　マーカが配置された対象地域を撮像して得られた撮像画像であって、画像平面に前記マーカの位置を投影することによって前記画像平面上に検出されたマーカ投影位置を含む前記画像平面上の範囲として設定された推定マーカ存在範囲の情報が対応づけられた前記撮像画像について、前記推定マーカ存在範囲の視覚化情報を、前記撮像画像と共に表示部に表示させる処理を行う表示制御部を備えた
　表示制御装置。
（９）
　前記表示制御部は、
　前記推定マーカ存在範囲の情報が対応づけられた前記撮像画像が、前記推定マーカ存在範囲の情報が対応づけられていない前記撮像画像よりも優先的に表示されるように制御する
　前記（８）に記載の表示制御装置。
（１０）
　前記対象地域には複数の前記マーカが配置され、
　前記撮像画像には、前記マーカごとに前記推定マーカ存在範囲の情報が対応づけられ、
　前記表示制御部は、
　何れの前記マーカの前記推定マーカ存在範囲であるかが示されるように前記推定マーカ存在範囲の視覚化情報を前記表示部に表示させる
　前記（８）又は（９）に記載の表示制御装置。
（１１）
　表示制御装置が、
　マーカが配置された対象地域を撮像して得られた撮像画像であって、画像平面に前記マーカの位置を投影することによって前記画像平面上に検出されたマーカ投影位置を含む前記画像平面上の範囲として設定された推定マーカ存在範囲の情報が対応づけられた前記撮像画像について、前記推定マーカ存在範囲の視覚化情報を、前記撮像画像と共に表示部に表示させる処理を行う
　表示制御方法。<7. This technology>
The present technology can also adopt the following configuration.
(1)
Imaging position information, which is information indicating the imaging position of a captured image obtained by imaging the target area where the marker is placed; imaging angle information, which is information indicating the imaging angle of the captured image; and the placement position of the marker. The position of the marker is projected onto the image plane of the captured image based on the marker position information, which is information indicating the marker position, and the range on the image plane including the marker projection position, which is the projected position of the marker, is estimated. An information processing device, comprising: a calculation unit that performs a process of setting information on the estimated marker existence range as an existence range and associating information of the estimated marker existence range with the captured image.
(2)
The information processing device according to (1), further comprising a point cloud generation unit that generates a three-dimensional point group of the target area based on the plurality of captured images obtained by capturing the target area from different positions.
(3)
The arithmetic unit is
Among the plurality of captured images obtained by capturing the target area from different positions, captured images in which the marker projection position is located within a predetermined image plane range based on the image frame range are selected as marker-containing candidate images. The information processing device according to (1) or (2) above, wherein information about the estimated marker existing range is associated with the marker-containing candidate image.
(4)
The arithmetic unit is
In determining whether the image is a marker-containing candidate image, it is determined whether the marker projection position is located within an image plane range that includes the image frame range and a predetermined range outside the image frame range. The information processing device according to (3).
(5)
The arithmetic unit is
The information processing device according to any one of (1) to (4), wherein the size of the estimated marker existing range for the captured image is variably set according to the ground distance from the imaging position of the captured image.
(6)
The estimated marker existence range is a circular range,
The arithmetic unit is
The information processing device according to (5), wherein the size of the radius of the estimated marker existing range is variably set according to the distance from the ground.
(7)
The information processing device
Imaging position information, which is information indicating the imaging position of a captured image obtained by imaging the target area where the marker is placed; imaging angle information, which is information indicating the imaging angle of the captured image; and the placement position of the marker. The position of the marker is projected onto the image plane of the captured image based on the marker position information, which is information indicating the marker position, and the range on the image plane including the marker projection position, which is the projected position of the marker, is estimated. An information processing method comprising: setting the estimated marker existing range as an existing range, and performing a process of associating information of the estimated marker existing range with the captured image.
(8)
A captured image obtained by imaging a target area in which markers are arranged, the image including a marker projection position detected on the image plane by projecting the position of the marker onto the image plane. The display control unit includes a display control unit that performs a process of displaying visualization information of the estimated marker existing range on a display unit together with the captured image, with respect to the captured image to which information of the estimated marker existing range set as a range is associated. Display control device.
(9)
The display control section includes:
In (8) above, controlling the captured image to which the information on the estimated marker existing range is associated is displayed preferentially over the captured image to which the information on the estimated marker existing range is not associated. The display control device described.
(10)
A plurality of the markers are arranged in the target area,
Information on the estimated marker existence range is associated with the captured image for each marker,
The display control section includes:
The display control device according to (8) or (9), wherein visualization information of the estimated marker existing range is displayed on the display unit so as to indicate which marker is in the estimated marker existing range.
(11)
The display control device is
A captured image obtained by imaging a target area in which markers are arranged, the image including a marker projection position detected on the image plane by projecting the position of the marker onto the image plane. A display control method that performs a process of displaying visualization information of the estimated marker existing range on a display unit together with the captured image for the captured image to which information of the estimated marker existing range set as a range is associated.

１　情報処理装置
２　ユーザ端末
３　撮像装置
４　マーカ
Ｍ　移動体
Ａｔ　対象地域
Ｐｉ　撮像実行地点
Ｒｆ　飛行ルート
１０　メモリ部
１１　点群生成部
１２　制御部
１３　通信部
１４　バス
２１　ＣＰＵ
２２　ＲＯＭ
２３　ＲＡＭ
２４　不揮発性メモリ部
２５　入出力インタフェース
２６　入力部
２７　表示部
２７ａ　表示画面
２８　音声出力部
２９　記憶部
３０　通信部
３１　ドライブ
３２　リムーバブル記憶媒体
３３　バス
Ｐｍ　マーカ位置
Ｐｍ’　マーカ投影位置
Ａｍ　推定マーカ存在範囲
Ｒ　半径
Ｇｓ　作業画面
Ａｇ　画像表示領域
Ｌｓ　リスト
Ｖａｍ　マーカ範囲視覚化情報
Ｖｐｍ　マーカ位置視覚化情報
Ｖｒ　マーカ識別情報1Information processing device 2User terminal 3Imaging device 4 Marker M Mobile object At Target area Pi Imaging execution pointRf Flight route 10Memory unit 11 Pointcloud generation unit 12Control unit 13Communication unit 14Bus 21 CPU
22 ROM
23 RAM
24Nonvolatile memory section 25 Input/output interface 26Input section 27Display section27a Display screen 28Audio output section 29Storage section 30Communication section 31Drive 32Removable storage medium 33 Bus Pm Marker position Pm' Marker projection position Am Estimated marker existence range R Radius Gs Work screen Ag Image display area Ls List Vam Marker range visualization information Vpm Marker position visualization information Vr Marker identification information

Claims (11)

Translated fromJapanese

　マーカが配置された対象地域を撮像して得られた撮像画像の撮像位置を示す情報である撮像位置情報と、前記撮像画像の撮像アングルを示す情報である撮像アングル情報と、前記マーカの配置位置を示す情報であるマーカ位置情報とに基づき、前記撮像画像の画像平面に前記マーカの位置を投影し、投影された前記マーカの位置であるマーカ投影位置を含む前記画像平面上の範囲を推定マーカ存在範囲として設定し、前記推定マーカ存在範囲の情報を前記撮像画像に対応づける処理を行う演算部を備えた
　情報処理装置。Imaging position information, which is information indicating the imaging position of a captured image obtained by imaging the target area where the marker is placed; imaging angle information, which is information indicating the imaging angle of the captured image; and the placement position of the marker. The position of the marker is projected onto the image plane of the captured image based on the marker position information, which is information indicating the marker position, and the range on the image plane including the marker projection position, which is the projected position of the marker, is estimated. An information processing device, comprising: a calculation unit that performs a process of setting information on the estimated marker existence range as an existence range and associating information of the estimated marker existence range with the captured image.　前記対象地域を異なる位置から撮像して得られた複数の前記撮像画像に基づいて前記対象地域の三次元点群を生成する点群生成部を備えた
　請求項１に記載の情報処理装置。The information processing device according to claim 1, further comprising a point cloud generation unit that generates a three-dimensional point group of the target area based on a plurality of the captured images obtained by capturing the target area from different positions.　前記演算部は、
　前記対象地域を異なる位置から撮像して得られた複数の前記撮像画像のうちから、画枠範囲を基準とした所定の画像平面範囲内に前記マーカ投影位置が位置する撮像画像をマーカ含候補画像として検出し、前記マーカ含候補画像を対象として前記推定マーカ存在範囲の情報を対応づける
　請求項１に記載の情報処理装置。The arithmetic unit is
Among the plurality of captured images obtained by capturing the target area from different positions, captured images in which the marker projection position is located within a predetermined image plane range based on the image frame range are selected as marker-containing candidate images. The information processing apparatus according to claim 1, wherein information about the estimated marker existing range is associated with the marker-containing candidate image.　前記演算部は、
　前記マーカ含候補画像か否かの判定として、前記マーカ投影位置が前記画枠範囲と前記画枠範囲の外側の所定範囲とを含んだ画像平面範囲内に位置するか否かの判定を行う
　請求項３に記載の情報処理装置。The arithmetic unit is
In determining whether the image is a marker-containing candidate image, it is determined whether the marker projection position is located within an image plane range that includes the image frame range and a predetermined range outside the image frame range. The information processing device according to item 3.　前記演算部は、
　前記撮像画像の撮像位置からの対地距離に応じて該撮像画像に対する前記推定マーカ存在範囲の大きさを可変的に設定する
　請求項１に記載の情報処理装置。The arithmetic unit is
The information processing device according to claim 1, wherein the size of the estimated marker existing range for the captured image is variably set according to the ground distance from the imaging position of the captured image.　前記推定マーカ存在範囲は円形の範囲とされ、
　前記演算部は、
　前記対地距離に応じて前記推定マーカ存在範囲の半径の大きさを可変的に設定する
　請求項５に記載の情報処理装置。The estimated marker existence range is a circular range,
The arithmetic unit is
The information processing device according to claim 5, wherein the size of the radius of the estimated marker existing range is variably set according to the distance from the ground.　情報処理装置が、
　マーカが配置された対象地域を撮像して得られた撮像画像の撮像位置を示す情報である撮像位置情報と、前記撮像画像の撮像アングルを示す情報である撮像アングル情報と、前記マーカの配置位置を示す情報であるマーカ位置情報とに基づき、前記撮像画像の画像平面に前記マーカの位置を投影し、投影された前記マーカの位置であるマーカ投影位置を含む前記画像平面上の範囲を推定マーカ存在範囲として設定し、前記推定マーカ存在範囲の情報を前記撮像画像に対応づける処理を行う
　情報処理方法。The information processing device
Imaging position information, which is information indicating the imaging position of a captured image obtained by imaging the target area where the marker is placed; imaging angle information, which is information indicating the imaging angle of the captured image; and the placement position of the marker. The position of the marker is projected onto the image plane of the captured image based on the marker position information, which is information indicating the marker position, and the range on the image plane including the marker projection position, which is the projected position of the marker, is estimated. An information processing method comprising: setting the estimated marker existing range as an existing range, and performing a process of associating information of the estimated marker existing range with the captured image.　マーカが配置された対象地域を撮像して得られた撮像画像であって、画像平面に前記マーカの位置を投影することによって前記画像平面上に検出されたマーカ投影位置を含む前記画像平面上の範囲として設定された推定マーカ存在範囲の情報が対応づけられた前記撮像画像について、前記推定マーカ存在範囲の視覚化情報を、前記撮像画像と共に表示部に表示させる処理を行う表示制御部を備えた
　表示制御装置。A captured image obtained by imaging a target area in which markers are arranged, the image including a marker projection position detected on the image plane by projecting the position of the marker onto the image plane. The display control unit includes a display control unit that performs a process of displaying visualization information of the estimated marker existing range on a display unit together with the captured image, with respect to the captured image to which information of the estimated marker existing range set as a range is associated. Display control device.　前記表示制御部は、
　前記推定マーカ存在範囲の情報が対応づけられた前記撮像画像が、前記推定マーカ存在範囲の情報が対応づけられていない前記撮像画像よりも優先的に表示されるように制御する
　請求項８に記載の表示制御装置。The display control section includes:
According to claim 8, the captured image with which the information on the estimated marker existing range is associated is displayed preferentially than the captured image with which the information on the estimated marker existing range is not associated. display control device.　前記対象地域には複数の前記マーカが配置され、
　前記撮像画像には、前記マーカごとに前記推定マーカ存在範囲の情報が対応づけられ、
　前記表示制御部は、
　何れの前記マーカの前記推定マーカ存在範囲であるかが示されるように前記推定マーカ存在範囲の視覚化情報を前記表示部に表示させる
　請求項８に記載の表示制御装置。A plurality of the markers are arranged in the target area,
Information about the estimated marker existence range is associated with the captured image for each marker,
The display control section includes:
The display control device according to claim 8, wherein visualization information of the estimated marker existing range is displayed on the display unit so as to indicate which marker the estimated marker existing range is.　表示制御装置が、
　マーカが配置された対象地域を撮像して得られた撮像画像であって、画像平面に前記マーカの位置を投影することによって前記画像平面上に検出されたマーカ投影位置を含む前記画像平面上の範囲として設定された推定マーカ存在範囲の情報が対応づけられた前記撮像画像について、前記推定マーカ存在範囲の視覚化情報を、前記撮像画像と共に表示部に表示させる処理を行う
　表示制御方法。The display control device is
A captured image obtained by imaging a target area in which markers are arranged, the image including a marker projection position detected on the image plane by projecting the position of the marker onto the image plane. A display control method that performs a process of displaying visualization information of the estimated marker existing range on a display unit together with the captured image for the captured image to which information of the estimated marker existing range set as a range is associated.

Images