JP6773473B2 - Survey information management device and survey information management method - Google Patents

Description

Translated fromJapanese

本発明は、測量情報管理装置および測量情報管理方法に関する。 The present invention relates to a survey information management device and a survey information management method.

従来、建物の位置を測量するためには、担当者が現場に行き、測量基材を用いて計測する必要があった。また、道路周辺設備の位置の測量には、ＭＭＳ（Ｍｏｂｉｌｅ Ｍａｐｐｉｎｇ Ｓｙｓｔｅｍ、モービルマッピングシステム）を利用した計測等がなされている。
ここで、ＭＭＳとは、高精度な３次元位置情報を取得するシステムである。ＭＭＳは、カメラ、レーザースキャナ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、オドメータおよびＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ、慣性計測装置）等の機器を搭載した車両を走行させながら、それぞれの機器を用いてデータを取得する。そして、ＭＭＳは、カメラで撮像した画像情報にレーザースキャナで取得した道路周辺設備の位置座標等を重ねあわせ、さらにＧＰＳで等から取得した車両位置、進行方向等の情報を用いて補正等を行う。こうして取得されるＭＭＳ参照データは、誤差１０ｃｍ程度という、高い精度をもつ。
特許文献１によれば、ＧＰＳの電波が届かない場合であっても、位置座標値が予め分かっている地物（ランドマーク）等を利用することで、精度を高く維持する。In the past, in order to measure the position of a building, it was necessary for the person in charge to go to the site and measure using a surveying base material. In addition, the position of the equipment around the road is measured by using MMS (Mobile Mapping System, mobile mapping system).
Here, MMS is a system that acquires highly accurate three-dimensional position information. The MMS acquires data using each device while traveling a vehicle equipped with devices such as a camera, a laser scanner, a GPS (Global Positioning System), an odometer, and an IMU (Inertial Measurement Unit). Then, the MMS superimposes the position coordinates of the road peripheral equipment acquired by the laser scanner on the image information captured by the camera, and further corrects the vehicle position, the traveling direction, etc. acquired from GPS or the like. .. The MMS reference data acquired in this way has a high accuracy of about 10 cm.
According to Patent Document 1, even when GPS radio waves do not reach, high accuracy is maintained by using a feature (landmark) whose position coordinate value is known in advance.

特開２０１１−２５２８３３号公報Japanese Unexamined Patent Publication No. 2011-252833

しかしながら、ＭＭＳは、高い精度を実現するために各種機器を用いるので、装置コストが高い。また、ＭＭＳは、多数の機材を搭載するだけでなく、これらの機材が情報を取得するタイミングを、厳密に管理し同期させることを要する。このため、高度なタイミング管理を実現させる制御装置も必要となる。
道路周辺設備の測量にあたっては、設備の保守・点検（メンテナンス）のために、定期的に測量を繰り返す必要がある。しかし、装置コストの高いＭＭＳを利用した測量を、繰り返し行えば膨大な費用がかかってしまう。
一方、ＭＭＳを用いずに安価に測量を行うために、車載したＧＰＳによる位置情報およびカメラで撮像した画像情報を用いて、位置合わせを行うことが考えられる。しかし、車載のＧＰＳの位置情報の精度が、ＭＭＳの用いるＧＰＳより大幅に低いために、測量精度が低下してしまう。However, since MMS uses various devices to realize high accuracy, the device cost is high. In addition, MMS is required not only to mount a large number of devices, but also to strictly manage and synchronize the timing at which these devices acquire information. Therefore, a control device that realizes advanced timing management is also required.
When surveying equipment around roads, it is necessary to repeat the survey on a regular basis for equipment maintenance and inspection (maintenance). However, if the survey using MMS, which has a high equipment cost, is repeated, a huge cost will be incurred.
On the other hand, in order to carry out the survey at low cost without using MMS, it is conceivable to perform the positioning by using the position information by the GPS mounted on the vehicle and the image information captured by the camera. However, since the accuracy of the position information of the in-vehicle GPS is significantly lower than that of the GPS used by the MMS, the survey accuracy is lowered.

本発明は、このような事情に鑑みてなされたもので、その目的は、ＭＭＳを用いずに取得した測量情報を、ＭＭＳを用いた場合と同等の精度の測量情報に補正する測量情報管理装置および測量情報管理方法を提供することにある。 The present invention has been made in view of such circumstances, and an object of the present invention is a surveying information management device that corrects surveying information acquired without using MMS to surveying information with the same accuracy as when using MMS. And to provide a survey information management method.

上述した課題を解決するために、本発明にかかる測量情報管理装置は、移動体に設けた２個の撮像装置の各々から得た視差を有する２枚の画像データから、移動体周辺における観察対象３次元形状を含む３次元空間であるステレオ画像を生成する画像生成部と、前記撮像装置の各々により撮像された位置を示す位置情報を取得する位置情報取得部と、前記ステレオ画像における３次元位置情報を示すステレオ画像データ、およびモービルマッピングシステムにより予め取得されたＭＭＳ参照データであって、前記位置情報に相当する位置の周辺の３次元位置情報を示すＭＭＳ参照データに、共通に存在する３次元形状の同一箇所を示す点を選択し、前記ＭＭＳ参照データにおいて前記選択された点に対応する点を基準点とし、前記ステレオ画像データにおける前記選択された点の３次元座標が、前記基準点の３次元座標となるように補正する補正部と、を備えること。
In order to solve the above-mentioned problems, the survey information management device according to the present invention is an observation target around the moving body from two image data having a parallax obtained from each of the two imaging devices provided on the moving body. An image generation unit that generates a stereo image that is a three-dimensional space including a three-dimensional shape,a position information acquisition unit that acquires position information indicating a position imaged by each of the imaging devices, and athree-dimensional position in the stereo image. The stereo image data indicating the information and the MMS reference data previously acquired by the mobile mapping system, which are commonly present in the three-dimensional MMS reference data indicating the three-dimensional position information around the position corresponding to the position information. A point indicating the same location in the shape is selected, the point corresponding to the selected point in the MMS reference data is set as a reference point, and the three-dimensional coordinates of the selected point in the stereo image data are the reference points. Provided with a correction unit that corrects the coordinates so that the coordinates arethree-dimensional .

また、上述した課題を解決するために、この発明に係る測量情報管理方法は、移動体に設けた２個の撮像装置の各々から得た視差を有する２枚の画像データから、移動体周辺における観察対象３次元形状を含む３次元空間であるステレオ画像を生成するステップと、前記撮像装置の各々により撮像された位置を示す位置情報を取得するステップと、前記ステレオ画像における３次元位置情報を示すステレオ画像データ、およびモービルマッピングシステムにより予め取得されたＭＭＳ参照データであって、前記位置情報に相当する位置の周辺の３次元位置情報を示すＭＭＳ参照データに、共通に存在する３次元形状の同一箇所を示す点を選択し、前記ＭＭＳ参照データにおいて前記選択された点に対応する点を基準点とし、前記ステレオ画像データにおける前記選択された点の３次元座標が、前記基準点の３次元座標となるように補正するステップと、を備える。Further, in order to solve the above-mentioned problems, the survey information management method according to the present invention is performed in the vicinity of the moving body from two image data having a parallax obtained from each of the two imaging devices provided on the moving body. The step of generating a stereo image which is a three-dimensional space including the three-dimensional shape of the observation target, the stepof acquiring the position information indicating the position imaged by each of the imaging devices, and thethree-dimensional position information in the stereo imageare shown. The stereo image data and the MMS reference data acquired in advance by the mobile mapping system, which have the same three-dimensional shape that are commonly present in the MMS reference data indicating the three-dimensional position information around the position corresponding to the position information. A point indicating a location is selected, the point corresponding to the selected point in the MMS reference data is used as a reference point, and the three-dimensional coordinates of the selected point in the stereo image data are the three-dimensional coordinates of the reference point. It is provided with a step of correcting so as to be.

以上説明したように、本発明にかかる測量情報管理装置によれば、ＭＭＳを用いずに取得した測量情報を、ＭＭＳを用いた場合と同等の精度に補正することができる。こうすることにより、少ないコストで高精度な測量情報を得られる。 As described above, according to the survey information management device according to the present invention, the survey information acquired without using MMS can be corrected with the same accuracy as when MMS is used. By doing so, highly accurate survey information can be obtained at low cost.

本発明の実施形態における、測量情報管理装置が用いられる状況の一例を示す概要図である。It is a schematic diagram which shows an example of the situation where the surveying information management apparatus is used in embodiment of this invention.本発明の実施形態における、測量情報管理装置の構成を示すブロック図である。It is a block diagram which shows the structure of the surveying information management apparatus in embodiment of this invention.本発明における、撮像された画像上の像と、その像に対応する撮像対象物の位置関係を説明するために用いる模式図である。It is a schematic diagram used for demonstrating the positional relationship between the image on the captured image and the image pickup object corresponding to the image in this invention.本発明における、測量情報管理装置で、測量情報を取得する流れを示すフローチャートである。It is a flowchart which shows the flow of acquiring the surveying information by the surveying information management apparatus in this invention.本発明における、測量情報管理装置で、取得した測量情報を用いて、３次元情報を算出する流れを示すフローチャートである。It is a flowchart which shows the flow of calculating 3D information using the acquired survey information by the survey information management apparatus in this invention.

＜第１の実施形態＞
以下、本発明の第１の実施形態による測量情報管理装置について、図面を参照して説明する。
図１は、この発明の一実施形態による測量情報管理装置が用いられる状況の一例を示す概要図である。本発明にかかる測量情報管理装置は、例えば、移動体である車両１３に設けられた取得部１０と、データ管理センター１６内に設けられる管理部２０とを含んで構成される。
本発明にかかる測量情報管理装置は、例えば、車両１３周辺における観察対象である、道路１２および道路周辺設備から成る、道路周辺環境１の測量データの収集に用いられる。道路周辺設備は、例えば、マンホール１４および、電柱１５等である。道路１２では、本発明にかかる測量情報管理装置に備えられる取得部１０を搭載した車両１３が、道路周辺環境１のマンホール１４等の３次元形状を含む３次元空間であるステレオ画像データを撮像するために走行する。
取得部１０は、車両１３の走行中に、定期的に、道路１２の周囲にある、マンホール１４や電柱１５等の道路周辺設備を含む、道路周辺環境１の画像データを取得する。
また、本発明にかかる測量情報管理装置に備えられる管理部２０は、取得部１０が取得した画像データを管理する。管理部２０は、ＭＭＳを用いて取得した３次元位置情報（以下、ＭＭＳ参照データと称する。）が記録されている。そして、管理部２０は、ＭＭＳ参照データを用いて、取得部１０が取得した画像データに基づいて求められる３次元形状を含む３次元空間に関する情報を補正し管理する。<First Embodiment>
Hereinafter, the surveying information management device according to the first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic diagram showing an example of a situation in which a surveying information management device according to an embodiment of the present invention is used. The survey information management device according to the present invention includes, for example, anacquisition unit 10 provided in the movingvehicle 13 and amanagement unit 20 provided in thedata management center 16.
The survey information management device according to the present invention is used, for example, to collect survey data of the road peripheral environment 1 composed of theroad 12 and the road peripheral equipment, which are observation targets around thevehicle 13. Road peripheral equipment is, for example, amanhole 14 and autility pole 15. On theroad 12, thevehicle 13 equipped with theacquisition unit 10 provided in the survey information management device according to the present invention captures stereo image data which is a three-dimensional space including a three-dimensional shape such as amanhole 14 of the road surrounding environment 1. Run for.
While thevehicle 13 is traveling, theacquisition unit 10 periodically acquires image data of the road peripheral environment 1 including road peripheral equipment such as amanhole 14 and autility pole 15 around theroad 12.
Further, themanagement unit 20 provided in the survey information management device according to the present invention manages the image data acquired by theacquisition unit 10. Themanagement unit 20 records the three-dimensional position information (hereinafter, referred to as MMS reference data) acquired by using MMS. Then, themanagement unit 20 corrects and manages the information regarding the three-dimensional space including the three-dimensional shape obtained based on the image data acquired by theacquisition unit 10 by using the MMS reference data.

図２は、本実施形態における、測量情報管理装置の構成を示す概略ブロック図である。図２を用いて、本実施形態における測量情報管理装置の各構成要素について説明する。
本実施形態における測量情報管理装置は、取得部１０および管理部２０を備える。また、取得部１０は、撮像制御部１１１と、カメラ１１２およびカメラ１１３と、ＧＰＳ受信機１１４と、画像データ記録領域１２２とを備える。管理部２０は、処理部２０１と、記録部２０２とを備える。FIG. 2 is a schematic block diagram showing the configuration of the survey information management device in the present embodiment. Each component of the surveying information management device according to the present embodiment will be described with reference to FIG.
The survey information management device in the present embodiment includes anacquisition unit 10 and amanagement unit 20. Further, theacquisition unit 10 includes an imagepickup control unit 111, acamera 112 and acamera 113, aGPS receiver 114, and an imagedata recording area 122. Themanagement unit 20 includes aprocessing unit 201 and arecording unit 202.

取得部１０は、車両１３に搭載される。
取得部１０は、撮像制御部１１１に、ＧＰＳ受信機１１４、カメラ１１２およびカメラ１１３制御させることで、車両１３が走行している、道路周辺の画像データを取得する。
撮像制御部１１１は、カメラ１１２およびカメラ１１３に、道路周辺の画像を撮像させる。また、撮像制御部１１１は、ＧＰＳ受信機１１４に、カメラ１１２およびカメラ１１３が画像データを取得した場所の位置情報を取得させる。
撮像制御部１１０は、ＧＰＳ受信機１１４、カメラ１１２およびカメラ１１３から取得した、位置情報および画像データを、両者を関連付け、画像データ記録領域に記録させる。
撮像制御部１１１は、画像データを取得するタイミングを示す信号（以下、タイミング信号とも称する。）を、カメラ１１２およびカメラ１１３に、同時に送信する。これは、カメラ１１２およびカメラ１１３から得られる、２枚の画像データから、いわゆるステレオ画像を生成できるようにするためである。また、撮像制御部１１１は、ＧＰＳ受信機１１４が位置情報を取得するタイミングが、カメラ１１２およびカメラ１１３が画像データを取得するタイミングと同時になるように制御する。このように、撮像制御部１１１は、道路周辺を撮像した画像データおよび撮像位置についての情報を取得する。Theacquisition unit 10 is mounted on thevehicle 13.
Theacquisition unit 10 acquires image data around the road on which thevehicle 13 is traveling by causing the imagepickup control unit 111 to control theGPS receiver 114, thecamera 112, and thecamera 113.
The imagepickup control unit 111 causes thecamera 112 and thecamera 113 to take an image of the area around the road. Further, the imagepickup control unit 111 causes theGPS receiver 114 to acquire the position information of the place where thecamera 112 and thecamera 113 have acquired the image data.
The image pickup control unit 110 associates the position information and the image data acquired from theGPS receiver 114, thecamera 112, and thecamera 113 with each other, and records them in the image data recording area.
The imagepickup control unit 111 simultaneously transmits a signal indicating the timing of acquiring image data (hereinafter, also referred to as a timing signal) to thecamera 112 and thecamera 113. This is so that a so-called stereo image can be generated from the two image data obtained from thecamera 112 and thecamera 113. Further, the imagepickup control unit 111 controls so that the timing at which theGPS receiver 114 acquires the position information is the same as the timing at which thecamera 112 and thecamera 113 acquire the image data. In this way, the imagepickup control unit 111 acquires the image data obtained by capturing the image around the road and the information about the image pickup position.

撮像制御部１１１は、一定の距理を車両１３が走行する毎に、ＧＰＳ受信機１１４、カメラ１１２およびカメラ１１３に対して、タイミング信号を送信する。撮像制御部１１１は、例えば、ＧＰＳ受信機１１４からの情報に基づいて、車両１３が走行する距理を把握する。撮像制御部１１１は、例えば、マイコン(マイクロコンピュータ)または、中央処理装置（いわゆるＣＰＵ）等からなる。そして、撮像制御部１１１は、記憶領域（図示せず）に記録された制御プログラムを読み込んで実行することにより、上述した処理を実行する。
撮像制御部１１０は、カメラ１１２およびカメラ１１３を起動させ、同期して撮影させるトリガー信号として、例えば、ＣＰＵデバイスの処理クロックの所定回数毎に生成した一定間隔時間で発生する、ハードウェア的なタイミング信号を用いる。
また、車両には、トランスミッションの出力軸またはタイヤの回転速度に比例した時間間隔にて車速パルスを出力する車速センサが搭載され、この車速パルスが、通常ＧＰＳ受信機１１４に取り込まれる。このことから、撮像制御部１１０は、車速パルスを取得して積分し、一定距離を走行したことを示すタイミング信号を生成する。撮像制御部１１０は、こうして生成したタイミング信号を、カメラ１１２およびカメラ１１３に対して送信し、これらカメラに対し同時に起動撮影を行わせる構成としても良い。The imagepickup control unit 111 transmits a timing signal to theGPS receiver 114, thecamera 112, and thecamera 113 each time thevehicle 13 travels a certain distance. The imagepickup control unit 111 grasps the distance traveled by thevehicle 13 based on the information from theGPS receiver 114, for example. The imagepickup control unit 111 includes, for example, a microcomputer (microcomputer), a central processing unit (so-called CPU), or the like. Then, the imagepickup control unit 111 executes the above-described processing by reading and executing the control program recorded in the storage area (not shown).
The image pickup control unit 110 activates thecamera 112 and thecamera 113 to take pictures in synchronization, for example, a hardware-like timing generated at a fixed interval time generated at a predetermined number of times of the processing clock of the CPU device. Use signals.
Further, the vehicle is equipped with a vehicle speed sensor that outputs a vehicle speed pulse at a time interval proportional to the output shaft of the transmission or the rotation speed of the tire, and the vehicle speed pulse is usually taken into theGPS receiver 114. From this, the image pickup control unit 110 acquires and integrates the vehicle speed pulse, and generates a timing signal indicating that the vehicle has traveled a certain distance. The image pickup control unit 110 may be configured to transmit the timing signal thus generated to thecameras 112 and 113 and cause these cameras to perform start-up shooting at the same time.

カメラ１１２およびカメラ１１３は、撮像装置であり、例えば、車両の上部やルームミラーを挟んだ両脇に並んで設置される。また、カメラ１１２およびカメラ１１３は、車両１３の進行方向前方の景色にある道路付帯設備を含めた領域が撮像できるような方向で設置される。カメラ１１２およびカメラ１１３は、同じ領域を左右異なる位置から同時に撮像する。こうすることで、カメラ１１２およびカメラ１１３は、左右異なる位置から、道路周辺の画像データを取得する。
こうして得られる、カメラ１１２およびカメラ１１３からの２枚の画像データは、視差を有しており、同じ領域が撮像されている。この視差を用いることで、撮像された領域にある撮像対象物を立体視することができる。Thecamera 112 and thecamera 113 are image pickup devices, and are installed side by side, for example, on the upper part of the vehicle or on both sides of the rearview mirror. Further, thecamera 112 and thecamera 113 are installed in a direction in which the area including the road incidental equipment in the scenery ahead in the traveling direction of thevehicle 13 can be imaged. Thecamera 112 and thecamera 113 simultaneously image the same area from different positions on the left and right. By doing so, thecamera 112 and thecamera 113 acquire image data around the road from different positions on the left and right.
The two image data from thecamera 112 and thecamera 113 thus obtained have parallax, and the same region is imaged. By using this parallax, it is possible to stereoscopically view an imaged object in the imaged area.

また、カメラ１１２およびカメラ１１３は、撮像制御部１１１からタイミング信号を受信すると、それぞれの受信時の位置における画像を撮像する。そして、カメラ１１２およびカメラ１１３は、画像を撮像することで得られた画像データを、撮像制御部１１０に送信する。
また、カメラ１１２およびカメラ１１３は、ステレオカメラであってもよい。その場合、撮像制御部１１１は、カメラ１１２およびカメラ１１３の撮像タイミングを同期させる必要はない。この場合、撮像制御部１１１は、ステレオカメラに対して、定期的に撮像タイミングを通知する信号を送信する。When thecamera 112 and thecamera 113 receive the timing signal from the imagepickup control unit 111, thecamera 112 and thecamera 113 take an image at the respective reception positions. Then, thecamera 112 and thecamera 113 transmit the image data obtained by capturing the image to the image pickup control unit 110.
Further, thecamera 112 and thecamera 113 may be stereo cameras. In that case, the imagepickup control unit 111 does not need to synchronize the image pickup timings of thecamera 112 and thecamera 113. In this case, the imagepickup control unit 111 periodically transmits a signal for notifying the image pickup timing to the stereo camera.

画像データ記録領域１２２は、カメラ１１２およびカメラ１１３が撮像した画像の画像データと、その画像を取得した位置の情報とが記録される記憶領域である。
画像データ記録領域１２２は、可搬型記録媒体（例えば、ＳＤ（Ｓｅｃｕｒｅ ｄｉｇｉｔａｌ）カード等）または、可搬型ではない記録媒体（例えば、ハードディスク等）を有して構成される。また、画像データ記録領域１２２は、管理部２０内の記憶手段の一部であってもよい。この場合、撮像制御部１１１は、無線等の通信手段を介して、画像データ記録領域１２２に記録させる画像データ等を、管理部２０に送信する。The imagedata recording area 122 is a storage area in which image data of images captured by thecameras 112 and 113 and information on the position where the images are acquired are recorded.
The imagedata recording area 122 includes a portable recording medium (for example, an SD (Secure digital) card or the like) or a non-portable recording medium (for example, a hard disk or the like). Further, the imagedata recording area 122 may be a part of the storage means in themanagement unit 20. In this case, the imagepickup control unit 111 transmits the image data or the like to be recorded in the imagedata recording area 122 to themanagement unit 20 via a communication means such as wireless communication.

管理部２０は、取得部１０が取得した測量に関する情報の管理を行う。管理部２０は、処理部２０１および、記録部２０２を備える。
処理部２０１は、例えば、ステレオ画像処理部２１０と、補正部２１１と、入力部２１２と、表示部２１３とを備える。
ステレオ画像処理部２１０は、取得部１０が取得した２枚の画像の画像データから、撮像面の座標上の３次元情報（以下、ステレオ画像データと称する。）を算出する。
ステレオ画像処理部２１０は、それぞれの画像データにおける同一の撮像対象物の、それぞれの画像座標における位置の関係を求める。そうすることで、ステレオ画像処理部２１０は、その撮像された領域の３次元形状の立体的な空間情報（３次元座標系における位置情報）が算出できる。その結果、ステレオ画像処理部２１０は、カメラ１１２およびカメラ１１３が撮像した画像データから、それらの画像データに撮像された撮像対象物である、道路周辺環境１の３次元情報を得る。
ステレオ画像処理部２１０は、算出したステレオ画像データを、補正部２１１に送信する。
補正部２１１は、ステレオ画像データ２１０より、ステレオ画像データを受信する。また、補正部２１１は、参照データ記録領域２２２より、世界座標系で示されているＭＭＳ参照データを読み込む。そして、補正部２１１は、ステレオ画像データに対して、ステレオ画像データに撮像された撮像対象物の所定の箇所に対応する、地上面の座標点である３次元情報（以下、３次元情報と称する。）を算出する。補正部２１１は、算出した３次元情報を、３次元データ記録領域２２１に書き込み、記録させる。
補正部２１１は、ステレオ画像データに撮像された撮像対象物の所定の箇所以外の箇所について３次元情報を算出するために、ＭＭＳ参照データおよび、カメラ撮像面と地表面の幾何学的な条件から、カメラの回転量等算出する。そして、補正部２１１は、算出したカメラの回転量等を用いて、３次元情報を補正する。補正部２１１が行う、３次元情報の算出および補正処理については、後述する。
補正部２１１は、上記３次元情報を得るために、入力部２１２より、ステレオ画像データ上の選択点情報を取得する。また、補正部２１１は、入力部より、ステレオ画像データ上の選択点に対応する、ＭＭＳ参照データ上の対応点情報を取得する。
また、補正部２１１は、表示部２１３に、ステレオ画像データおよびＭＭＳ参照データを表示させる。こうすることで、例えば、操作者に、表示部２１３の表示を確認させた上で、上記ステレオ画像データ上の選択点およびＭＭＳ参照データ上の対応点を、入力部２１２から入力させることができる。Themanagement unit 20 manages the information related to the survey acquired by theacquisition unit 10. Themanagement unit 20 includes aprocessing unit 201 and arecording unit 202.
Theprocessing unit 201 includes, for example, a stereoimage processing unit 210, acorrection unit 211, aninput unit 212, and adisplay unit 213.
The stereoimage processing unit 210 calculates three-dimensional information (hereinafter, referred to as stereo image data) on the coordinates of the imaging surface from the image data of the two images acquired by theacquisition unit 10.
The stereoimage processing unit 210 obtains the relationship between the positions of the same imaging object in each image data at the respective image coordinates. By doing so, the stereoimage processing unit 210 can calculate the three-dimensional spatial information (position information in the three-dimensional coordinate system) of the three-dimensional shape of the imaged region. As a result, the stereoimage processing unit 210 obtains three-dimensional information of the road surrounding environment 1 which is an image-imaging object captured by the image data captured by thecamera 112 and thecamera 113.
The stereoimage processing unit 210 transmits the calculated stereo image data to thecorrection unit 211.
Thecorrection unit 211 receives the stereo image data from thestereo image data 210. Further, thecorrection unit 211 reads the MMS reference data shown in the world coordinate system from the referencedata recording area 222. Then, thecorrection unit 211 with respect to the stereo image data, three-dimensional information (hereinafter, referred to as three-dimensional information) which is a coordinate point on the ground surface corresponding to a predetermined portion of the image pickup object imaged in the stereo image data. .) Is calculated. Thecorrection unit 211 writes and records the calculated three-dimensional information in the three-dimensionaldata recording area 221.
Thecorrection unit 211 uses the MMS reference data and the geometric conditions of the camera imaging surface and the ground surface to calculate three-dimensional information about a location other than a predetermined location of the imaging target imaged in the stereo image data. , Calculate the amount of rotation of the camera, etc. Then, thecorrection unit 211 corrects the three-dimensional information by using the calculated rotation amount of the camera and the like. The calculation and correction processing of the three-dimensional information performed by thecorrection unit 211 will be described later.
Thecorrection unit 211 acquires selection point information on the stereo image data from theinput unit 212 in order to obtain the three-dimensional information. Further, thecorrection unit 211 acquires the corresponding point information on the MMS reference data corresponding to the selected points on the stereo image data from the input unit.
Further, thecorrection unit 211 causes thedisplay unit 213 to display the stereo image data and the MMS reference data. By doing so, for example, after having the operator confirm the display of thedisplay unit 213, the selection point on the stereo image data and the corresponding point on the MMS reference data can be input from theinput unit 212. ..

入力部２１２は、例えば、マウスおよびキーボード等の外部入力装置を含んで構成される。そして、入力部２１２は、表示部２１３が表示する画像の、任意の地点を示す信号を、補正部２１１に送信する。 Theinput unit 212 includes, for example, an external input device such as a mouse and a keyboard. Then, theinput unit 212 transmits a signal indicating an arbitrary point of the image displayed by thedisplay unit 213 to thecorrection unit 211.

表示部２１３は、補正部２１１からの制御に基づいて、ステレオ画像データおよびＭＭＳ参照データに基づく画像をする。
表示部２１３は、例えば、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、等を有する。表示部２１３は、複数の表示装置で、ステレオ画像データおよび、ＭＭＳ参照データを別々に表示するようにしてもよいし、１の表示装置で、これらの画像を並べて表示するようにしてもよい。Thedisplay unit 213 produces an image based on the stereo image data and the MMS reference data based on the control from thecorrection unit 211.
Thedisplay unit 213 includes, for example, a liquid crystal display, an organic EL (Electroluminescence) display, and the like. Thedisplay unit 213 may display the stereo image data and the MMS reference data separately on a plurality of display devices, or may display these images side by side on one display device.

記録部２０２は、内部の記録媒体に、３次元情報および、ＭＭＳ参照データを記録させる。記録部２０２は、例えば、３次元データ記録領域２２１と、参照データ記録領域２２２とを備える。
３次元データ記録領域２２１は、補正部２１１が算出した、３次元情報を記録させるための記録領域である。参照データ記録領域２２２は、ＭＭＳ参照データが記録されるための記録領域である。Therecording unit 202 causes an internal recording medium to record three-dimensional information and MMS reference data. Therecording unit 202 includes, for example, a three-dimensionaldata recording area 221 and a referencedata recording area 222.
The three-dimensionaldata recording area 221 is a recording area for recording the three-dimensional information calculated by thecorrection unit 211. The referencedata recording area 222 is a recording area for recording MMS reference data.

＜３次元情報算出およびその補正処理＞
ここでは、図３を用いて、補正部２１１が、ステレオ画像データおよび、ＭＭＳ参照データを用いて、ステレオ画像データの３次元情報を算出および補正する方法について説明する。図３は、空中から地上を撮影した場合の位置関係を示す模式図である。
図３（ａ）は、カメラの撮像面（例えば、カメラ１１２で撮像した撮像面）と、地上面との位置関係を示す。主点Ｏはレンズの中心、地物Ｐは地上面にある任意の点、像点ｐは地物Ｐが撮像面に投影された像点、をそれぞれ示している。
図３（ａ）に示す通り、主点Ｏから、地上面と反対方向に、焦点距離ｆ離れて、実際の撮像面がある。ここでは、説明を簡単にするために、主点Ｏから、地上面方向にｆ移動した座標を中心として撮像面があるとみなして（図３（ａ）において「見なし撮像面」と称している。）説明する。以下の説明では、みなし撮像面のことを、単に、撮像面と称する。
図３（ｂ）は、図３（ａ）をＸＺ断面および、ＹＺ断面からみた図を示す。
図３（ｃ）は、図３（ａ）における各点の撮像面座標系（図３（ｃ）において、カメラ座標系と称している。）および地上座標系における、それぞれの座標を示す。<Three-dimensional information calculation and its correction processing>
Here, a method in which thecorrection unit 211 calculates and corrects the three-dimensional information of the stereo image data by using the stereo image data and the MMS reference data will be described with reference to FIG. FIG. 3 is a schematic view showing the positional relationship when the ground is photographed from the air.
FIG. 3A shows the positional relationship between the image pickup surface of the camera (for example, the image pickup surface imaged by the camera 112) and the ground surface. The principal point O is the center of the lens, the feature P is an arbitrary point on the ground surface, and the image point p is the image point where the feature P is projected on the imaging surface.
As shown in FIG. 3A, there is an actual imaging surface at a focal length f away from the principal point O in the direction opposite to the ground surface. Here, for the sake of simplicity, it is assumed that there is an imaging surface centered on the coordinates f-moved from the principal point O toward the ground surface (referred to as "deemed imaging surface" in FIG. 3A). .)explain. In the following description, the deemed imaging surface is simply referred to as an imaging surface.
FIG. 3B shows a view of FIG. 3A as viewed from an XZ cross section and a YZ cross section.
FIG. 3 (c) shows the coordinates of each point in FIG. 3 (a) in the imaging plane coordinate system (referred to as the camera coordinate system in FIG. 3 (c)) and the horizontal coordinate system.

まず、空中から地上を撮影した場合で、カメラの傾きがなく、地表面とカメラが平行であると仮定した、簡単なモデルについて、説明する。
図３（ａ）に示すように、主点Ｏから、鉛直方向下向きに引いた直線と、地上面との交点をＯ´とする。また、撮像面の中心を、ｏ´とする。
図３（ｃ）に示すように、地上座標系における、主点Ｏ、像点ｐ、地物Ｐのそれぞれの座標を、（Ｘ_０、Ｙ_０、Ｚ_０）、（Ｘ_ｐ、Ｙ_ｐ、Ｚ_ｐ）、（Ｘ，Ｙ、Ｚ）とする。また、撮像面上の座標（以下、カメラ座標と称する。）における、主点Ｏ、像点ｐ、地物Ｐのそれぞれの座標を、（０，０，０）、（ｘ、ｙ、-f）、（ｘ_Ｐ、ｙ_Ｐ、ｚ_Ｐ）とする。
このとき、図３（ｂ）に示すように、図３（ａ）をＸＺ断面および、ＹＺ断面からみた、三角形ＯＯ´Ｐおよび、三角形Ｏｏ´ｐは、相似する。このため、以下の（１）および（２）式で示す関係がある。First, a simple model will be described in which the ground is photographed from the air, the camera is not tilted, and the ground surface and the camera are assumed to be parallel.
As shown in FIG. 3A, the intersection of the straight line drawn downward in the vertical direction from the principal point O and the ground surface is defined as O'. The center of the imaging surface is o'.
As shown in FIG. 3C, the coordinates of the principal point O, the image point p, and the feature P in the horizontal coordinate system are set to (X₀ , Y₀ , Z₀ ), (X_p , Y_p , Z_p ), (X, Y, Z). Further, the coordinates of the principal point O, the image point p, and the feature P in the coordinates on the imaging surface (hereinafter referred to as camera coordinates) are set to (0, 0, 0), (x, y, -f). ), (X_P , y_P , z_P ).
At this time, as shown in FIG. 3B, the triangles OO'P and the triangles Oo'p as seen from the XZ cross section and the YZ cross section of FIG. 3A are similar. Therefore, there is a relationship shown by the following equations (1) and (2).

Ｚ−Ｚ_０：ｆ＝Ｘ−Ｘ_０：ｘ …（１）
Ｚ−Ｚ_０：ｆ＝Ｙ−Ｙ_０：ｙ …（２）ZZ₀ : f = XX₀ : x ... (1)
ZZ₀ : f = YY₀ : y ... (2)

上記（１）および（２）式により、ｘおよびｙを求めると、ｘおよびｙの各々は、以下の（３）および（４）式により表せる。 When x and y are obtained from the above equations (1) and (2), each of x and y can be expressed by the following equations (3) and (4).

ｘ＝ｆ×（Ｘ−Ｘ_０）／（Ｚ−Ｚ_０） …（３）
ｙ＝ｆ×（Ｙ−Ｙ_０）／（Ｚ−Ｚ_０） …（４）x = f × (XX₀ ) / (Z-Z₀ ) ... (3)
y = f × (Y−Y₀ ) / (Z−Z₀ )… (4)

次に、カメラの撮像方向が、Ｚ軸と並行でない場合のモデルについて説明する。カメラの撮像方向が、Ｘ軸、Ｙ軸、Ｚ軸を中心として、それぞれ（ω、γ、φ）の角度で回転していたとする。この場合、カメラを逆の回転量（−ω、−γ、−φ）で回転させると、図３（ａ）に示すようなカメラと地表面が平行な関係となる。このとき、このカメラの逆の回転に伴って、撮像面も回転する。このため、ｘおよびｙの各々は、以下の（５）および（６）式でそれぞれ表される。 Next, a model when the imaging direction of the camera is not parallel to the Z axis will be described. It is assumed that the imaging direction of the camera is rotated at angles (ω, γ, φ) about the X-axis, the Y-axis, and the Z-axis. In this case, when the camera is rotated by the opposite rotation amount (−ω, −γ, −φ), the camera and the ground surface are in a parallel relationship as shown in FIG. 3 (a). At this time, the imaging surface also rotates with the reverse rotation of the camera. Therefore, each of x and y is represented by the following equations (5) and (6), respectively.

ｘ＝ｆ×Ａ／Ｂ …（５）
ｙ＝ｆ×Ｃ／Ｄ …（６）
ただし、上記（５）および（６）式における、Ａ、Ｂ、Ｃ、Ｄの各々は、以下の（７）、（８）、（９）、（１０）式でそれぞれ表される。
Ａ＝ａ_１１（Ｘ−Ｘ_０）＋ａ_２１（Ｙ−Ｙ_０）＋ａ_３１（Ｚ−Ｚ_０） …（７）
Ｂ＝ａ_１３（Ｘ−Ｘ_０）＋ａ_２３（Ｙ−Ｙ_０）＋ａ_３３（Ｚ−Ｚ_０） …（８）
Ｃ＝ａ_１２（Ｘ−Ｘ_０）＋ａ_２２（Ｙ−Ｙ_０）＋ａ_３２（Ｚ−Ｚ_０） …（９）
Ｄ＝ａ_１２（Ｘ−Ｘ_０）＋ａ_２２（Ｙ−Ｙ_０）＋ａ_３２（Ｚ−Ｚ_０） …（１０）x = f × A / B ... (5)
y = f × C / D ... (6)
However, each of A, B, C, and D in the above equations (5) and (6) is represented by the following equations (7), (8), (9), and (10), respectively.
A = a₁₁ (XX₀ ) + a₂₁ (YY₀ ) + a₃₁ (ZZ₀ ) ... (7)
B = a₁₃ (XX₀ ) + a₂₃ (YY₀ ) + a₃₃ (ZZ₀ ) ... (8)
C = a₁₂ (XX₀ ) + a₂₂ (YY₀ ) + a₃₂ (ZZ₀ ) ... (9)
D = a₁₂ (XX₀ ) + a₂₂ (YY₀ ) + a₃₂ (ZZ₀ ) ... (10)

ここで、上記（７）から（１０）式における、ａ_１１からａ_３３までの９つの変数は、カメラの回転（ω、γ、φ）の値に基づいて決まる変数である。（５）から（１０）式において、既知数は、カメラ座標上の像点ｐ座標（ｘ、ｙ、−ｆ）および、焦点距離ｆである。また、（５）から（１０）式における未知数は、地上座標上の地物Ｐ座標（Ｘ、Ｙ、Ｚ）、主点Ｏ座標（Ｘ_０、Ｙ_０、Ｚ_０）およびカメラの回転（ω、γ、φ）の９つである。Here, the above (7) in_(10), the nine variables from_{a 11} to_{a 33,} the rotation of the camera (omega, gamma, phi) is a variable which is determined based on the value of. In the equations (5) to (10), the known numbers are the image point p coordinates (x, y, −f) on the camera coordinates and the focal length f. The unknowns in equations (5) to (10) are the feature P coordinates (X, Y, Z) on the ground coordinates, the principal point O coordinates (X₀ , Y₀ , Z₀ ) and the rotation of the camera (ω). , Γ, φ).

本実施形態においては、車載したカメラから撮影している。このため、カメラは、車両１３の進行方向に応じて向きを変えるが、地上からの高さ方向は変化しない。すなわち、Ｘ軸およびＹ軸方向に移動するがＺ軸方向には移動しない。このためカメラの回転は（０、０、φ）で表すことができる。
そして、地表上の任意の２点、地物Ｐ座標（Ｘ、Ｙ、Ｚ）および地物Ｐ１座標（Ｘ１、Ｙ１、Ｚ１）について、ＭＭＳ参照データを用いて既知の値を代入する。そして、それぞれに対して、（５）から（１０）式で示す方程式を立てる。
そうすると、未知数４に対して、４つの方程式が立てられる。こうすることで、未知数を解くことができる。すなわち、主点Ｏ座標（Ｘ_０、Ｙ_０、Ｚ_０）およびカメラの回転（０、０、φ）の値が明らかとなる。In this embodiment, the image is taken from an in-vehicle camera. Therefore, the camera changes its direction according to the traveling direction of thevehicle 13, but the height direction from the ground does not change. That is, it moves in the X-axis and Y-axis directions, but does not move in the Z-axis direction. Therefore, the rotation of the camera can be represented by (0, 0, φ).
Then, known values are substituted for any two points on the ground surface, the feature P coordinates (X, Y, Z) and the feature P1 coordinates (X1, Y1, Z1) using the MMS reference data. Then, for each, the equations shown by equations (5) to (10) are established.
Then, four equations are established for the unknown number 4. By doing this, the unknown can be solved. That is, the values of the principal point O coordinates (X₀ , Y₀ , Z₀ ) and the rotation of the camera (0, 0, φ) become clear.

この上述した作業をもう一方のカメラ（例えば、カメラ１１３）に対しても同様に行い、それぞれのカメラの、主点Ｏ座標およびカメラの回転を求める。そして、ステレオ画像処理部２１０から得られるステレオ画像データにより、撮像面の座標上の３次元情報がえられる。
そのうえで、ステレオ画像処理部２１０から得られるステレオ画像のカメラ座標系での任意の地点の座標について、（５）から（１０）式で示される方程式に代入し、ステレオ画像に映されている任意の地点に対応する地上座標（Ｘ、Ｙ、Ｚ）を求めることができる。
すなわち、ステレオ画像データの３次元情報を求めることができる。
以上説明したように、ステレオ画像を生成する２枚の画像の双方に共通に撮像されている像を２点抽出し、各々の像のカメラ座標に対応する地表上の位置座標（緯度経度）を特定する。こうすることで、ステレオ画像上に撮像された他の地点について、３次元情報を算出することができる。The above-mentioned work is performed in the same manner for the other camera (for example, camera 113), and the principal point O coordinate and the rotation of the camera of each camera are obtained. Then, three-dimensional information on the coordinates of the imaging surface can be obtained from the stereo image data obtained from the stereoimage processing unit 210.
Then, the coordinates of an arbitrary point in the camera coordinate system of the stereo image obtained from the stereoimage processing unit 210 are substituted into the equations shown by the equations (5) to (10), and any arbitrary point displayed in the stereo image is displayed. The ground coordinates (X, Y, Z) corresponding to the points can be obtained.
That is, it is possible to obtain three-dimensional information of stereo image data.
As described above, two images that are commonly captured in both of the two images that generate stereo images are extracted, and the position coordinates (latitude and longitude) on the ground surface corresponding to the camera coordinates of each image are obtained. Identify. By doing so, it is possible to calculate three-dimensional information about other points captured on the stereo image.

図４は、本発明における測量情報管理装置で、測量に必要な情報を取得する流れを示すフローチャートである。この図を用いて、測量情報を取得する処理の流れについて説明する。
本フローチャートを説明する前提として、取得部１０は、車両１３に搭載されている。また、車両１３は、測量する道路周辺設備の周辺の道路を走行しているものとする。FIG. 4 is a flowchart showing a flow of acquiring information necessary for surveying in the surveying information management device of the present invention. The flow of the process of acquiring the survey information will be described with reference to this figure.
As a premise for explaining this flowchart, theacquisition unit 10 is mounted on thevehicle 13. Further, it is assumed that thevehicle 13 is traveling on the road around the equipment around the road to be surveyed.

取得部１０は、測量を開始する場所の付近に到達したら、データの取得を開始する。
まず、撮像制御部１１１は、ＧＰＳ受信機１１４から、最初の位置情報を取得する（ステップＳ１）。以降、撮像制御部１１１は、定期的に位置情報を取得し、位置情報の差分から走行距離を算出する。撮像制御部１１１は、走行距離が所定の値（ここでは２．５ｍ毎）となったら（ステップＳ２ ＹＥＳ）、情報を取得するためのタイミング信号を、ＧＰＳ受信機１１４、カメラ１１２およびカメラ１１３へ送信する（ステップＳ３）。When theacquisition unit 10 reaches the vicinity of the place where the survey is started, theacquisition unit 10 starts acquiring data.
First, the imagepickup control unit 111 acquires the first position information from the GPS receiver 114 (step S1). After that, theimaging control unit 111 periodically acquires the position information and calculates the mileage from the difference in the position information. When the mileage reaches a predetermined value (here, every 2.5 m) (step S2 YES), the imagepickup control unit 111 sends a timing signal for acquiring information to theGPS receiver 114, thecamera 112, and thecamera 113. Transmit (step S3).

カメラ１１２およびカメラ１１３は、撮像制御部１１１からタイミング信号を受信し、それぞれカメラ前景の道路周辺の画像を撮像する。カメラ１１２および、カメラ１１３は、取得した画像データを、撮像制御部１１１に送信する。
また、ＧＰＳ受信機１１４は、撮像制御部１１１からのタイミング信号を受けたら、位置情報を取得し、撮像制御部１１１に、この位置情報を送信する。
撮像制御部１１１は、カメラ１１２およびカメラ１１３から取得した画像データを、位置情報と関連づけ、画像データ記録領域１２２に書き込み、記録させる（ステップＳ４）。
取得部１０は、車両１３が測量を終了する地点に到着したら、測量に用いるデータの取得を終了する（ステップＳ５）。そして、本フローチャートは終了する。Thecamera 112 and thecamera 113 receive a timing signal from the imagepickup control unit 111, and each capture an image of the road area in the foreground of the camera. Thecamera 112 and thecamera 113 transmit the acquired image data to the imagepickup control unit 111.
Further, when theGPS receiver 114 receives the timing signal from the imagepickup control unit 111, theGPS receiver 114 acquires the position information and transmits the position information to the imagepickup control unit 111.
The imagepickup control unit 111 associates the image data acquired from thecamera 112 and thecamera 113 with the position information, writes the image data in the imagedata recording area 122, and records the image data (step S4).
When thevehicle 13 arrives at the point where the survey ends, theacquisition unit 10 ends the acquisition of the data used for the survey (step S5). Then, this flowchart ends.

図５は、本発明における測量情報管理装置で取得した画像データから、３次元情報を算出する流れを示すフローチャートである。この図を用いて、３次元情報を取得する処理の流れについて説明する。
本フローチャートを説明する前提として、作業者は、画像データ記録領域１２２に記録させた画像データを、可搬型記録媒体等に記録させ、データ管理センター１６の管理部２０のドライブ装置（図示なし）に装着等している。すなわち、取得部１０が画像データ記録領域１２２に記録させた画像データは、管理部２０の記録部２０２から読み取り可能な状態にあるものとする。
まず、ステレオ画像処理部２１０は、カメラ１１２およびカメラ１１３が同時に撮像した２枚の画像の画像データから、ステレオ画像処理を行う。そして、ステレオ画像処理部２１０は、撮像面座標上の３次元情報である、ステレオ画像データを算出する。ステレオ画像処理部２１０は、算出したステレオ画像データを、補正部２１１に送信する。
ステレオ画像処理部２１０は、画像データに関連づけて記録させている、撮像場所の位置情報を、ステレオ画像データと関連付けて、補正部２１１に送信する。FIG. 5 is a flowchart showing a flow of calculating three-dimensional information from the image data acquired by the surveying information management device of the present invention. The flow of the process of acquiring the three-dimensional information will be described with reference to this figure.
As a premise for explaining this flowchart, the operator causes the image data recorded in the imagedata recording area 122 to be recorded on a portable recording medium or the like, and causes a drive device (not shown) of themanagement unit 20 of thedata management center 16. It is attached. That is, it is assumed that the image data recorded by theacquisition unit 10 in the imagedata recording area 122 can be read from therecording unit 202 of themanagement unit 20.
First, the stereoimage processing unit 210 performs stereo image processing from the image data of two images simultaneously captured by thecamera 112 and thecamera 113. Then, the stereoimage processing unit 210 calculates stereo image data, which is three-dimensional information on the coordinates of the imaging surface. The stereoimage processing unit 210 transmits the calculated stereo image data to thecorrection unit 211.
The stereoimage processing unit 210 transmits the position information of the imaging location, which is recorded in association with the image data, to thecorrection unit 211 in association with the stereo image data.

補正部２１１は、このステレオ画像データを、表示部２１３に表示させる（ステップＳ７）。また、補正部２１１は、ステレオ画像データと関連付けられて送付された、この画像データを取得した位置に関する情報に基づいて、その位置の周辺のＭＭＳ参照データを、参照データ記録領域２２２から読み取る。そして、補正部２１１は、読み取ったＭＭＳ参照データを、表示部２１３に表示させる（ステップＳ８）。
操作者は、ステレオ画像データおよびＭＭＳ参照データに基づいて表示部２１３に表示された、２つの画像を視認する。そして、両画像に共通に存在する像である３次元形状の同一箇所を示す点を、入力部２１２のマウス等を用いて、選択する。さらにもう一点、操作者は、両画像に共通に存在する像の同一箇所を示す点を、選択する。以下の説明では、この選択された点を、選択点とも称する。
入力部２１２のキーボードのＥＮＴＥＲキーが操作者により押下されるなどして、選択点が指定されると、入力部２１２から、各々の選択点の、画像上の位置を示す信号が、補正部２１１へ入力される（ステップＳ９）。
補正部２１１は、入力部２１２から取得した選択点の緯度経度を、ＭＭＳ参照データを用いて、特定する（ステップＳ１０）。
また、補正部２１１は、ステップＳ１０で算出した２つの選択点の緯度経度に基づいて、カメラ１１２およびカメラ１１３の各々の主点座標と回転量を算出する。そして、補正部２１１は、算出した主点座標および回転量を用いて、ステレオ画像データの選択点以外の任意の点の緯度経度を求める。こうすることで、ステレオ画像データに示されたあらゆる地点の３次元情報を補正する（ステップＳ１１）。
補正部２１１は、ステップＳ１１で求めた３次元情報を、３次元データ記録領域２２１に書込んで記録させる（ステップＳ１２）。こうすることで、管理部２０は、３次元情報を管理する。
補正部２１１は、取得部１０が取得した画像すべてについて３次元情報を求めるまで、ステップＳ７に戻り、処理を繰り返す（ステップＳ１３ ＮＯ）。Thecorrection unit 211 displays the stereo image data on the display unit 213 (step S7). Further, thecorrection unit 211 reads the MMS reference data around the position from the referencedata recording area 222 based on the information about the position where the image data is acquired, which is sent in association with the stereo image data. Then, thecorrection unit 211 displays the read MMS reference data on the display unit 213 (step S8).
The operator visually recognizes the two images displayed on thedisplay unit 213 based on the stereo image data and the MMS reference data. Then, a point indicating the same part of the three-dimensional shape, which is an image commonly existing in both images, is selected by using a mouse or the like of theinput unit 212. Yet another point, the operator selects a point that points to the same location in the image that is common to both images. In the following description, this selected point is also referred to as a selection point.
When a selection point is specified by the operator pressing the ENTER key on the keyboard of theinput unit 212, a signal indicating the position of each selection point on the image is sent from theinput unit 212 to thecorrection unit 211. Is input to (step S9).
Thecorrection unit 211 specifies the latitude and longitude of the selected point acquired from theinput unit 212 by using the MMS reference data (step S10).
Further, thecorrection unit 211 calculates the main point coordinates and the amount of rotation of each of thecamera 112 and thecamera 113 based on the latitude and longitude of the two selected points calculated in step S10. Then, thecorrection unit 211 obtains the latitude and longitude of any point other than the selected point of the stereo image data by using the calculated principal point coordinates and the amount of rotation. By doing so, the three-dimensional information of every point shown in the stereo image data is corrected (step S11).
Thecorrection unit 211 writes and records the three-dimensional information obtained in step S11 in the three-dimensional data recording area 221 (step S12). By doing so, themanagement unit 20 manages the three-dimensional information.
Thecorrection unit 211 returns to step S7 and repeats the process until the three-dimensional information is obtained for all the images acquired by the acquisition unit 10 (step S13 NO).

以上、説明したとおり、ＭＭＳ参照データを用いることで、道路周辺のステレオ画像をから、その画像上に示される任意の設備について３次元情報を得ることができる。ＭＭＳ参照データは、誤差１０ｃｍ程度という、高い精度をもつ測量情報である。このため、汎用のＧＰＳ受信機およびカメラを用いて得られるステレオ画像の３次元情報も、同程度の精度となる。
こうして求めた３次元情報を用いることで、少ないコストで、道路周辺設備の位置の変化が容易に把握でき、かかる道路周辺設備の保守、点検を効率よく行うことができる。
本実施形態では、ＭＭＳ参照データを用いて３次元情報を算出したが、これに限定されない。補正部２１１は、ＭＭＳ参照データに代わって、地図の位置座標を用いることもできる。この場合、参照データ記録領域２２２には、その地図のデータが記録される。また、この場合、得られる３次元情報の精度は、その地図の精度に依存する。As described above, by using the MMS reference data, it is possible to obtain three-dimensional information about any equipment shown on the stereo image from the stereo image around the road. The MMS reference data is survey information with a high accuracy of about 10 cm. Therefore, the three-dimensional information of the stereo image obtained by using a general-purpose GPS receiver and a camera has the same accuracy.
By using the three-dimensional information obtained in this way, the change in the position of the road peripheral equipment can be easily grasped at a low cost, and the maintenance and inspection of the road peripheral equipment can be efficiently performed.
In the present embodiment, the three-dimensional information is calculated using the MMS reference data, but the present invention is not limited to this. Thecorrection unit 211 can also use the position coordinates of the map instead of the MMS reference data. In this case, the map data is recorded in the referencedata recording area 222. Further, in this case, the accuracy of the obtained three-dimensional information depends on the accuracy of the map.

＜第２の実施形態＞
第２の実施形態について説明する。本実施形態は、第１の実施形態と同様に、取得部１０および管理部２０を備える測量情報管理装置を用いる。
本実施形態では、補正部２１１は、ＧＰＳ受信機１１４が取得した位置情報を用いて、撮像位置およびカメラの方向を算出する。そして、補正部２１１は、これらを用いて、３次元情報を求める。こうすることで、補正部２１１は、第１の実施形態で用いた、ステレオ画像データ上の選択点およびその選択点に対応する対応点の数を減らすことができる。<Second embodiment>
A second embodiment will be described. Similar to the first embodiment, the present embodiment uses a survey information management device including anacquisition unit 10 and amanagement unit 20.
In the present embodiment, thecorrection unit 211 calculates the imaging position and the direction of the camera by using the position information acquired by theGPS receiver 114. Then, thecorrection unit 211 obtains three-dimensional information by using these. By doing so, thecorrection unit 211 can reduce the number of selection points on the stereo image data and the corresponding points corresponding to the selection points used in the first embodiment.

すでに説明した通り、（５）から（１０）式に示される未知数は、地上座標上の地物Ｐ座標（Ｘ、Ｙ、Ｚ）、主点Ｏ座標（Ｘ_０、Ｙ_０、Ｚ_０）およびカメラの回転（ω、γ、φ）である。
本実施形態においては、主点Ｏ座標（Ｘ_０、Ｙ_０、Ｚ_０）は、ＧＰＳ受信機１１４が取得した位置情報と、ＧＰＳ受信機１１４とカメラ１１２およびカメラ１１３との位置関係から、求めることができる。さらに、カメラの回転（ω、γ、φ）は、ＧＰＳ受信機１１４が取得した位置情報の差分により、求められる。これらの値を代入することにより、（５）から（１０）式に示される未知数、主点Ｏ座標（Ｘ_０、Ｙ_０、Ｚ_０）およびカメラの回転（ω、γ、φ）を算出できる。さらに、精度の高い測定点（基準点）がステレオ画像データ上にあれば、これを用いて、主点Ｏ座標およびカメラの回転量を、調整することができる。As already explained, the unknowns shown in equations (5) to (10) are the feature P coordinates (X, Y, Z) on the ground coordinates, the principal point O coordinates (X₀ , Y₀ , Z₀ ) and The rotation of the camera (ω, γ, φ).
In the present embodiment, the principal point O coordinates (X₀ , Y₀ , Z₀ ) are obtained from the position information acquired by theGPS receiver 114 and the positional relationship between theGPS receiver 114, thecamera 112, and thecamera 113. be able to. Further, the rotation of the camera (ω, γ, φ) is obtained from the difference in the position information acquired by theGPS receiver 114. By substituting these values, the unknown number shown in equations (5) to (10), the O coordinate of the principal point (X₀ , Y₀ , Z₀ ) and the rotation of the camera (ω, γ, φ) can be calculated. .. Further, if a highly accurate measurement point (reference point) is on the stereo image data, the principal point O coordinate and the rotation amount of the camera can be adjusted by using this.

本実施形態は、第１の実施形態と同様に、撮像制御部１１１は、ＧＰＳ受信機１１４を用いて、カメラ１１２およびカメラ１１３が画像を撮像した場所の位置情報を取得する。 In the present embodiment, similarly to the first embodiment, the imagepickup control unit 111 acquires the position information of the place where thecamera 112 and thecamera 113 have taken an image by using theGPS receiver 114.

補正部２１１は、取得部１０が取得した位置情報の差分を算出する。補正部２１１は、画像が撮像された位置の情報から、その前の画像が撮像された位置の情報を減算することで、前の画像が撮像された場所からの、移動距離および進行方向を算出する。カメラ１１２およびカメラ１１３は車両１３の進行方向に対し垂直に設置されているため、補正部２１１は、この進行方向を、カメラの回転方向とすることができる。
また、補正部２１１は、ステレオ画像データを、表示部２１３に表示させる。そして補正部２１１は、表示部２１３に表示させたステレオ画像データに示される何らかの基準点を指定した信号を、入力部２１２から、入力させる。入力部２１２からの入力は、第１の実施形態と同様に、操作者等がマウスやキーボード等を用いて行う。補正部２１１は、入力部２１２から指定された基準点の情報に対し、参照データ記録領域２２２を参照する等により、その基準点の緯度経度を特定する。
そして、補正部２１１は、算出した、主点位置とカメラの方向と、特定した基準点の緯度経度とを用いて、ステレオ画像データのあらゆる地点の３次元情報を求める。補正部２１１は、求めた３次元情報を、３次元データ記憶領域２２１に書き込んで記録させる。Thecorrection unit 211 calculates the difference in the position information acquired by theacquisition unit 10. Thecorrection unit 211 calculates the moving distance and the traveling direction from the place where the previous image was captured by subtracting the information of the position where the previous image was captured from the information of the position where the image was captured. To do. Since thecamera 112 and thecamera 113 are installed perpendicular to the traveling direction of thevehicle 13, thecorrection unit 211 can set this traveling direction as the rotation direction of the camera.
Further, thecorrection unit 211 causes thedisplay unit 213 to display the stereo image data. Then, thecorrection unit 211 causes theinput unit 212 to input a signal designated by some reference point shown in the stereo image data displayed on thedisplay unit 213. The input from theinput unit 212 is performed by an operator or the like using a mouse, a keyboard, or the like, as in the first embodiment. Thecorrection unit 211 specifies the latitude and longitude of the reference point by referring to the referencedata recording area 222 with respect to the information of the reference point designated from theinput unit 212.
Then, thecorrection unit 211 obtains the three-dimensional information of every point of the stereo image data by using the calculated principal point position, the direction of the camera, and the latitude / longitude of the specified reference point. Thecorrection unit 211 writes the obtained three-dimensional information in the three-dimensionaldata storage area 221 and records it.

ここでいう、何らかの基準点とは、例えば、位置情報が正確に測定されている距離標（キロポスト）等が考えられる。また、マンホールや道路がカーブする地点等について、例えば、これらの設備を設置した際の緯度経度が記された測量情報が記録されていれば、これらを用いることもできる。
また、補正部２１１は、１点の基準点の緯度経度について特定できればよく、第１の実施形態で説明したように２点の基準点の緯度経度を特定させる必要がない。これは、ＭＭＳ参照データがなくとも、ステレオ画像データに、何かしら測量精度の高い地点が少なくとも１点示されていれば、３次元情報を取得できることを意味する。The reference point referred to here may be, for example, a distance marker (kilopost) in which the position information is accurately measured. Further, for manholes, points where roads curve, etc., for example, if survey information in which the latitude and longitude when these facilities are installed is recorded, these can be used.
Further, thecorrection unit 211 only needs to be able to specify the latitude and longitude of one reference point, and does not need to specify the latitude and longitude of two reference points as described in the first embodiment. This means that even if there is no MMS reference data, three-dimensional information can be acquired if at least one point with high survey accuracy is indicated in the stereo image data.

本実施形態においては、基準点の精度および撮像位置の情報の精度が、３次元データの精度に影響する。
基準点の精度は、より精度の高い場所の緯度経度情報を用いることで、３次元情報の精度を高く算出できる。
撮像位置の情報の精度は、ＧＰＳ受信機の受信精度、受信状況および、情報取得のタイミングのずれ等に依存する。ここで、ＧＰＳ受信機１１４は、例えば、汎用ＧＰＳ受信機である。汎用ＧＰＳ受信機は、衛星から送信される、周波数の異なった２つの送信波のうち、１波を受信するのみであり、測量用ＧＰＳ受信機と比較して、誤差が大きい。また、トンネル内部や、高架下など、衛星からの信号が届きにくい場所を、車両１３が走行している間、ＧＰＳ受信機は、十分な台数の衛星からの信号を受信するできないことも考えられる。この場合、ＧＰＳ受信機から取得する位置情報は、途絶する、または、相応の誤差が含まれることになる。In the present embodiment, the accuracy of the reference point and the accuracy of the imaging position information affect the accuracy of the three-dimensional data.
The accuracy of the reference point can be calculated with high accuracy of the three-dimensional information by using the latitude / longitude information of the place with higher accuracy.
The accuracy of the information of the imaging position depends on the reception accuracy of the GPS receiver, the reception status, the deviation of the information acquisition timing, and the like. Here, theGPS receiver 114 is, for example, a general-purpose GPS receiver. The general-purpose GPS receiver receives only one of the two transmitted waves having different frequencies transmitted from the satellite, and has a large error as compared with the GPS receiver for surveying. In addition, it is possible that the GPS receiver cannot receive signals from a sufficient number of satellites while thevehicle 13 is traveling in a place where signals from satellites are difficult to reach, such as inside a tunnel or under an overpass. .. In this case, the position information acquired from the GPS receiver is interrupted or contains a corresponding error.

ＧＰＳ受信機１１４から取得する位置情報が、途絶している、または、誤差が含まれている場合、補正部２１１は、位置情報を補間する。補正部２１１は、例えば、経路から大きく外れた地点を示す位置情報を用いない。そして、補正部２１１は、その代わりに前後の位置情報を滑らかにつないだ線上の中間点を位置情報として用いる。本実施形態では、撮像制御部１１１は、車両が２ｍ走行するごとに位置情報を得る。車両の前後のタイヤの間隔（車軸間距離）は、普通車で２．５ｍ程度である。このため、仮に１点が外れた位置を示した場合、その位置情報は前後の値を滑らかにつないだ線の中間にある位置とする方が、より確からしい。
補正部２１１は、経路から大きく外れた地点を抽出する処理として、例えば、車両１３の走行ルート上に、ＧＰＳ取新規１１４が取得した位置情報をプロットした図を、表示部２１３に表示させる。そして、補正部２１１は、その表示画面を操作者に視認させ、ルートから外れている部分を特定させ、その部分に関する情報を、入力部２１２から、入力させる。こうすることで、経路から大きく外れた地点を抽出する。または、補正部２１１は、位置の変化量を抽出し、しきい値を設け、変化量がしきい値より大きければ、経路から外れた誤差の含まれる位置情報であると認識してもよい。また、誤差が含まれる位置情報が連続する場合などは、走行ルートに沿った方向を、進行方向（カメラ方向）としてもよい。
補正部２１１は、このようにして、必要に応じて、より確からしいカメラ方向を用いることで、より精度の高い３次元情報を求めることが可能となる。When the position information acquired from theGPS receiver 114 is interrupted or contains an error, thecorrection unit 211 interpolates the position information. Thecorrection unit 211 does not use, for example, position information indicating a point significantly deviated from the route. Then, thecorrection unit 211 uses the intermediate point on the line that smoothly connects the front and rear position information as the position information instead. In the present embodiment, the imagepickup control unit 111 obtains position information every time the vehicle travels 2 m. The distance between the front and rear tires of the vehicle (distance between axles) is about 2.5 m for a normal vehicle. Therefore, if one point is off, it is more certain that the position information is in the middle of the line that smoothly connects the front and back values.
As a process of extracting a point significantly deviated from the route, thecorrection unit 211 causes thedisplay unit 213 to display, for example, a diagram in which the position information acquired by theGPS acquisition 114 is plotted on the traveling route of thevehicle 13. Then, thecorrection unit 211 makes the operator visually recognize the display screen, identifies a portion deviating from the route, and inputs information about the portion from theinput unit 212. By doing this, points that deviate significantly from the route are extracted. Alternatively, thecorrection unit 211 may extract the amount of change in position, set a threshold value, and if the amount of change is larger than the threshold value, it may recognize that the position information includes an error deviating from the path. Further, when the position information including the error is continuous, the direction along the traveling route may be the traveling direction (camera direction).
In this way, thecorrection unit 211 can obtain more accurate three-dimensional information by using a more probable camera direction as needed.

以上説明したように、仮に、ＭＭＳ参照データがない場合であっても、ステレオ画像と、その撮像された位置の情報と、ステレオ画像上にある１点の緯度経度を特定することで、３次元情報を算出することができる。
例えば、ステレオ画像上に、キロポスト等の基準点の像があれば、その基準点の位置座標を用いることができる。測量用の基準点およびキロポストは、位置情報が正確に測定されており、キロポストであれば３５ｃｍの精度を有する。
基準点およびキロポストは通常、１ｋｍ毎かそれ以上の間隔で設置されているため、本発明にかかる測量情報管理装置で取得する画像に、２点以上の基準点等が撮像されることは想定しにくい。それでも、第２に実施形態を用いれば、１点の基準点で、３次元情報を得ることができる。As described above, even if there is no MMS reference data, by specifying the stereo image, the information of the captured position, and the latitude and longitude of one point on the stereo image, it is three-dimensional. Information can be calculated.
For example, if there is an image of a reference point such as a kilometer post on a stereo image, the position coordinates of the reference point can be used. The position information of the reference point and the kilometer post for surveying is accurately measured, and the kilometer post has an accuracy of 35 cm.
Since the reference points and kilometer posts are usually installed at intervals of 1 km or more, it is assumed that two or more reference points or the like are captured in the image acquired by the surveying information management device according to the present invention. Hateful. Nevertheless, if the second embodiment is used, three-dimensional information can be obtained at one reference point.

第１の実施形態および第２の実施形態（以下、第１の実施形態および第２の実施形態をまとめて、実施形態と称する。）では、取得部１０にＧＰＳ受信機１１４を備えているが、これに限定されない。取得部１０は、適切なタイミングで、位置情報を取得できればよく、例えば、車両１３に装備されている、カーナビゲーションシステム（いわゆるカーナビ）のＧＰＳ情報を、入力部２１２から入力するようにしてもよい。この場合、入力部は、ＧＰＳ情報信号を入力させるためのインターフェースを備える。 In the first embodiment and the second embodiment (hereinafter, the first embodiment and the second embodiment are collectively referred to as an embodiment), theacquisition unit 10 is provided with theGPS receiver 114. , Not limited to this. Theacquisition unit 10 may acquire the position information at an appropriate timing. For example, the GPS information of the car navigation system (so-called car navigation system) equipped in thevehicle 13 may be input from theinput unit 212. .. In this case, the input unit includes an interface for inputting a GPS information signal.

また、取得部１０がステレオ画像を生成する２枚の画像を撮像し、管理部２０がその２枚の画像の画像データを用いてステレオ画像を生成しているが、これに限定されない。取得部１０が、ステレオ画像を生成してもよい。この場合、取得部１０は、ステレオ画像処理部２１０を備える。そして、撮像制御部１１１は、カメラ１１２およびカメラ１１３から画像データを取得すると、その画像データを、ステレオ画像処理部２１０へ送信する。ステレオ画像処理部２１０は、画像データを用いて、ステレオ画像データを生成する。そして、ステレオ画像処理部２１０は、生成したステレオ画像を、撮像制御部１１１に渡す。撮像制御部１１１は、受け取ったステレオ画像を、位置情報と関連付けて、画像データ記憶領域１２２に記録させる。カメラ１１２およびカメラ１１３に代えてステレオカメラを用いる場合なども考えられる。この場合、ステレオカメラから、３次元情報を示すステレオ画像データが、撮像制御部１１１に出力され、位置情報と関連付けて、画像データ記憶領域１２２に記録される。 Further, theacquisition unit 10 captures two images for generating a stereo image, and themanagement unit 20 generates a stereo image using the image data of the two images, but the present invention is not limited to this. Theacquisition unit 10 may generate a stereo image. In this case, theacquisition unit 10 includes a stereoimage processing unit 210. Then, when the imagepickup control unit 111 acquires the image data from thecamera 112 and thecamera 113, the imagepickup control unit 111 transmits the image data to the stereoimage processing unit 210. The stereoimage processing unit 210 uses the image data to generate stereo image data. Then, the stereoimage processing unit 210 passes the generated stereo image to the imagepickup control unit 111. The imagepickup control unit 111 associates the received stereo image with the position information and records it in the imagedata storage area 122. It is also conceivable that a stereo camera is used instead of thecamera 112 and thecamera 113. In this case, stereo image data indicating three-dimensional information is output from the stereo camera to theimaging control unit 111, associated with the position information, and recorded in the imagedata storage area 122.

また、補正部２１１は、記憶部２０２にある、参照データ記録領域２２２に記録されたＭＭＳ参照データ等を参照し、ステレオ画像上の選択点の緯度経度を特定しているが、これに限定されない。補正部２１１は、例えば、インターネット通信網を介して、位置情報を参照し、緯度経度を特定してもよい。この場合、補正部２１１は、インターネット通信網にアクセスするためのインターフェースを備える。ここで、通信部２１１が参照する位置情報は、例えば、国土交通省国土地理院が公開する、電子国土基本図（地図情報）等である。 Further, thecorrection unit 211 refers to the MMS reference data or the like recorded in the referencedata recording area 222 in thestorage unit 202 to specify the latitude and longitude of the selected point on the stereo image, but is not limited to this. .. Thecorrection unit 211 may specify the latitude and longitude by referring to the position information via, for example, the Internet communication network. In this case, thecorrection unit 211 includes an interface for accessing the Internet communication network. Here, the location information referred to by thecommunication unit 211 is, for example, an electronic national land basic map (map information) published by the Geographical Survey Institute of the Ministry of Land, Infrastructure, Transport and Tourism.

さらに、補正部２１１は、３次元情報を求めるにあたり、第１の実施形態では２点、第２の実施形態では１点の、ステレオ画像上の選択点について緯度経度を特定している。この選択点の数は３次元情報を求めるために最低限必要な数であり、これに限定されるものではない。補正部２１１は、さらに、ステレオ画像上の別の選択点についても緯度経度を特定して微調整を行い、３次元情報の精度をさらに高めてもよい。
また、補正部２１１は、補正に用いた選択点についての情報を、記録部２０２に記録させてもよい。道路周辺設備においては、設備の保守点検のために測量を繰り返し行う。このため、ステレオ画像およびその３次元情報を取得する際に用いた選択点についての情報が蓄積されれば、次回の測定で選択点を、抽出しやすくなる。
さらに、補正部２１１は、入力部２１２から、ステレオ画像上の選択点に関する信号を、入力させているが、これに限定されない。補正部２１１は、例えば、ステレオ画像およびＭＭＳ参照データに共通する特徴ある点を、画像認識技術を用いて自動的に抽出してもよい。この場合、補正部２１１は、画像認識機能を有し、ステレオ画像およびＭＭＳ参照データに共通する特徴ある点を抽出する。そして、その選択点に応じた緯度経度をＭＭＳ参照データから特定する。Further, in obtaining the three-dimensional information, thecorrection unit 211 specifies the latitude and longitude of two selected points on the stereo image and one point in the second embodiment. The number of selection points is the minimum number required to obtain three-dimensional information, and is not limited to this. Further, thecorrection unit 211 may specify the latitude and longitude of another selection point on the stereo image and make fine adjustments to further improve the accuracy of the three-dimensional information.
Further, thecorrection unit 211 may have therecording unit 202 record information about the selection point used for the correction. For road peripheral equipment, surveying is repeated for equipment maintenance and inspection. Therefore, if the information about the selection points used when acquiring the stereo image and the three-dimensional information thereof is accumulated, it becomes easy to extract the selection points in the next measurement.
Further, thecorrection unit 211 causes theinput unit 212 to input a signal relating to the selection point on the stereo image, but the present invention is not limited to this. For example, thecorrection unit 211 may automatically extract characteristic points common to the stereo image and the MMS reference data by using an image recognition technique. In this case, thecorrection unit 211 has an image recognition function and extracts characteristic points common to the stereo image and the MMS reference data. Then, the latitude and longitude corresponding to the selected point are specified from the MMS reference data.

上述した実施形態における撮像制御、ステレオ画像処理および、補間処理をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。 The imaging control, stereo image processing, and interpolation processing in the above-described embodiment may be realized by a computer. In that case, the program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by the computer system and executed. The term "computer system" as used herein includes hardware such as an OS and peripheral devices. Further, the "computer-readable recording medium" refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, or a storage device such as a hard disk built in a computer system. Further, a "computer-readable recording medium" is a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, and dynamically holds the program for a short period of time. It may also include a program that holds a program for a certain period of time, such as a volatile memory inside a computer system that serves as a server or a client in that case. Further, the above program may be for realizing a part of the above-mentioned functions, and may be for realizing the above-mentioned functions in combination with a program already recorded in the computer system. It may be realized by using a programmable logic device such as FPGA (Field Programmable Gate Array).

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the embodiments of the present invention have been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and the design and the like within a range not deviating from the gist of the present invention are also included.

１…道路周辺環境、１０…取得部、１２…道路、１３…車両、１４…マンホール、１５…電柱、１６…データ管理センター、２０…管理部、
１１１…撮像制御部、１１２…カメラ、１１３…カメラ、１１４…ＧＰＳ受信機、１２２…画像データ記録領域、
２０１…処理部、２１０…ステレオ画像処理部、２１１…補正部、２１２…入力部、２１３…表示部、２０２…記録部、２２１…３次元データ記録領域、２２２…参照データ記録領域。1 ... Road environment, 10 ... Acquisition department, 12 ... Road, 13 ... Vehicle, 14 ... Manhole, 15 ... Utility pole, 16 ... Data management center, 20 ... Management department,
111 ... Imaging control unit, 112 ... Camera, 113 ... Camera, 114 ... GPS receiver, 122 ... Image data recording area,
201 ... Processing unit, 210 ... Stereo image processing unit, 211 ... Correction unit, 212 ... Input unit, 213 ... Display unit, 202 ... Recording unit, 221 ... Three-dimensional data recording area, 222 ... Reference data recording area.

Claims (6)

Translated fromJapanese

移動体に設けた２個の撮像装置の各々から得た視差を有する２枚の画像データから、移動体周辺における観察対象３次元形状を含む３次元空間であるステレオ画像を生成する画像生成部と、
前記撮像装置の各々により撮像された位置を示す位置情報を取得する位置情報取得部と、
前記ステレオ画像における３次元位置情報を示すステレオ画像データ、およびモービルマッピングシステムにより予め取得されたＭＭＳ参照データであって、前記位置情報に相当する位置の周辺の３次元位置情報を示すＭＭＳ参照データに、共通に存在する３次元形状の同一箇所を示す点を選択し、前記ＭＭＳ参照データにおいて前記選択された点に対応する点を基準点とし、前記ステレオ画像データにおける前記選択された点の３次元座標が、前記基準点の３次元座標となるように補正する補正部と、
を備えることを特徴とする測量情報管理装置。An image generator that generates a stereo image that is a three-dimensional space including the three-dimensional shape of the observation target around the moving body from two image data having parallax obtained from each of the two imaging devices provided on the moving body. ,
A position information acquisition unit that acquires position information indicating a position imaged by each of the image pickup devices, and a position information acquisition unit.
Thestereo image data indicating the three-dimensional position information in the stereo image and the MMS reference data previously acquired by the mobile mapping system and indicating the three-dimensional position information around the position corresponding to the position information. , A point indicating the same location of the three-dimensional shape that exists in common is selected, the point corresponding to the selected point in the MMS reference data is used as a reference point, and the three-dimensional of the selected point in the stereo image data. A correction unit that corrects the coordinates so that they becomethe three-dimensional coordinates of thereference point ,
A surveying information management device characterized by being equipped with. 前記撮像装置は、前記観察対象が撮像可能な位置を移動する移動体である車両に搭載されている、
ことを特徴とする請求項１に記載の測量情報管理装置。The image pickup device is mounted on a vehicle which is a moving body that moves a position where the observation target can take an image.
The surveying information management device according to claim 1. 前記基準点は、モービルマッピングシステムにより取得した世界座標系における座標点である、
ことを特徴とする請求項１又は請求項２に記載の測量情報管理装置。The reference point is a coordinate point in theworld coordinate systemobtained by mobile mapping system,
The surveying information management device according to claim 1 or 2, wherein the survey information management device is characterized. 前記基準点は地図上の所定の箇所の緯度経度で示される座標値である、
ことを特徴とする請求項１から請求項３のいずれか一項に記載の測量情報管理装置。The reference point is a coordinate value indicated by the latitude and longitude of a predetermined location on the map.
The surveying information management device according to any one of claims 1 to 3, wherein the survey information management device is characterized. 前記基準点は距離標が設置された緯度経度で示される座標値である、
ことを特徴とする請求項１から請求項４のいずれか一項に記載の測量情報管理装置。The reference point is a coordinate value indicated by the latitude and longitude where the distance marker is installed.
The surveying information management device according to any one of claims 1 to 4, wherein the survey information management device is characterized. 移動体に設けた２個の撮像装置の各々から得た視差を有する２枚の画像データから、移動体周辺における観察対象３次元形状を含む３次元空間であるステレオ画像を生成するステップと、
前記撮像装置の各々により撮像された位置を示す位置情報を取得するステップと、
前記ステレオ画像における３次元位置情報を示すステレオ画像データ、およびモービルマッピングシステムにより予め取得されたＭＭＳ参照データであって、前記位置情報に相当する位置の周辺の３次元位置情報を示すＭＭＳ参照データに、共通に存在する３次元形状の同一箇所を示す点を選択し、前記ＭＭＳ参照データにおいて前記選択された点に対応する点を基準点とし、前記ステレオ画像データにおける前記選択された点の３次元座標が、前記基準点の３次元座標となるように補正するステップと、
を備えることを特徴とする測量情報管理方法。A step of generating a stereo image, which is a three-dimensional space including a three-dimensional shape of an observation target around the moving body, from two image data having parallax obtained from each of two imaging devices provided on the moving body.
A step of acquiring position information indicating a position imaged by each of the image pickup devices, and
Thestereo image data indicating the three-dimensional position information in the stereo image and the MMS reference data previously acquired by the mobile mapping system and indicating the three-dimensional position information around the position corresponding to the position information. , A point indicating the same location of the three-dimensional shape that exists in common is selected, the point corresponding to the selected point in the MMS reference data is used as a reference point, and the three-dimensional of the selected point in the stereo image data. A step of correcting the coordinates so that they becomethe three-dimensional coordinates of thereference point, and
A surveying information management method characterized by being provided with.

Images