JP4284644B2

Movatterモバイル変換

Info

Publication number: JP4284644B2
Application number: JP2003146531A
Authority: JP
Inventors: 亮介柴崎; 卉菁 ▲趙▼
Original assignee: Foundation for the Promotion of Industrial Science
Current assignee: Foundation for the Promotion of Industrial Science
Priority date: 2003-05-23
Filing date: 2003-05-23
Publication date: 2009-06-24
Anticipated expiration: 2023-05-23
Also published as: JP2004348575A

Description

【０００１】
【発明の属する技術分野】
本発明は、レーザスキャナなどにより取得した３次元点群データと画像データから対象物の３次元モデルを構築する３次元モデル構築システム及び３次元モデル構築プログラムに関する。
【０００２】
【従来の技術】
建造物や道路、看板、様々な施設からなる都市空間に代表されるように、実世界は多様で複雑な対象物からなっている。こうした対象物を３次元モデルとして計測して利用しようとする分野はコンピュータグラフィックスをはじめとして数多い。しかし多くの分野で、３次元モデルに投入できる費用は限られているため、３次元形状を効率的に計測し、モデル化する手法が必要不可欠である。都市に関していえば、古典的には航空写真測量などの技術を利用して、上空から都市の３次元データを取得する方法は実務的にも多く行われてきた。これは広域を効率よくカバーするためには、優れた方法である。しかし、今後の３次元空間データの利用では、地上にいる歩行者やドライバーの視点からの詳細な３次元表現が求められるケースも非常に多くなることが予測され、建物側面、地下空間、更に看板、信号機などの目印となる複雑な対象物をより正確にモデル化する事が必要になる。
【０００３】
一方、地上からステレオ写真や動画像などの技術によって３次元情報を獲得して、目印となる看板や標識、電柱や道路の白線を抽出するシステムはこれまでも開発されてきた（例えば、特許文献１、２）。また近年アイセーフレーザを用いるレーザレンジスキャナが低価格化し、市街地、大型屋内環境、遺跡などの３次元計測システムに適用されつつある。レーザレンジスキャナはオブジェクトの形状を点群データ（３次元点群データ）として直接かつ高精度に取得できるようになっているため、レーザレンジスキャナを利用して比較的スケールの大きい、形状の単純なオブジェクトのモデリングに適用されている（例えば、特許文献３）。
【０００４】
【特許文献１】
特開２００２−０８１９４１号公報
【特許文献２】
特開平０９−３１９８９６号公報
【特許文献３】
特開２００３−０２１５０７号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、点群データを使用してモデリングを行うには空間解像度が限られるため、点群から面を生成し、３次元モデルを構築する過程の自動化は必ずしも容易ではない。さらに画像や点群データのなかから対象物を自動的に判読する処理を行うのは非常に困難である。そのため、こうした全自動を念頭においたモデル作成技術は、自動化作業が容易に行える対象に対しては大変効率化効果は大きいものの、ほとんどの場合においては簡単なものと複雑なものが混在するため、適用範囲はごく一部に限られているという問題がある。その結果、残された多くの対象物や、自動化が失敗した対象物を手作業でモデル化せざるを得ないため、自動化による効率化効果がほとんど発揮できないケースが大半である。このため、人間の作業を簡略化・効率化しつつ、人間の持つ優れた対象物識別・分類能力を生かす方法が望まれている。
【０００６】
本発明は、このような事情に鑑みてなされたもので、３次元点群データと画像データから対象物の３次元モデルを容易に構築することができる３次元モデル構築システム及び３次元モデル構築プログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、画像データと３次元点群データとが関係付けられて記憶されており、これらのデータから３次元モデルを構築する３次元モデル構築システムであって、３次元モデルデータを記憶するデータファイルと、前記画像データ及び３次元点群データを画面に表示する表示手段と、前記画像データが表示された画面上において多角形の領域を指定する指定手段と、前記多角形領域内に含まれる３次元点群データを抽出する抽出手段と、抽出した前記３次元点群データに基づいて、前記多角形領域の３次元座標値を求めることにより面オブジェクトを特定して、前記データファイルへ書き込む面オブジェクト生成手段とを備えたことを特徴とする。
【０００８】
本発明は、前記３次元モデル構築システムは、前記画像データが表示された画面上において線分の端点または屈曲点を指定する手段と、前記３次元点群データに基づいて、前記線分の３次元座標値を求めることにより線オブジェクトを特定して、前記データファイルへ書き込む線オブジェクト生成手段と
をさらに備えたことを特徴とする。
【０００９】
本発明は、前記３次元モデル構築システムは、前記画像データが表示された画面上において特徴点を指定する手段と、前記３次元点群データに基づいて、前記特徴点の３次元座標値を求めることにより点オブジェクトを特定して、前記データファイルへ書き込む点オブジェクト生成手段とをさらに備えたことを特徴とする。
【００１０】
本発明は、前記面オブジェクト生成手段は、前記多角形領域内の画像データを抽出し、該画像データをテクスチャとして前記データファイルへ書き込むことを特徴とする。
【００１１】
本発明は、前記３次元モデル構築システムは、前記画像データに基づいて、他の計測手段により生成された３次元多角形面データを補完するデータ補完手段をさらに備えたことを特徴とする。
【００１２】
本発明は、画像データと３次元点群データとが関係付けられて記憶されており、これらのデータから３次元モデルを構築し、得られた３次元モデルデータをデータファイルに書き込む３次元モデル構築プログラムであって、前記画像データ及び３次元点群データを画面に表示する表示処理と、前記画像データが表示された画面上において多角形の領域を指定する指定処理と、前記多角形領域内に含まれる３次元点群データを抽出する抽出処理と、抽出した前記３次元点群データに基づいて、前記多角形領域の３次元座標値を求めることにより面オブジェクトを特定して、前記データファイルへ書き込む面オブジェクト生成処理とをコンピュータに行わせることを特徴とする。
【００１３】
本発明は、前記３次元モデル構築プログラムは、前記画像データが表示された画面上において線分の端点または屈曲点を指定する処理と、前記３次元点群データに基づいて、前記線分の３次元座標値を求めることにより線オブジェクトを特定して、前記データファイルへ書き込む線オブジェクト生成処理とをさらにコンピュータに行わせることを特徴とする。
【００１４】
本発明は、前記３次元モデル構築プログラムは、前記画像データが表示された画面上において特徴点を指定する処理と、前記３次元点群データに基づいて、前記特徴点の３次元座標値を求めることにより点オブジェクトを特定して、前記データファイルへ書き込む点オブジェクト生成処理とをさらにコンピュータに行わせることを特徴とする。
【００１５】
本発明は、前記面オブジェクト生成処理は、前記多角形領域内の画像データを抽出し、該画像データをテクスチャとして前記データファイルへ書き込むことを特徴とする。
【００１６】
本発明は、前記３次元モデル構築プログラムは、前記画像データに基づいて、他の計測手段により生成された３次元多角形面データを補完するデータ補完処理をさらにコンピュータに行わせることを特徴とする。
【００１７】
【発明の実施の形態】
以下、本発明の一実施形態による３次元モデル構築システムを図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、ラインＣＣＤカメラを使用して取得したモデル化対象物体の画像データが格納された画像データファイルである。符号２は、レーザレンジスキャナを使用して取得したモデル化対象物体の測距データを格納した測距データファイルである。符号３は、画像データ及び測距データを取得したときのラインＣＣＤカメラとレーザレンジスキャナの位置及び姿勢のデータを格納した位置姿勢データファイルである。符号４は、位置姿勢データに基づいて、測距データを地球座標系の座標値に変換するとともに、画像データと地球座標系の座標値との関連付けることにより取得したデータを統合するデータ統合部である。符号５は、データ統合部４により得られたモデル化対象物体の測定点群を地球座標系に変換したデータ（ここでは、３次元点群データと称する）を格納する３次元点群データファイルである。符号６は、データ統合部４により画像データファイル１に格納されている画像データを測距データファイル２に格納されている測距データと関連付けるともに、位置姿勢データファイル３に格納されている位置姿勢データに基づいて補正した画像データ（ここでは、統合画像データと称する）が格納する統合画像データファイルである。
【００１８】
符号７は、３次元点群データ及び統合画像データを使用して、３次元モデルデータを生成するモデル生成部である。符号８は、生成した３次元モデルデータを格納する３次元モデルデータファイルである。符号９は、キーボードやマウスで構成される入力部である。符号１０は、画面表示や画面上の位置指定の処理を行う画面処理部である。符号１１は、画像表示が可能なディスプレイである。符号１２は、３次元モデルを構成する面オブジェクトを生成する面オブジェクト生成部である。符号１３は、３次元モデルを構成する線オブジェクトを生成する線オブジェクト生成部である。符号１４は、３次元モデルを構成する点オブジェクトを生成する点オブジェクト生成部である。符号１５は、統合画像データに基づいて、データ補完を行うデータ補完部である。符号１６は、統合画像データ及び３次元点群データを統合画像データファイル６、３次元点群データファイル５から読み出すデータ読み込み部である。符号１７は、目印となる看板等のデータが予め記憶されたロゴデータベースである。符号１８は、他の計測手段によって生成された３次元多角形面データが記憶された３次元多角形面データファイルである。
【００１９】
次に、画像データファイル１、測距データファイル２及び位置姿勢データファイル３に格納される各データの取得方法について簡単に説明する。データの取得は、３台のレーザレンジスキャナと６台のラインＣＣＤカメラと航法装置（ＧＰＳ／ＩＮＳ／Ｏｄｏｍｅｔｅｒ）を計測車両のルーフに取り付け、計測車両が走行することにより、沿道の建造物等の計測データを取得することにより行う。ここで使用するレーザレンジスキャナは、シングルスキャン方式であり、計測レートが２０Ｈｚ（１秒間２０回転）、１回転で計測範囲３００度の間に距離範囲が７０ｍ以内の４８０個のレーザレンジポイントを計測できる。ラインＣＣＤカメラは、８ｍｍ、Ｆ４の魚眼レンズを装着し、計測レートは約８０Ｈｚ（１秒間８０ライン）。各ライン画像は１８０度の間に２０４８点のＲＧＢピクセルを計測できる。各レーザレンジスキャナとラインＣＣＤカメラの計測面をそれぞれ計測車の進行方向と４５、９０、１３５度の垂直面に配置し、計測車両が走行しながら沿道物の断面図を３方向から計測し、また航法装置が出力した位置姿勢と時刻データ、又は各センサ間の相対標定要素によって各地点を計測したレーザレンジデータとラインＣＣＤ画像を地球座標系に統合する。図７に３台のレーザレンジスキャナと６台のラインＣＣＤカメラと航法装置（ＧＰＳ／ＩＮＳ／Ｏｄｏｍｅｔｅｒ）を計測車両のルーフに取り付けた場合の配置図を示す。図１に示す画像データファイル１、測距データファイル２及び位置姿勢データファイル３に格納される各データの取得方法については、特開２００２−０３１５２８号公報に記載されているデータ取得方法を適用することができるので、詳細な動作等の説明は省略する。
【００２０】
次に、画像データファイル１、測距データファイル２及び位置姿勢データファイル３の各ファイルに格納されているデータから３次元点群データファイル５及び統合画像データファイル６を生成する動作を説明する。まず、データ統合部４は、位置姿勢データを参照して、画像データの歪みを補正する。計測車両にラインＣＣＤを搭載して計測した画像データは、車両が走行することにより２次元の画像を取得するものであるが、計測車両のロール、ピッチ、バウンド（上下振動）、さらには、走行速度の変化によって、歪んだ画像データとなってしまう。そこで、各画素データに対して、位置姿勢データに基づく補正を行うことによってこの歪みを補正することが可能となる。続いて、データ統合部４は、位置姿勢データを参照して、３台のレーザレンジスキャナで計測した各測定点の測距データのすべてを１つの地球座標系の座標値に変換して、３次元点群データとする。
【００２１】
次に、データ統合部４は、各測距データ（３次元点群データ）を同方向の計測面で撮影した画像データに投影する。例えば、２番のレーザレンジスキャンナが計測して得られた測距データ（３次元点群データ）を２番と５番のラインＣＣＤ画像に投影する。そして、各レーザレンジスキャンラインｉ（１回転のデータ）に対して、２番と５番のラインＣＣＤの画像データから最も一致する計側面で撮影した画像データｊ２とｊ５を探す。次に、各レーザレンジスキャンラインｉにある各レーザレンジポイントｓに対して、ｊ２とｊ５にある計測方向の最も一致するピクセルｔを探し、レーザレンジポイントｓをピクセルｔに投影すると、測距データと画像データが関連付けられ、その結果を統合画像データファイル６、３次元点群データファイル５へ格納する。
【００２２】
このデータ統合処理によって、３次元点群データファイル５には、地球座標系における測定点の座標値が格納され、この測定点と画像データが関連付けられ統合画像データファイル６に格納されることとなる。
なお、３次元点群データファイル５及び統合画像データファイル６の生成方法は、前述した方法に限らず他の方法で生成したデータであってもよい。
また、ＣＣＤ画像に基づいてその他の計測手段により生成された３次元多角形面データファイル１８を補完する場合には、データ統合部４は、３次元多角形面データをＣＣＤ画像データに投影する。まず、３次元多角形面データｆの中心点ｐに対して、各ラインＣＣＤ画像データから撮影方向の最も一致するピクセルｔを探す、ピクセルｔに関連付けられた測距データｓはピクセルｔの撮影中心からｐまでの距離ｄと一致するかどうかを検証する。投影の正当性が検証されたラインＣＣＤ画像データから距離ｄの最も短い且つ平面ｆへの入射角の最も大きいラインＣＣＤ画像データｊを３次元多角形面データｆと関連付けられる。次に、３次元多角形面データｆの各頂点に対して、ラインＣＣＤ画像データｊから撮影方向の最も一致するピクセルを探し、関連付ける。その結果を統合画像データファイル６へ格納する。
なお、その他の計測手段により生成された３次元多角形面データファイル１８と画像データファイル１の統合、また統合画像データファイル６の生成方法は、前述した方法に限らず他の方法で生成したデータであってもよい。
【００２３】
ここで、本発明の方法によって生成する３次元モデルについて説明する。本発明によって生成する３次元モデルは、多角形の平面で表現する面オブジェクト、線分で表現する線オブジェクト、特徴点で表現する点オブジェクトの組み合わせで構成されるものであり、面オブジェクトに関しては、画像データをテクスチャとして用いてより現実感を得るものである。
【００２４】
次に、図１に示すモデル生成部７が、３次元点群データファイル５及び統合画像データファイル６に格納されているデータから３次元モデルを生成する動作を説明する。ここでは、動作原理の説明を簡単にするために、図２、図３を例にして説明する。図２は、統合画像データファイル６に格納される画像データの一例を示す図である。図３は、図２に示す計測位置にレーザレンジスキャナを設置して、図２に撮像されている建造物を計測したレーザレンジデータを地球座標系においてプロットし、視点位置が計測位置より高くなるように視点位置を変更する座標変換を施した状態を表示部１１に表示した例である。図２の画像データは、建造物の状態を分かり易くするために、実際の画像データに比べて視点位置が高い位置になった状態の画像となっているが、実際には、図２に示す計測位置にラインＣＣＤカメラを設置し、レーザレンジスキャナがスキャンした計測範囲を撮像した画像が統合画像データファイル６には格納されている。
【００２５】
次に、各オブジェクトを生成する動作を説明する。まず、オペレータが入力部９から３次元モデル生成の指示を入力すると、モデル生成部７は、データ読み込み部１６に対して、画像データと３次元点群データを読み出すように指示する。これを受けて、データ読み込み部１６は、図２に示す画像データと図３に示す３次元点群データを読み出し、モデル生成部７へ受け渡す。そして、モデル生成部７は、この受け取ったデータを画面処理部１０へ出力する。このとき、画面処理部１０は、モデル生成部７より受け取った３次元点群データに対して、任意の視点位置変換を施した後に、表示部１１へ出力することによりデータの表示を行う。この操作によって、表示部１１には、図２、図３に示す画像が同時に表示されたこととなる。
【００２６】
次に、オペレータは、面オブジェクトの生成を入力部９より指定する。これを受けて、モデル生成部７は、多角形の頂点を指定するようにメッセージを表示部１１へ表示する。続いて、オペレータは画像データが表示されている画面（図２）上で面オブジェクトの範囲を示す多角形の頂点位置を入力部９のマウスを使用して指定する。ここでは、図４に示す符号Ａ，Ｂ，Ｃ，Ｄを順に指定したものとする。画面処理部１０は、この画面上の座標値を読み取り、モデル生成部７へ通知する。そして、モデル生成部７は、４つの座標値を面オブジェクト生成部１２へ受け渡す。これを受けて、面オブジェクト生成部１２は、頂点の座標値で特定される多角形領域内に投影されたレーザレンジポイントを抽出し、空間平面を当てはめる。図５に、頂点の座標値で特定される多角形領域内に投影されたレーザレンジポイントを抽出し、空間平面を当てはめた時の画面表示例を示す。
【００２７】
次に、面オブジェクト生成部１２は、該当多角形領域内にある画像データのピクセルをその投影方向線に沿って、空間平面に投影し、該当する平面のテクスチャを画像データから切り出す。続いて、該当多角形領域の頂点が対応する画像データのピクセルの投影方向線に沿って、平面へ投影し、空間平面多角形領域の頂点を求め、モデル作成部７へ受け渡す。
【００２８】
次に、モデル生成部７は、切り出したテクスチャー画像と既存のロゴデータベース１７に記憶されているデータとをマッチングして、ショップ看板や道路交通標識などの種類を見つけ、該当面オブジェクトに属性を付与する。マッチングが失敗した場合、モデル生成部７は、入力部９より入力された属性をこの面オブジェクトに付与する。そして、モデル生成部７は、ここで得られた面オブジェクトを３次元モデルデータファイル８へ書き込む。これにより面オブジェクトが３次元モデルデータファイル８へ書き込まれたことになり、この３次元モデルデータを表示すると図６の符号Ｐ１で示す面オブジェクトが表示される。この面オブジェクトは、単に多角形を表示しているだけでなく、画像データをテクスチャとして用いている。
【００２９】
なお、都市空間にある平面的なオブジェクトの大半はほぼ垂直かほぼ水平の２種類に分けられるため、特にスケールの小さい、また周囲に歩行者、通行車両、樹木、電柱、電線などのデータが混在している平面の当てはめについては、次のように求めるようにしてもよい。まず、ほぼ垂直な面オブジェクトに対して、抽出されたレーザレンジポイントをあるグリッド化した水平面に投影して、Ｚ−ｉｍａｇｅと呼ぶ画像を作る。Ｚ−ｉｍａｇｅにあるピクセルの値は該当するグリッドに投影されたレーザレンジポイント数である。Ｚ−ｉｍａｇｅにあるラインセグメントは空間上の垂直平面を表す。こうした過程で、垂直方向でポイント数の累積の多い垂直平面を強く強調し、その他のオブジェクトを弱める。次に、Ｚ−ｉｍａｇｅから最も鮮明且つ長いラインセグメントを抽出すし、ラインセグメントの周囲に投影されたレーザレンジポイントで、最小二乗法によって平面パラメータを求める。また、ほぼ水平な面オブジェクトに対して、抽出されたレーザレンジポイントの標高値によってヒストグラムを作って、最もピークになった標高値を求め、該当標高値を中心にある許容範囲内の標高値を持つレーザレンジポイントを抽出して、最小二乗法によって平面パラメータを求める。
なお、ここでは、面として平面のみを対象として説明したが、同様の処理を適用することにより、円柱や球等の曲面のオブジェクトを生成するようにしてもよい。
【００３０】
次に、オペレータは、線オブジェクトの生成を入力部９より指定する。これを受けて、モデル生成部７は、線オブジェクトの屈曲点または端点を指定するようにメッセージを表示部１１へ表示する。続いて、オペレータは画像データが表示されている画面（図２）上で線オブジェクトの屈曲点または端点位置を入力部９のマウスを使用して指定する。ここでは、図４の符号Ｊ、Ｋの位置（外灯）が指定されたものとする。これを受けて、画面処理部１０は、この画面上の座標値を読み取り、モデル生成部７へ通知する。そして、モデル生成部７は、指定された座標値を線オブジェクト生成部１３へ受け渡す。これを受けて、線オブジェクト生成部１３は、屈曲点または端点が対応する画像データのピクセルの周囲の所定許容範囲内に投影されたレーザレンジポイント（３次元点群データ）の中心点を取り、空間上の線オブジェクトの屈曲点または端点とする。ただし、こうした過程では、歩行者、通行車両、樹木、データ統合時に生じた誤差、また太陽直射などによる計測誤差により、間違ったポイントを抽出する可能性がある。そこで、次のような補助手順によって、雑多なデータが混在している環境でも確実にポイント抽出を行う。
【００３１】
線オブジェクト生成部１３は、指定された複数の線分の周囲に、所定許容範囲内に投影されたレーザレンジポイント（３次元点群データ）を抽出し、最小二乗法によって空間平面を求め、投影面とする。そして、得られた投影面をグリッド（格子）化し、抽出されたレーザレンジポイント（３次元点群データ）を投影面に投影して、ｈｙｂｒｉｄＺ−ｉｍａｇｅと呼ぶ画像を生成する。そこで、ｈｙｂｒｉｄＺ−ｉｍａｇｅにあるピクセルの値は対応するグリッドに投影されたレーザレンジポイント（３次元点群データ）の数である。こうした過程によって３次元空間にある複数の線分の形状が最大限で２次元画像に表現することができる。続いて、先に求めた屈曲点または端点をｈｙｂｒｉｄＺ−ｉｍａｇｅに投影して、レーザレンジポイント（３次元点群データ）で表す線分の形状と一致するかどうかを確認する。そして、一致しない場合、オペレータはｈｙｂｒｉｄＺ−ｉｍａｇｅ上で投影されたポリラインを修正する。修正された線分の屈曲点または端点に対して、対応するｈｙｂｒｉｄＺ−ｉｍａｇｅに投影されたレーザレンジポイント（３次元点群データ）の中心点を求めて、空間上の屈曲点または端点とする。この屈曲点または端点で特定される複数の線分が線オブジェクトである。
【００３２】
次に、線オブジェクト生成部１３は、この線オブジェクトのデータをモデル生成部７へ受け渡す。続いて、モデル生成部７は、この線オブジェクトとロゴデータベース７に記憶されているデータとマッチングして、路上灯や歩道界などを種類分けして、該当線オブジェクトに属性を付与する。また、マッチングが失敗した際には、入力部９より入力した属性を付与する。そして、モデル生成部７は、ここで得られた線オブジェクトを３次元モデルデータファイル８へ書き込む。これにより線オブジェクトが３次元モデルデータファイル８へ書き込まれたことになり、この３次元モデルデータを表示すると図６の符号Ｌ１で示す線オブジェクトが表示される。また、同様に、図４において、符号Ｇ、Ｈ、Ｉと符号Ｅ、Ｆと指定した場合には、それぞれ図６の符号Ｌ２、Ｌ３で示す線オブジェクトが生成されることになる。
なお、ここでは、直線を例にして説明したが、短い線オブジェクトの集まりによって、円弧等の曲線のオブジェクトを生成するようにしてもよい。
【００３３】
次に、オペレータは、点オブジェクトの生成を入力部９より指定する。これを受けて、モデル生成部７は、特徴点の位置を指定するようにメッセージを表示部１１へ表示する。続いて、オペレータは画像データが表示されている画面（図２）上で特徴点の位置を入力部９のマウスを使用して指定する。これを受けて、画面処理部１０は、この画面上の座標値を読み取り、モデル生成部７へ通知する。そして、モデル生成部７は、指定された座標値を点オブジェクト生成部１４へ受け渡す。これを受けて、点オブジェクト生成部１３は、この座標値が対応する画像データのピクセルの周囲に、所定許容範囲内に投影されたレーザレンジポイントの中心点を取って、点オブジェクトの空間座標値とする。点オブジェクト生成部１４は、この座標値をモデル生成部７へ受け渡す。これを受けて、モデル生成部７は、この空間座標値を３次元モデルデータファイル８へ書き込む。
【００３４】
次に、その他の計測手段による生成された３次元多角形面データファイル１８に記憶されている３次元多角形面データの補完を行う動作を説明する。測距データの計測エラーや既存の３次元モデルデータ製作手段の制限などによって、その他の計測手段により生成された３次元多角形面データファイル１８に記憶されている３次元多角形面データには誤差が含まれていることがあり、テクスチャデータがなく現実感を欠くことがあるため、ラインＣＣＤ画像データに基づいて補完する。まず、入力部９よりデータの補完の指示を受けると、モデル生成部７は、データ補完部１５に対して、データ補完の指示を出す。これを受けて、データ補完部１５は、その他の計測手段により生成された３次元モデルデータを画像データ上に投影して、それによって描いたオブジェクト形状が画像データ上に撮影されたものと一致するか否かを確認する。
【００３５】
次に、オペレータは画像データ上に投影された一致しない多角形の頂点に対して、正しい投影場所を画面上においてマウスで指定する。そして、対応する画像データのピクセルの撮影方向線と該当する頂点が属する多角形の空間平面との交点を求めることによって、頂点に対して新しい空間座標値を与える。続いて、投影された多角形に囲まれた画像データのピクセルを撮影方向線に沿って、該当多角形の空間平面に投影し、リサンプリングによって該当多角形のテクスチャー画像を生成する。
このようにして、その他の計測手段により生成された３次元多角形面データファイル１８に記憶されている３次元多角形面データの誤差が大きい場合においても画像データに基づいて補完することが可能となる。また、テクスチャーデータの生成によってより現実感を得ることも可能となる。
【００３６】
以上の動作を繰り返すことによって、面、線、点からなるオブジェクトの集合として、３次元モデルデータが生成されることとなる。図８、図９に、実際に市街地を計測車両で走行し、取得したデータに基づいて３次元モデルデータを生成し、画面表示した例を示す。本発明によれば、図８に示すように、建造物の表面は、ＣＣＤ画像をそのままテクスチャとして用いたため、現実感のある３次元モデルデータを作成することができる。また、平面、線等のオブジェクトを３次元点群データに基づいて位置関係を求めるようにしたため、正確な３次元モデルデータとすることが可能となる。また、図９に示すように、市街地内の目印となる看板などもＣＣＤ画像をそのまま用いることが可能となり、標識や信号さらには横断歩道等もリアルに表現することができるため、自動車に用いるナビゲーションシステムの表示データとして最適なデータを生成することが実現できる。
【００３７】
従来は、レーザスキャナなどによる距離画像や、ＣＣＤカメラなどによる多重立体視画像などを用いてさまざまな対象物の３次元計測を行い、３次元モデルを自動構築する開発事例は数多いが、対象物の形状や構造が複雑な場合、完全な自動構築はきわめて困難であり、結局手作業が多くなり、結局自動化システムを導入してもそれほどの省力化効果が得られないことが多かった。
【００３８】
しかし、本発明では、３次元点群データとＣＣＤ画像を重ね合わせたものを用意し、人間にとって判読しやすいＣＣＤ画像上で対象物の輪郭線をなぞるだけで、その対象物の３次元モデルを構築することを可能とし、手作業の大幅な効率向上を図ることができる。特に入力された輪郭線に対応する３次元点群データを切り出し、そこに面（サーフェス）や線分、点などを適宜あてはめることで、３次元モデルを構築するようにしたため、たとえば屋外画像に現れる建物や道路だけではなく、店舗の看板、信号機、道路交通標識、信号、歩道、ベンチなど、複雑な形状を含む幅広い３次元空間モデルを極めて効率的に構築することができる。これは、コンピュータグラフィックスや数値地図、測量、ＣＡＤなど実在する対象物の３次元モデルを計測したり、さらにはナビゲーションシステム用の表示データの作成に利用可能である。
【００３９】
なお、図１における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより３次元モデルデータ生成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４０】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００４１】
【発明の効果】
以上説明したように、本発明によれば、高精度３次元情報を持つレーザレンジデータから変換して得られた３次元点群データを、テクスチャー情報を持つ画像データに投影し、画像データの画面を作業画面として計測対象物の領域を手動で入力し、該当領域に統合された３次元点群データによって対象物の３次元形状を求めことによって、建物や道路だけではなく、ショップ看板、信号機、道路交通標識、歩道など幅広い３次元空間データを効率的にかつ容易に生成することができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す装置の動作を説明するための表示画面例を示す説明図である。
【図３】図１に示す装置の動作を説明するための表示画面例を示す説明図である。
【図４】図１に示す装置の動作を説明するための表示画面例を示す説明図である。
【図５】図１に示す装置の動作を説明するための表示画面例を示す説明図である。
【図６】図１に示す装置の動作を説明するための表示画面例を示す説明図である。
【図７】３台のレーザレンジスキャナと６台のラインＣＣＤカメラと航法装置を計測車両のルーフに取り付けた場合の配置図である。
【図８】生成した３次元モデルデータの一例を示す説明図である。
【図９】生成した３次元モデルデータの一例を示す説明図である。
【符号の説明】
１・・・画像データファイル
２・・・測距データファイル
３・・・位置姿勢データファイル
４・・・データ統合部
５・・・３次元点群データファイル
６・・・統合画像データファイル
７・・・モデル生成部
８・・・３次元モデルデータファイル
９・・・入力部
１０・・・画面処理部
１１・・・表示部
１２・・・面オブジェクト生成部
１３・・・線オブジェクト生成部
１４・・・点オブジェクト生成部
１５・・・データ補完部
１６・・・データ読み込み部
１７・・・ロゴデータベース
１８・・・３次元多角形面データファイル[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a three-dimensional model construction system and a three-dimensional model construction program for constructing a three-dimensional model of an object from three-dimensional point cloud data and image data acquired by a laser scanner or the like.
[0002]
[Prior art]
The real world consists of diverse and complex objects, as represented by urban spaces composed of buildings, roads, signs, and various facilities. There are many fields in which such objects are measured and used as a three-dimensional model, including computer graphics. However, since the cost that can be input to a three-dimensional model is limited in many fields, a method for efficiently measuring and modeling a three-dimensional shape is indispensable. Speaking of cities, there have been many practical methods for acquiring 3D data of cities from the sky by using techniques such as aerial photogrammetry. This is an excellent method for efficiently covering a wide area. However, the use of 3D space data in the future is expected to increase the number of cases that require detailed 3D representation from the viewpoint of pedestrians and drivers on the ground. Therefore, it is necessary to more accurately model complex objects that serve as landmarks such as traffic lights.
[0003]
On the other hand, systems that acquire three-dimensional information from the ground using techniques such as stereo photography and moving images and extract signboards and signs, utility poles, and white lines of roads as landmarks have been developed (eg, patent documents). 1, 2). In recent years, the price of laser range scanners using eye-safe lasers has been reduced and is being applied to three-dimensional measurement systems in urban areas, large indoor environments, and ruins. Since the laser range scanner can acquire the shape of an object as point cloud data (three-dimensional point cloud data) directly and with high accuracy, the laser range scanner can be used to obtain a relatively large scale and simple shape. It is applied to object modeling (for example, Patent Document 3).
[0004]
[Patent Document 1]
JP 2002-081941 A
[Patent Document 2]
JP 09-319896 A
[Patent Document 3]
JP 2003-021507 A
[0005]
[Problems to be solved by the invention]
However, since modeling using point cloud data has limited spatial resolution, it is not always easy to automate the process of generating a surface from a point cloud and building a three-dimensional model. Furthermore, it is very difficult to automatically read the object from the image and the point cloud data. For this reason, model creation technology with full automation in mind is very effective for targets that can be easily automated, but in most cases, both simple and complex are mixed. There is a problem that the scope of application is limited to a small part. As a result, many remaining objects and objects for which automation has failed must be modeled manually, and in most cases, the efficiency improvement effect due to automation can hardly be exhibited. For this reason, there is a demand for a method that makes use of human's superior ability to identify and classify objects while simplifying and improving human work.
[0006]
The present invention has been made in view of such circumstances, and a three-dimensional model construction system and a three-dimensional model construction program capable of easily constructing a three-dimensional model of an object from three-dimensional point cloud data and image data. The purpose is to provide.
[0007]
[Means for Solving the Problems]
Book The present invention relates to a three-dimensional model construction system in which image data and three-dimensional point cloud data are stored in association with each other, and a three-dimensional model is constructed from these data. A data file for storing three-dimensional model data Display means for displaying the image data and the three-dimensional point cloud data on a screen, designation means for designating a polygonal area on the screen on which the image data is displayed, and 3 included in the polygonal area. Extraction means for extracting three-dimensional point cloud data, and a plane object that specifies a plane object by obtaining a three-dimensional coordinate value of the polygonal area based on the extracted three-dimensional point cloud data and writes it to the data file And generating means.
[0008]
Book The present invention provides the 3D model construction system, wherein the line segment 3D is based on means for designating an end point or bending point of the line segment on the screen on which the image data is displayed, and the 3D point cloud data. A line object generating means for specifying a line object by obtaining coordinate values and writing to the data file;
Is further provided.
[0009]
Book According to the invention, the 3D model construction system obtains a 3D coordinate value of the feature point based on the means for designating the feature point on the screen on which the image data is displayed and the 3D point cloud data. And a point object generating means for specifying the point object and writing it to the data file.
[0010]
Book The invention is characterized in that the plane object generation means extracts image data in the polygonal region and writes the image data as a texture to the data file.
[0011]
Book The invention is characterized in that the three-dimensional model construction system further comprises data complementing means for complementing three-dimensional polygonal plane data generated by other measuring means based on the image data.
[0012]
Book The invention relates to a three-dimensional model construction program in which image data and three-dimensional point cloud data are associated and stored, a three-dimensional model is constructed from these data, and the obtained three-dimensional model data is written in a data file. A display process for displaying the image data and the three-dimensional point cloud data on a screen, a designation process for designating a polygonal area on the screen on which the image data is displayed, and a polygonal area. A plane object is identified by obtaining a three-dimensional coordinate value of the polygonal area based on the extracted three-dimensional point cloud data and the extracted three-dimensional point cloud data, and written to the data file A plane object generation process is performed by a computer.
[0013]
Book In the invention, the 3D model construction program is configured to specify the end point or the bending point of the line segment on the screen on which the image data is displayed, and the 3D line segment based on the 3D point cloud data. A line object is identified by obtaining a coordinate value, and a line object generating process for writing to the data file is further performed by a computer.
[0014]
Book The invention is such that the 3D model construction program obtains a 3D coordinate value of the feature point based on the process of designating the feature point on the screen on which the image data is displayed and the 3D point cloud data. A point object is specified by the above, and a point object generation process for writing to the data file is further performed by the computer.
[0015]
Book The invention is characterized in that the plane object generation processing extracts image data in the polygonal region and writes the image data as a texture to the data file.
[0016]
Book The invention is characterized in that the three-dimensional model construction program further causes the computer to perform a data complementing process for complementing the three-dimensional polygonal plane data generated by other measuring means based on the image data.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a three-dimensional model construction system according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the embodiment. In this figure,reference numeral 1 denotes an image data file in which image data of a modeling target object obtained using a line CCD camera is stored.Reference numeral 2 denotes a distance measurement data file storing distance measurement data of the modeling target object acquired using a laser range scanner.Reference numeral 3 denotes a position / orientation data file that stores data of the position and orientation of the line CCD camera and the laser range scanner when image data and distance measurement data are acquired.Reference numeral 4 is a data integration unit that converts distance measurement data into coordinate values of the earth coordinate system based on the position and orientation data, and integrates the data acquired by associating the image data with the coordinate values of the earth coordinate system. is there.Reference numeral 5 denotes a three-dimensional point cloud data file that stores data obtained by converting the measurement point group of the modeling target object obtained by thedata integration unit 4 into the earth coordinate system (referred to herein as three-dimensional point cloud data). is there.Reference numeral 6 denotes a position / orientation stored in the position / orientation data file 3 while associating the image data stored in the image data file 1 with the distance measurement data stored in the distance measurement data file 2 by thedata integration unit 4. It is an integrated image data file that stores image data (referred to herein as integrated image data) corrected based on the data.
[0018]
Reference numeral 7 denotes a model generation unit that generates 3D model data using the 3D point cloud data and the integrated image data. Reference numeral 8 denotes a three-dimensional model data file that stores the generated three-dimensional model data.Reference numeral 9 denotes an input unit including a keyboard and a mouse.Reference numeral 10 denotes a screen processing unit that performs screen display and position designation processing on the screen.Reference numeral 11 denotes a display capable of displaying an image.Reference numeral 12 denotes a plane object generation unit that generates plane objects constituting the three-dimensional model.Reference numeral 13 denotes a line object generation unit that generates line objects constituting the three-dimensional model.Reference numeral 14 denotes a point object generation unit that generates point objects constituting the three-dimensional model.Reference numeral 15 denotes a data complementing unit that performs data complementing based on the integrated image data.Reference numeral 16 denotes a data reading unit that reads the integrated image data and the three-dimensional point cloud data from the integrated image data file 6 and the three-dimensional point cloud data file 5.Reference numeral 17 denotes a logo database in which data such as a signboard serving as a mark is stored in advance.Reference numeral 18 denotes a three-dimensional polygonal plane data file in which three-dimensional polygonal plane data generated by other measuring means is stored.
[0019]
Next, a method of acquiring each data stored in theimage data file 1, the distancemeasurement data file 2, and the position / orientation data file 3 will be briefly described. Data is acquired by attaching three laser range scanners, six line CCD cameras, and a navigation device (GPS / INS / Ometer) to the roof of the measurement vehicle. This is done by acquiring measurement data. The laser range scanner used here is a single scan method, and the measurement rate is 20 Hz (20 rotations per second), and one rotation measures 480 laser range points within a distance range of 70 m within a measurement range of 300 degrees. it can. The line CCD camera is equipped with an 8mm F4 fisheye lens, and the measurement rate is about 80 Hz (80 lines per second). Each line image can measure 2048 RGB pixels within 180 degrees. The measurement surface of each laser range scanner and line CCD camera is arranged on the vertical direction of 45, 90, 135 degrees with the traveling direction of the measurement vehicle, respectively, and the sectional view of the roadside object is measured from three directions while the measurement vehicle is running, Also, the position and orientation and time data output from the navigation device, or the laser range data obtained by measuring each point by the relative orientation element between the sensors and the line CCD image are integrated into the earth coordinate system. FIG. 7 shows a layout when three laser range scanners, six line CCD cameras, and a navigation device (GPS / INS / Ometer) are attached to the roof of the measurement vehicle. The data acquisition method described in Japanese Patent Laid-Open No. 2002-031528 is applied to the acquisition method of each data stored in theimage data file 1, the distancemeasurement data file 2, and the position / orientation data file 3 shown in FIG. Therefore, a detailed description of the operation and the like is omitted.
[0020]
Next, an operation for generating the three-dimensional point cloud data file 5 and the integrated image data file 6 from the data stored in theimage data file 1, the distancemeasurement data file 2, and the position / orientation data file 3 will be described. First, thedata integration unit 4 refers to the position and orientation data and corrects the distortion of the image data. The image data measured by mounting the line CCD on the measurement vehicle is to acquire a two-dimensional image when the vehicle travels. However, the roll, pitch, bounce (vertical vibration) of the measurement vehicle, and travel Due to the change in speed, the image data becomes distorted. Therefore, it is possible to correct this distortion by performing correction based on the position and orientation data for each pixel data. Subsequently, thedata integration unit 4 refers to the position and orientation data, converts all the distance measurement data of each measurement point measured by the three laser range scanners into coordinate values of one earth coordinate system, and 3 Dimension point cloud data.
[0021]
Next, thedata integration unit 4 projects each distance measurement data (three-dimensional point cloud data) onto image data photographed on the measurement surface in the same direction. For example, distance measurement data (three-dimensional point cloud data) obtained by measurement by the second laser range scanner is projected on the second and fifth line CCD images. Then, for each laser range scan line i (one rotation data), the image data j2 and j5 photographed on the side of the total coincidence are searched from the image data of the second and fifth line CCDs. Next, for each laser range point s in each laser range scan line i, the pixel t that most closely matches the measurement direction in j2 and j5 is searched, and the laser range point s is projected onto the pixel t. Are stored in the integrated image data file 6 and the three-dimensional point cloud data file 5.
[0022]
By this data integration processing, the coordinate values of the measurement points in the earth coordinate system are stored in the three-dimensional point cloud data file 5, and the measurement points and the image data are associated and stored in the integrated image data file 6. .
The generation method of the three-dimensional point cloud data file 5 and the integrated image data file 6 is not limited to the method described above, and may be data generated by another method.
When complementing the three-dimensional polygonal plane data file 18 generated by other measuring means based on the CCD image, thedata integration unit 4 projects the three-dimensional polygonal plane data onto the CCD image data. First, for the center point p of the three-dimensional polygonal plane data f, the pixel t that most closely matches the shooting direction is searched from each line CCD image data. The distance measurement data s associated with the pixel t is the shooting center of the pixel t. It is verified whether or not it matches the distance d from to p. The line CCD image data j having the shortest distance d and the largest incident angle with respect to the plane f is associated with the three-dimensional polygonal plane data f from the line CCD image data whose projection is verified. Next, for each vertex of the three-dimensional polygonal plane data f, a pixel with the best shooting direction is found from the line CCD image data j and associated. The result is stored in the integratedimage data file 6.
Note that the method for integrating the three-dimensional polygonal plane data file 18 and the image data file 1 generated by other measuring means and the method for generating the integrated image data file 6 is not limited to the above-described method, and data generated by other methods. It may be.
[0023]
Here, the three-dimensional model generated by the method of the present invention will be described. The three-dimensional model generated by the present invention is composed of a combination of a plane object expressed by a polygonal plane, a line object expressed by a line segment, and a point object expressed by a feature point. The image data is used as a texture to obtain a more realistic feeling.
[0024]
Next, an operation in which the model generation unit 7 shown in FIG. 1 generates a three-dimensional model from data stored in the three-dimensional point cloud data file 5 and the integrated image data file 6 will be described. Here, in order to simplify the explanation of the operation principle, description will be made with reference to FIGS. FIG. 2 is a diagram illustrating an example of image data stored in the integratedimage data file 6. 3 plots laser range data obtained by measuring a building imaged in FIG. 2 in the earth coordinate system by installing a laser range scanner at the measurement position shown in FIG. 2, and the viewpoint position becomes higher than the measurement position. In this example, thedisplay unit 11 is displayed with the coordinate conversion for changing the viewpoint position. The image data in FIG. 2 is an image in which the viewpoint position is higher than the actual image data in order to make it easy to understand the state of the building. An image obtained by capturing a measurement range scanned by a laser range scanner by installing a line CCD camera at the measurement position is stored in the integratedimage data file 6.
[0025]
Next, an operation for generating each object will be described. First, when the operator inputs an instruction for generating a three-dimensional model from theinput unit 9, the model generation unit 7 instructs thedata reading unit 16 to read out the image data and the three-dimensional point cloud data. In response to this, thedata reading unit 16 reads the image data shown in FIG. 2 and the three-dimensional point cloud data shown in FIG. Then, the model generation unit 7 outputs the received data to thescreen processing unit 10. At this time, thescreen processing unit 10 performs arbitrary display position conversion on the three-dimensional point cloud data received from the model generation unit 7 and then outputs the data to thedisplay unit 11 to display the data. By this operation, the images shown in FIGS. 2 and 3 are simultaneously displayed on thedisplay unit 11.
[0026]
Next, the operator designates generation of a plane object from theinput unit 9. In response to this, the model generation unit 7 displays a message on thedisplay unit 11 so as to designate a vertex of the polygon. Subsequently, the operator uses the mouse of theinput unit 9 to specify the vertex position of the polygon indicating the range of the plane object on the screen (FIG. 2) on which the image data is displayed. Here, it is assumed that symbols A, B, C, and D shown in FIG. Thescreen processing unit 10 reads the coordinate value on the screen and notifies the model generation unit 7 of the coordinate value. Then, the model generation unit 7 passes the four coordinate values to the planeobject generation unit 12. In response to this, the planeobject generation unit 12 extracts the laser range points projected in the polygonal area specified by the coordinate values of the vertices, and applies the spatial plane. FIG. 5 shows a screen display example when a laser range point projected in a polygonal region specified by the vertex coordinate values is extracted and a spatial plane is applied.
[0027]
Next, the planeobject generation unit 12 projects the pixels of the image data in the corresponding polygonal area onto the spatial plane along the projection direction line, and cuts out the texture of the corresponding plane from the image data. Subsequently, the image is projected onto a plane along the projection direction line of the pixel of the image data corresponding to the vertex of the corresponding polygon area, and the vertex of the spatial plane polygon area is obtained and transferred to the model creation unit 7.
[0028]
Next, the model generation unit 7 matches the clipped texture image with the data stored in the existinglogo database 17, finds a type such as a shop signboard or a road traffic sign, and assigns an attribute to the corresponding plane object To do. If the matching fails, the model generation unit 7 gives the attribute input from theinput unit 9 to this plane object. Then, the model generation unit 7 writes the plane object obtained here into the three-dimensional model data file 8. As a result, the plane object is written in the three-dimensional model data file 8, and when this three-dimensional model data is displayed, the plane object indicated by reference numeral P1 in FIG. 6 is displayed. This plane object not only displays a polygon but also uses image data as a texture.
[0029]
Most of the planar objects in the urban space are divided into two types, almost vertical and almost horizontal, so the data of pedestrians, passing vehicles, trees, utility poles, electric wires, etc. are especially small in the surroundings. You may make it obtain | require as follows about the fitting of the plane which is doing. First, an extracted laser range point is projected onto a grid-like horizontal plane with respect to a substantially vertical plane object, thereby creating an image called Z-image. The value of the pixel in Z-image is the number of laser range points projected on the corresponding grid. The line segment in Z-image represents a vertical plane in space. In this process, the vertical plane with many accumulated points in the vertical direction is strongly emphasized, and other objects are weakened. Next, the sharpest and longest line segment is extracted from the Z-image, and the plane parameter is obtained by the least square method at the laser range points projected around the line segment. In addition, for a nearly horizontal surface object, a histogram is created from the extracted laser range point elevation values to obtain the highest peak elevation value, and the elevation value within the allowable range centered on the relevant elevation value. The laser range point is extracted and the plane parameter is obtained by the least square method.
Note that although only a plane has been described as a target here, a curved object such as a cylinder or a sphere may be generated by applying the same processing.
[0030]
Next, the operator designates generation of a line object from theinput unit 9. In response to this, the model generation unit 7 displays a message on thedisplay unit 11 so as to designate the bending point or end point of the line object. Subsequently, the operator designates the bending point or end point position of the line object using the mouse of theinput unit 9 on the screen (FIG. 2) on which the image data is displayed. Here, it is assumed that the positions (outside lights) of symbols J and K in FIG. 4 are designated. In response to this, thescreen processing unit 10 reads the coordinate value on the screen and notifies the model generation unit 7 of the coordinate value. Then, the model generation unit 7 passes the designated coordinate value to the lineobject generation unit 13. In response to this, the lineobject generation unit 13 takes the center point of the laser range point (three-dimensional point cloud data) projected within a predetermined allowable range around the pixel of the image data corresponding to the bending point or the end point, The inflection point or end point of the line object in space. However, in such a process, there is a possibility that a wrong point may be extracted due to a pedestrian, a passing vehicle, a tree, an error caused during data integration, or a measurement error due to direct sunlight. Therefore, the following auxiliary procedure ensures point extraction even in an environment where miscellaneous data is mixed.
[0031]
The lineobject generation unit 13 extracts laser range points (three-dimensional point cloud data) projected within a predetermined allowable range around a plurality of designated line segments, obtains a spatial plane by the least square method, and projects A surface. Then, the obtained projection plane is converted into a grid, and the extracted laser range point (three-dimensional point group data) is projected onto the projection plane to generate an image called hybrid Z-image. Therefore, the value of the pixel in the hybrid Z-image is the number of laser range points (three-dimensional point group data) projected on the corresponding grid. By such a process, the shape of a plurality of line segments in the three-dimensional space can be expressed as a two-dimensional image at the maximum. Subsequently, the previously determined bending point or end point is projected onto the hybrid Z-image, and it is confirmed whether or not it matches the shape of the line segment represented by the laser range point (three-dimensional point group data). If they do not match, the operator corrects the polyline projected on the hybridZ-image. The center point of the laser range point (three-dimensional point cloud data) projected on the corresponding hybrid Z-image is obtained with respect to the corrected bending point or end point of the line segment, and is set as the bending point or end point in space. . A plurality of line segments specified by the bending points or end points are line objects.
[0032]
Next, the lineobject generation unit 13 transfers the data of the line object to the model generation unit 7. Subsequently, the model generation unit 7 matches the line object and the data stored in the logo database 7 to classify street lights, sidewalks, and the like, and assign attributes to the corresponding line object. When matching fails, the attribute input from theinput unit 9 is given. Then, the model generation unit 7 writes the line object obtained here into the three-dimensional model data file 8. As a result, the line object is written in the three-dimensional model data file 8, and when this three-dimensional model data is displayed, the line object indicated by reference numeral L1 in FIG. 6 is displayed. Similarly, in FIG. 4, when the codes G, H, and I and the codes E and F are designated, line objects indicated by the codes L2 and L3 in FIG. 6 are generated, respectively.
Although a straight line has been described here as an example, a curved object such as an arc may be generated by a collection of short line objects.
[0033]
Next, the operator designates generation of a point object from theinput unit 9. In response to this, the model generation unit 7 displays a message on thedisplay unit 11 so as to designate the position of the feature point. Subsequently, the operator designates the position of the feature point using the mouse of theinput unit 9 on the screen (FIG. 2) on which the image data is displayed. In response to this, thescreen processing unit 10 reads the coordinate value on the screen and notifies the model generation unit 7 of the coordinate value. The model generation unit 7 then passes the designated coordinate value to the pointobject generation unit 14. In response to this, the pointobject generation unit 13 takes the center point of the laser range point projected within the predetermined allowable range around the pixel of the image data corresponding to the coordinate value, and obtains the spatial coordinate value of the point object. And The pointobject generation unit 14 passes this coordinate value to the model generation unit 7. In response to this, the model generation unit 7 writes this spatial coordinate value to the three-dimensional model data file 8.
[0034]
Next, an operation for complementing the 3D polygon surface data stored in the 3D polygon surface data file 18 generated by the other measuring means will be described. 3D polygon surface data stored in the 3D polygon surface data file 18 generated by other measurement means due to measurement errors of distance measurement data or limitations of existing 3D model data production means, etc. Is included, and there is no texture data, and the sense of reality may be lacking. Therefore, the interpolation is performed based on the line CCD image data. First, upon receiving a data complement instruction from theinput unit 9, the model generation unit 7 issues a data complement instruction to the data complementunit 15. In response to this, thedata complementing unit 15 projects the three-dimensional model data generated by the other measurement means onto the image data, and the object shape drawn thereby coincides with the image captured on the image data. Check whether or not.
[0035]
Next, the operator designates the correct projection location on the screen with the mouse for the non-matching polygonal vertexes projected on the image data. Then, a new spatial coordinate value is given to the vertex by obtaining the intersection of the shooting direction line of the pixel of the corresponding image data and the polygonal spatial plane to which the corresponding vertex belongs. Subsequently, the pixel of the image data surrounded by the projected polygon is projected onto the space plane of the corresponding polygon along the shooting direction line, and the texture image of the corresponding polygon is generated by resampling.
In this way, even when the error of the three-dimensional polygonal plane data stored in the three-dimensional polygonal plane data file 18 generated by other measuring means is large, it is possible to complement based on the image data. Become. It is also possible to obtain a more realistic feeling by generating texture data.
[0036]
By repeating the above operation, three-dimensional model data is generated as a collection of objects composed of surfaces, lines, and points. FIG. 8 and FIG. 9 show examples in which a three-dimensional model data is generated based on the acquired data, actually traveled in a city area with a measurement vehicle, and displayed on the screen. According to the present invention, as shown in FIG. 8, since the CCD image is used as it is as the texture on the surface of the building, realistic three-dimensional model data can be created. In addition, since the positional relationship is obtained for objects such as planes and lines based on the three-dimensional point cloud data, accurate three-dimensional model data can be obtained. Further, as shown in FIG. 9, a CCD image can be used as it is for a signboard or the like in a city area, and a sign, a signal, a pedestrian crossing, or the like can be realistically expressed. It is possible to generate optimal data as display data of the system.
[0037]
Conventionally, there are many development examples in which a three-dimensional model is automatically constructed by performing three-dimensional measurement of various objects using a distance image obtained by a laser scanner or the like and a multi-stereoscopic image obtained by a CCD camera or the like. When the shape and structure are complex, complete automatic construction is extremely difficult, and as a result, there are many manual operations. After all, even if an automation system is introduced, the labor saving effect is often not obtained.
[0038]
However, in the present invention, a superimposition of 3D point cloud data and a CCD image is prepared, and a 3D model of the object can be obtained by simply tracing the outline of the object on a CCD image that is easy for humans to read. It is possible to construct it, and the efficiency of manual work can be greatly improved. In particular, 3D point cloud data corresponding to the input contour line is cut out, and a 3D model is constructed by appropriately assigning surfaces (surfaces), line segments, points, etc. thereto, so that it appears in an outdoor image, for example. In addition to buildings and roads, a wide range of three-dimensional space models including complex shapes such as store signs, traffic lights, road traffic signs, signals, sidewalks, and benches can be constructed very efficiently. This can be used to measure a three-dimensional model of an actual object such as computer graphics, a numerical map, surveying, or CAD, or to create display data for a navigation system.
[0039]
A three-dimensional model is obtained by recording a program for realizing the functions of the processing units in FIG. 1 on a computer-readable recording medium, causing the computer system to read and execute the program recorded on the recording medium. Data generation processing may be performed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer system” includes a WWW system having a homepage providing environment (or display environment). The “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in the computer system. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.
[0040]
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
[0041]
【The invention's effect】
As described above, according to the present invention, three-dimensional point cloud data obtained by conversion from laser range data having high-precision three-dimensional information is projected onto image data having texture information, and the image data screen is displayed. As a work screen, manually input the area of the measurement object, and obtain the 3D shape of the object from the 3D point cloud data integrated in the area, so that not only buildings and roads, but also shop signs, traffic lights, There is an effect that a wide range of three-dimensional spatial data such as road traffic signs and sidewalks can be generated efficiently and easily.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of the present invention.
FIG. 2 is an explanatory view showing an example of a display screen for explaining the operation of the apparatus shown in FIG. 1;
3 is an explanatory diagram showing an example of a display screen for explaining the operation of the apparatus shown in FIG. 1; FIG.
4 is an explanatory view showing an example of a display screen for explaining the operation of the apparatus shown in FIG. 1; FIG.
FIG. 5 is an explanatory diagram showing an example of a display screen for explaining the operation of the apparatus shown in FIG. 1;
6 is an explanatory view showing an example of a display screen for explaining the operation of the apparatus shown in FIG. 1; FIG.
FIG. 7 is a layout view when three laser range scanners, six line CCD cameras, and a navigation device are attached to the roof of a measurement vehicle.
FIG. 8 is an explanatory diagram showing an example of generated three-dimensional model data.
FIG. 9 is an explanatory diagram showing an example of generated three-dimensional model data.
[Explanation of symbols]
1 ... Image data file
2 ... Ranging data file
3 ... Position and orientation data file
4. Data integration part
5 ... 3D point cloud data file
6 ... Integrated image data file
7 ... Model generator
8 ... 3D model data file
9 ... Input section
10 ... Screen processing unit
11 ... Display section
12 ... Plane object generator
13: Line object generator
14: Point object generator
15 ... Data complement part
16 ... Data reading part
17 ... Logo database
18 ... 3D polygon data file

Claims

Translated fromJapanese

画像データと３次元点群データとが関係付けられて記憶されており、これらのデータから３次元モデルを構築する３次元モデル構築システムであって、
３次元モデルデータを記憶するデータファイルと、
前記画像データ及び３次元点群データを画面に表示する表示手段と、
前記画像データが表示された画面上において多角形の領域を指定する指定手段と、
前記多角形領域内に含まれる３次元点群データを抽出する抽出手段と、
抽出した前記３次元点群データに基づいて、前記多角形領域の３次元座標値を求めることにより面オブジェクトを特定して、前記データファイルへ書き込む面オブジェクト生成手段と、
前記画像データが表示された画面上において生成するべき線分の端点または屈曲点の位置を指定する線分位置指定手段と、
前記指定された端点または屈曲点の位置の前記画面上の座標値を求め、該座標値の周囲の所定許容範囲内に投影された前記３次元点群データ中の点データのうち、前記所定許容範囲内の中心の点データを選択することにより前記端点または屈曲点の３次元座標値を求めて線オブジェクトを特定して、前記データファイルへ書き込む線オブジェクト生成手段と
を備えたことを特徴とする３次元モデル構築システム。Image data and 3D point cloud data are stored in association with each other, and a 3D model construction system for constructing a 3D model from these data,
A data file for storing 3D model data;
Display means for displaying the image data and the three-dimensional point cloud data on a screen;
Designating means for designating a polygonal area on the screen on which the image data is displayed;
Extracting means for extracting three-dimensional point cloud data included in the polygonal area;
Based on the extracted three-dimensional point cloud data, a plane object generating means for specifying a plane object by obtaining a three-dimensional coordinate value of the polygonal area and writing to the data file;
Line segment position specifying means for specifying the position of the end point or bending point of the line segment to be generated on the screen on which the image data is displayed;
A coordinate value on the screen of the position of the designated end point or bending point is obtained, and among the point data in the three-dimensional point group data projected within a predetermined allowable range around the coordinate value, the predetermined allowable value A line object generating unit that selects a point data of a center within a range to obtain a three-dimensional coordinate value of the end point or the bending point, specifies a line object, and writes the line object to the data file ; 3D model construction system.

前記３次元モデル構築システムは、
前記画像データが表示された画面上において生成するべき特徴点の位置を指定する特徴点位置指定手段と、
前記指定された特徴点の位置の前記画面上の座標値を求め、該座標値の周囲の所定許容範囲内に投影された前記３次元点群データ中の点データのうち、前記所定許容範囲内の中心の点データを選択することにより前記特徴点の３次元座標値を求めて点オブジェクトを特定して、前記データファイルへ書き込む点オブジェクト生成手段と
をさらに備えたことを特徴とする請求項１に記載の３次元モデル構築システム。The three-dimensional model construction system
Feature point position specifying means for specifyingthe position of the feature pointto be generated on the screen on which the image data is displayed;
A coordinate value on the screen of the position of the designated feature point is obtained, and the point data in the three-dimensional point group data projected within the predetermined allowable range around the coordinate value is within the predetermined allowable range. claim to identify a pointobject by selecting the point data of the center of the determined three-dimensional coordinate values of the feature points, characterized by comprising further a object generation means that write to the data file1 3D modeling systemdescribed.

前記面オブジェクト生成手段は、前記多角形領域内の画像データを抽出し、該画像データをテクスチャとして前記データファイルへ書き込むことを特徴とする請求項１または２のいずれかに記載の３次元モデル構築システム。The surface object generating means extracts the image data of the polygonal region, the three-dimensional model construction according to claim 1or 2, characterized in that writing to the data file the image data as a texture system.

前記３次元モデル構築システムは、
前記画像データに基づいて、他の計測手段により生成された３次元多角形面データを補完するデータ補完手段をさらに備えたことを特徴とする請求項１ないし３のいずれかに記載の３次元モデル構築システム。The three-dimensional model construction system
The three-dimensional model according to any one of claims 1 to3 , further comprising data complementing means for complementing three-dimensional polygonal plane data generated by other measuring means based on the image data. Construction system.

画像データと３次元点群データとが関係付けられて記憶されており、これらのデータから３次元モデルを構築し、得られた３次元モデルデータをデータファイルに書き込む３次元モデル構築プログラムであって、
前記画像データ及び３次元点群データを画面に表示する表示処理と、
前記画像データが表示された画面上において多角形の領域を指定する指定処理と、
前記多角形領域内に含まれる３次元点群データを抽出する抽出処理と、
抽出した前記３次元点群データに基づいて、前記多角形領域の３次元座標値を求めることにより面オブジェクトを特定して、前記データファイルへ書き込む面オブジェクト生成処理と、
前記画像データが表示された画面上において生成するべき線分の端点または屈曲点の位置を指定する線分位置指定処理と、
前記指定された端点または屈曲点の位置の前記画面上の座標値を求め、該座標値の周囲の所定許容範囲内に投影された前記３次元点群データ中の点データのうち、前記所定許容範囲内の中心の点データを選択することにより前記端点または屈曲点の３次元座標値を求めて線オブジェクトを特定して、前記データファイルへ書き込む線オブジェクト生成処理と
をコンピュータに行わせることを特徴とする３次元モデル構築プログラム。A three-dimensional model construction program that stores image data and three-dimensional point cloud data in association with each other, constructs a three-dimensional model from these data, and writes the obtained three-dimensional model data to a data file. ,
Display processing for displaying the image data and the three-dimensional point cloud data on a screen;
A designation process for designating a polygonal area on the screen on which the image data is displayed;
Extraction processing for extracting three-dimensional point cloud data included in the polygonal area;
Based on the extracted three-dimensional point cloud data, a plane object is generated by specifying a plane object by obtaining a three-dimensional coordinate value of the polygonal area, and writing to the data file;
A line segment position designation process for designating the position of the end point or bending point of the line segment to be generated on the screen on which the image data is displayed;
A coordinate value on the screen of the position of the designated end point or bending point is obtained, and among the point data in the three-dimensional point group data projected within a predetermined allowable range around the coordinate value, the predetermined allowable value By selecting point data of the center within the range, a three-dimensional coordinate value of the end point or inflection point is obtained, a line object is specified, and a line object generation process to be written to the data file is performed by a computer. A three-dimensional model construction program.

前記３次元モデル構築プログラムは、
前記画像データが表示された画面上において生成するべき特徴点の位置を指定する特徴点位置指定処理と、
前記指定された特徴点の位置の前記画面上の座標値を求め、該座標値の周囲の所定許容範囲内に投影された前記３次元点群データ中の点データのうち、前記所定許容範囲内の中心の点データを選択することにより前記特徴点の３次元座標値を求めて点オブジェクトを特定して、前記データファイルへ書き込む点オブジェクト生成処理と
をさらにコンピュータに行わせることを特徴とする請求項５に記載の３次元モデル構築プログラム。The three-dimensional model construction program is
Afeature point position specifying process for specifying aposition of afeature pointto be generated on the screen on which the image data is displayed;
A coordinate value on the screen of the position of the designated feature point is obtained, and the point data in the three-dimensional point group data projected within the predetermined allowable range around the coordinate value is within the predetermined allowable range. A point object generating process for obtaininga three-dimensional coordinate value of the feature point by selecting the point data of the feature point, specifyinga point object, and writing to the data file is further performed by the computer. Item 6. The three-dimensional model construction program according to item5 .

前記面オブジェクト生成処理は、前記多角形領域内の画像データを抽出し、該画像データをテクスチャとして前記データファイルへ書き込むことを特徴とする請求項５または６のいずれかに記載の３次元モデル構築プログラム。7. The three-dimensional model construction according to claim5, wherein the plane object generation processing extracts image data in the polygon area and writes the image data as a texture to the data file. program.

前記３次元モデル構築プログラムは、
前記画像データに基づいて、他の計測手段により生成された３次元多角形面データを補完するデータ補完処理をさらにコンピュータに行わせることを特徴とする請求項５ないし７のいずれかに記載の３次元モデル構築プログラム。The three-dimensional model construction program is
Based on the image data, 3 according to any5 to claim, characterized in that to perform the further computer data interpolation processing to complement the three-dimensional polygonal surface data generated7 of the other measuring means Dimensional model building program.