JP3796704B2 - Video camera position angle measuring device - Google Patents

Description

Translated fromJapanese

【０００１】
【発明の属する技術分野】
本発明は、景観シュミレーション等において使用される合成ビデオ画像、つまりビデオカメラで撮影した景観画像とＣＧ（コンピュータグラフィック）で作成した物体の画像を作成する際に使用されるビデオカメラの位置と角度のデータを得るためのビデオカメラ位置角度測定装置に関する。
【０００２】
【従来の技術】
従来、例えば、建設予定地に建設される建築物の予想完成状態をシュミレーション画面で見るために、建築物の予想外観をＣＧで三次元画像として作成し、建設予定地の風景画像をビデオカメラにより撮影し、ビデオカメラで撮影した画像とＣＧ画像を画像合成して表示する装置が提案されている（例えば、特開平５−０１１７２７号公報等）。
【０００３】
【発明が解決しようとする課題】
【０００４】
しかし、従来の画像合成装置は、ビデオカメラをある程度の速度で移動させながら、風景などの動画を撮影した場合、動画の各フレーム画像に対応した速度で、カメラの方向データや位置データを得ることができない不具合がある。
【０００５】
つまり、ビデオカメラを例えば自動車に搭載し、移動しながら周辺の景観画像を動画として撮影したい場合、移動中に刻々と変化するカメラの位置データや方向データを、カメラの各フレーム画像毎（例えば１／３０秒毎）に得る画像合成装置は、未だ提案されていない。
【０００６】
このため、例えば鉄塔などの構造物を建設する建設予定地域の景観評価を行なう際、その地域を自動車で移動してその周辺の風景を撮影しながら、どの位置から構造物が視覚に入り、どのようにその景観が変化するか、を評価する景観シュミレーションの画像作成ができないという問題があった。
【０００７】
本発明は、上記の点に鑑みてなされたもので、撮影時に移動するビデオカメラの位置と角度を測定してそれらのデータを収集し、撮影された動画像とＣＧで作成した物体の画像を合成する際、それらのデータを使用することができるビデオカメラ位置角度測定装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明のビデオカメラ位置角度測定装置は、移動するビデオカメラで撮影された動画像とＣＧで作成した物体の画像を画像合成装置により合成する際に使用されるビデオカメラの位置と角度のデータを得るためのビデオカメラ位置角度測定装置において、
移動するビデオカメラの絶対位置を測定し、その緯度データ、経度データ、高度データを出力するカメラ位置測定手段と、
移動時の該ビデオカメラのロール角、ピッチ角及び方位角を測定し、そのロール角データ、ピッチ角データ及び方位角データを出力するカメラ角度測定手段と、
該ビデオカメラが撮影する各画像フレームの作成時に同期して、該カメラ位置測定手段及びカメラ角度測定手段からの測定データを収集するデータ収集手段と、
該ビデオカメラが撮影を行なう間、該データ収集手段を通して該カメラ位置測定手段から出力される緯度データ、経度データ、高度データを取り込み、該カメラ角度測定手段から出力されるロール角データ、ピッチ角データ及び方位角データを取り込み記憶するデータ記憶処理手段と、
該データ記憶処理手段が一時記憶した一定時間毎の緯度データ、経度データ、高度データを、前記ビデオカメラが撮影した画像の各フレーム毎のタイミングでデータの補間及び補正を行なうデータ補間処理手段と、
を備え、
該データ補間処理手段は、連続して移動する該ビデオカメラの位置の変化に応じて、前記緯度データ、経度データ及び高度データが連続して変化するように、撮影画像の各フレームの発生タイミング毎に、線形補間または非線形補間を用いて、該緯度データ、経度データ及び高度データの補間を行い、該緯度データ、経度データまたは高度データがその前後のデータと比べ大きく相違する場合、その前後のデータに基づき、該緯度データ、経度データまたは高度データを修正することを特徴とする。
【０００９】
ここで、カメラ位置測定手段としては、例えばＧＰＳを使用した移動位置測定装置を使用することができ、ビデオカメラを自動車に搭載して移動する場合、移動位置測定装置も同様に自動車に搭載する。カメラ角度測定手段としては、例えば３軸の回りで回動する角度を測定する３台のジャイロを使用することができる。また、データ収集手段にはＣＰＵを主要部とした処理装置が、データ記憶処理手段、データ補間処理手段には、汎用のパーソナルコンピュータを使用することができる。
【００１０】
【発明の作用・効果】
このような構成のビデオカメラ位置角度測定装置は、ビデオカメラと共に自動車等に搭載されて使用され、移動しながらビデオカメラにより風景等を撮影する間、カメラ位置測定手段は、移動するビデオカメラの絶対位置を測定し、その緯度データ、経度データ、高度データを出力する。また、カメラ角度測定手段は、移動時のビデオカメラのロール角、ピッチ角及び方位角を測定し、そのロール角データ、ピッチ角データ及び方位角データを出力する。
【００１１】
このとき、データ収集手段は、ビデオカメラが撮影する各画像フレームの作成時に同期して、カメラ位置測定手段及びカメラ角度測定手段からの測定データを収集し、データ記憶処理手段にこれらのデータを送る。データ記憶処理手段は、これらの緯度データ、経度データ、高度データ、及びロール角データ、ピッチ角データ、方位角データを取り込み記憶していく。
【００１２】
そして、これらのデータを記憶した後、データ補間処理手段は、一定時間毎の緯度データ、経度データ、高度データを、ビデオカメラが撮影した画像の各フレーム毎のタイミングでデータの補間及び補正を行なう。
【００１３】
そして、上記の如く収集され補正されたビデオカメラの位置と角度のデータは、撮影された動画像とＣＧで作成した物体の画像を合成する際、撮影画像データと共にＣＧ装置に入力され、撮影画像とＣＧ画像の視点位置と視線角度のデータとして使用され、動画像の画像合成が行なわれる。
【００１４】
このように、画像合成は、撮影された画像データの各フレームについて、その撮影視点となる緯度、経度、高度の各位置データ、及び視線のロール角、ピンチ角、方位角の角度データをＣＧ画像に与えた時の物体の画像を合成するように行なわれるため、撮影した動画像上に、ＣＧの物体画像を正しい位置に張り付くように合成することができる。
【００１５】
また、フレーム毎の画像合成の作業は、各フレーム毎に視点の位置データと視線の角度データがあるため、ＣＧ装置により自動的に効率よく行なうことができ、更に、ビデオカメラの撮影時に収集され適正に補間・補正された各フレーム毎の位置データと角度データを使用するため、違和感のない滑らかな動画像を作ることができ、景観シュミレーションなどに有効に使用することができる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。図１は本発明の一実施形態の装置の構成図を示している。このビデオカメラ位置角度測定装置は、図１に示すように、自動車に搭載され風景等を撮影し動画を磁気テープ等に記録するビデオカメラ１と、自動車に搭載されその自動車のつまりビデオカメラ１の絶対位置を一定時間毎に測定し、その緯度データ、経度データ、高度データを出力する移動位置測定装置２とを備える。
【００１７】
更に、ビデオカメラ位置角度測定装置は、ビデオカメラ１のロール角、ピッチ角及び方位角を一定時間毎に測定しそのロール角データ、ピッチ角データ及び方位角データを出力するカメラ角度測定装置３と、ビデオカメラ１が撮影する各画像フレームの作成時に同期して、移動位置測定装置２及びカメラ角度測定装置３からの測定データを収集するデータ収集装置４と、データ収集装置４から送られた緯度データ、経度データ、高度データ、ロール角データ、ピッチ角データ、方位角データ等のデータを取り込み記憶しデータ補正を行なうデータ処理装置５とを備えている。
【００１８】
ビデオカメラ１は、ＶＴＲを内蔵した一体型のビデオカメラであり、先端の光学系を通して入射した映像光を受光し電気信号に変換するＣＣＤ等の撮像素子、撮像素子から出力される映像信号を増幅・調整処理するプロセスアンプ、プロセスアンプから出力された映像信号をデジタル信号に変換するＡ／Ｄコンバータ、Ａ／Ｄコンバータから出力したデジタル映像信号を所定の方法によりデータ圧縮するデータ圧縮回路、圧縮された映像データ信号を磁気テープに記録するＶＴＲ部とを有している。
【００１９】
また、ビデオカメラ１は撮影時、その磁気テープの一部に時刻を示す信号（タイムコード信号）を記録すると共に、そのタイムコード信号をデジタル信号としてデータ収集装置４に出力する。タイムコード信号は、撮影する映像のフレーム数が例えば毎秒３０枚の場合、フレーム画像の発生時つまり１／３０秒毎に出力される。ビデオカメラ１は、カメラ角度測定装置３と共にベース板７に固定され、自動車上に前方を向けて搭載される。
【００２０】
移動位置測定装置２には、衛星測位システム（ＧＰＳ）が使用され、３個以上の衛星から送信される電波を受信するＧＰＳ受信機を有し、その電波の到着時間を演算し、その絶対位置つまり緯度、経度、高度の各データを求める。更に、この測定装置２は、測定精度向上のために、例えば地図データをＣＤＲＯＭ等の記憶媒体内に備え、所謂マップマッチング方式によって、地図の道路上に測定位置がない場合、近くの道路上に測定位置データを補修正し、ＧＰＳの誤差を補正する。従って、移動位置測定装置２は、移動する自動車つまりビデオカメラ１の絶対位置を測定し、その緯度データ、経度データ、高度データを出力する。
【００２１】
ＧＰＳの測定精度を上げるためには、マップマッチング方式の他、自動車の自立航法との組合せが採用可能である。自立航法では、自動車に搭載した地磁気センサ、ジャイロ、左右の車輪の回転差に基づき方位を算出する車輪速センサ等を使用して方位を測定し、ＧＰＳによる測位データを補正する。また、精密な位置が既知な基準局が、ＧＰＳ衛星からＧＰＳ信号を受信し、ＧＰＳ信号から算出した測位データと既知の位置データを比較することにより、その誤差データを算出し、その誤差データを放送電波等にのせて自動車に送信し、自動車上のＧＰＳ装置がその誤差データに基づきＧＰＳの測位データを補正する、所謂ＤＧＰＳを採用することもできる。
【００２２】
カメラ角度測定装置３は、図２に示すように、３次元の３軸（ＸＹＺ軸）についての角度を測定するために３台のジャイロ３１、３２、３３を備える。３台のジャイロ３１、３２、３３は、各々移動方向に対し水平に配置されるベース板３４上及びそこに垂直に立設された２つの垂直壁３５、３６に固定される。
【００２３】
すなわち、ビデオカメラ１の移動方向に対する左右の傾動角（ロール角）を測定するために、ジャイロ３１が垂直壁（Ｘ軸に垂直な壁）３６に固定され、前後の傾動角（ピッチ角）を測定するために、ジャイロ３２が垂直壁（Ｙ軸に垂直な壁）３５に固定され、方位角を測定するために、ジャイロ３３がベース板（Ｚ軸に垂直な面）３４上に固定される。各ジャイロには、例えばガス、光ファイバ、圧電素子などを用いた構造のものが使用され、移動体の旋回速度を積分してその方向を求め、ロール角、ピッチ角、方位角の各測定データを出力する。
【００２４】
データ収集装置４は、図３に示すように、ＣＰＵ４１、メモリ４２、インターフェース４３〜４６を備え、ビデオカメラ１、移動位置測定装置２、カメラ角度測定装置３、及びデータ処理装置５がインターフェース４３〜４６を介して接続される。このデータ収集装置４は、ビデオカメラ１が撮影する各画像フレームの作成時に同期して、つまりビデオカメラ１から入力されるタイムコード信号をトリガとして、移動位置測定装置２及びカメラ角度測定装置３から送られる測定データを取り込み、タイムコード信号と共に、緯度、経度、高度の各位置データ、ロール角、ピンチ角、方位角の各カメラ角データをデータ処理装置５に出力する。データ収集装置４からデータ処理装置５への伝送路には、例えばＲＳ２３２Ｃが使用され、タイムコード信号と共に、各位置データ、各カメラ角データがシリアルデータとして伝送される。
【００２５】
データ処理装置５は、例えばパーソナルコンピュータから構成され、ビデオカメラ１が撮影を行なう間、オンライン処理で、データ収集装置４から送られたタイムコード信号、緯度、経度、高度の各位置データ、ロール角、ピンチ角、方位角の各カメラ角データを、ＲＳ２３２Ｃポートを通して取り込み、一時メモリにそれを記憶する。その後、オフラインで、記憶した緯度データ、経度データ、高度データを読み出し、データの補正・補間を行なう。
【００２６】
データの補間は、ビデオカメラが撮影した画像の各フレーム毎のタイミングで実施する。ＧＰＳを用いた移動位置測定装置２は、通常、毎秒１個乃至数個の位置データを出力し、撮影画像の各フレームの発生タイミング（１／３０秒）ではデータの更新がない場合が多い。
【００２７】
このため、自動車を連続移動させてカメラ撮影を行なう場合、連続して移動するカメラの位置の変化に応じて、緯度データ、経度データ、高度データが変化するように、移動位置測定装置２からの緯度、経度、高度の各位置データを、撮影画像の各フレームの発生タイミング（１／３０秒）毎に線形補間或は非線形補間を用いて滑らかに補間する。また、その緯度、経度、高度の各位置データがその前後のデータと比べ大きく相違する場合、そのデータは使用せず、前後のデータに基づき、位置データを修正する。
【００２８】
次に、上記構成のビデオカメラ位置角度測定装置の動作を、送電線鉄塔の景観シュミレーションのための景観撮影を例にとって説明する。図１に示す全ての装置、つまりビデオカメラ１、移動位置測定装置２、データ収集装置４、データ処理装置５は、図１のように配線・接続され、自動車内に搭載される。ビデオカメラ１は、カメラ角度測定装置３と共に自動車内の前方を向けて水平に固定され、カメラ角度測定装置３のロール角検出用のＸ軸（図２）を自動車の前方（直進前進方向）合わる。
【００２９】
送電線鉄塔を建設する予定地の景観画像をビデオカメラにより撮影するために、予定地付近を通る道路に自動車を移動し、撮影場所の手前に自動車を止め、装置をリセットする。ジャイロを用いたカメラ角度測定装置３は、相対移動角度のみを測定しカメラの向き（方位）を検出できないため、予めスタート時のカメラの向き（絶対方位）を測定し、データ処理装置５に入力する。ビデオカメラ１つまり自動車を所定の方位（例えば真北など）に向け、そこから移動・撮影をスタートするようにしてもよい。
【００３０】
全ての装置に電源投入後、自動車が完全に停止した状態で、カメラ角度測定装置３の初期化を行なう。すなわち、各ジャイロ３１、３２、３３の出力値を収束させ、ロール角、ピッチ角、方位角の各原点を初期化し、次に、自動車のエンジンを始動した状態で、各ジャイロの出力値を測定し、その値をオフセット値として初期設定する（図４のステップ１００）。
【００３１】
次に、データ収集装置４及びデータ処理装置５が、移動位置測定装置２からの位置データを取り込むと共に、カメラ角度測定装置３からの角度データを取り込んで、カメラの位置と角度の計測を開始する（ステップ１１０）。続いて、ビデオカメラ１による撮影を開始し（ステップ１２０）、自動車を道路に沿って移動させながら、予定地付近の風景を撮影する。
【００３２】
ビデオカメラ１は、撮影を開始すると、撮影した画像の各フレーム毎（例えば１／３０秒毎）にタイムコード信号を出力し、データ収集装置４はこのタイムコード信号を同期信号（トリガ信号）として入力し、移動位置測定装置２及びカメラ角度測定装置３から送られるこの時点の測定データを取り込む（ステップ１３０〜１４０）。そして、データ収集装置４は、タイムコード信号と共に、緯度、経度、高度の各位置データ、ロール角、ピンチ角、方位角の各カメラ角データを、所定のフォーマット化されたシリアルデータとして、データ処理装置５に出力する（ステップ１５０）。
【００３３】
データ処理装置５は、ビデオカメラ１が撮影を行なう間、オンライン処理で、データ収集装置４から送られたタイムコード信号、緯度、経度、高度の各位置データ、及びロール角、ピンチ角、方位角の各カメラ角データを取り込み、一時メモリにそれらを順に記憶していく。
【００３４】
このようなデータ収集装置４とデータ処理装置５の動作により、自動車が低速で走行しながらビデオカメラ１により周囲の風景が撮影される間、撮影した画像の各フレーム毎（例えば１／３０秒毎）に、撮影の視点となるビデオカメラ１の緯度、経度、高度の各位置データ、及び撮影の視線方向となるカメラのロール角、ピンチ角、方位角の各データがデータ処理装置５に蓄積される。
【００３５】
そして、撮影を終了した後、データ処理装置５を使用して、カメラの位置のデータを補間・補正処理する。このデータの補間・補正は、ＧＰＳを用いた移動位置測定装置２が、通常、毎秒１個乃至数個の位置データを出力し、撮影画像の各フレームの発生タイミング（１／３０秒）ではデータの更新がないために実施し、連続して移動するカメラの位置の変化に応じて、その位置（緯度、経度、高度）が連続して変化するように、収集した緯度、経度、高度の各位置データを、撮影画像の各フレームの発生タイミング（１／３０秒）毎に、線形補間或は非線形補間を用いて滑らかに補間する。また、その緯度、経度、高度の各位置データがその前後のデータと比べ大きく相違する場合、そのデータは使用せず、前後のデータに基づき、位置データを修正する。
【００３６】
このようにして撮影されたビデオカメラ１の例えば図５ａのような画像の画像データは、各フレーム毎に、そのカメラ位置データ及び角度データと共に、ＣＧ装置に入力される。そして、ＣＧ装置では、図５ｂのような送電線鉄塔の画像が予め作成され、この送電線鉄塔の３次元グラフィック画像と上記の撮影画像を、画像合成することにより、図５ｃに示すような合成ビデオ画像が作成され、景観シュミレーションのためのビデオ映像が作られる。
【００３７】
画像合成は、撮影された画像データの各フレームについて、その撮影視点となる緯度、経度、高度の各位置データ、及び視線のロール角、ピンチ角、方位角の角度データをＣＧ画像に与えた時の鉄塔の３Ｄ画像を合成するように行なわれるため、撮影した動画の風景画像上に、送電線鉄塔を正しい位置に張り付くように合成することができる。
【００３８】
また、このようなフレーム毎の画像合成の作業は、各フレーム毎に視点の位置データと視線の角度データがあるため、ＣＧ装置により自動的に効率よく行なうことができ、更に、ビデオカメラ１の撮影時に収集され適正に補間・補正された各フレーム毎の位置データと角度データを使用するため、違和感のない滑らかな動画像を作ることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態を示すビデオカメラ位置角度測定装置の構成図である。
【図２】カメラ角度測定装置の構成図である。
【図３】データ収集装置の構成と接続を示すブロック図である。
【図４】データ収集装置の動作を示すフローチャートである。
【図５】ビデオカメラの撮影画像（ａ）、ＣＧにより作成した画像（ｂ）、及びそれらを合成した画像（ｃ）の説明図である。
【符号の説明】
１−ビデオカメラ
２−移動位置測定装置
３−カメラ角度測定装置
４−データ収集装置
５−データ処理装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to the position and angle of a video camera used when creating a composite video image used in a landscape simulation or the like, that is, a landscape image taken with a video camera and an image of an object created with CG (computer graphic). The present invention relates to a video camera position angle measuring apparatus for obtaining data.
[0002]
[Prior art]
Conventionally, for example, in order to see the expected completion state of a building to be constructed at the planned construction site on a simulation screen, the predicted appearance of the building is created as a three-dimensional image with CG, and a landscape image of the planned construction site is obtained by a video camera. There has been proposed an apparatus that synthesizes and displays a CG image and an image captured by a video camera (for example, JP-A-5-011727).
[0003]
[Problems to be solved by the invention]
[0004]
However, the conventional image synthesizer obtains camera direction data and position data at a speed corresponding to each frame image of a moving image when a moving image such as a landscape is shot while moving the video camera at a certain speed. There is a bug that cannot be done.
[0005]
In other words, when a video camera is mounted on, for example, an automobile and it is desired to shoot a surrounding landscape image as a moving image, the position data and direction data of the camera that change every moment during the movement are obtained for each frame image (for example, 1 An image synthesizing device obtained every 30 seconds) has not been proposed yet.
[0006]
For this reason, for example, when evaluating a landscape of a planned construction area where a structure such as a steel tower is constructed, the structure can be seen from which position by moving the area by car and photographing the surrounding scenery. There is a problem that it is impossible to create a landscape simulation image that evaluates whether the landscape changes.
[0007]
The present invention has been made in view of the above points, and measures the position and angle of a video camera that moves at the time of shooting, collects these data, and captures the shot moving image and the image of the object created by CG. It is an object of the present invention to provide a video camera position angle measuring device capable of using such data when combining.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, a video camera position angle measuring device of the present invention is a video used when a moving image shot by a moving video camera and an image of an object created by CG are combined by an image combining device. In a video camera position angle measurement device for obtaining camera position and angle data,
A camera position measuring means for measuring the absolute position of the moving video camera and outputting the latitude data, longitude data, and altitude data;
Camera angle measuring means for measuring the roll angle, pitch angle and azimuth angle of the video camera during movement and outputting the roll angle data, pitch angle data and azimuth angle data;
Data collection means for collecting measurement data from the camera position measurement means and camera angle measurement means in synchronization with the creation of each image frame taken by the video camera;
While the video camera is shooting, the latitude data, the longitude data, and the altitude data output from the camera position measuring means are captured through the data collecting means, and the roll angle data and the pitch angle data are output from the camera angle measuring means. And data storage processing means for capturing and storing azimuth angle data;
Data interpolation processing means for interpolating and correcting data at a timing for each frame of an image photographed by the video camera, latitude data, longitude data, altitude data at regular intervals temporarily stored by the data storage processing means;
With
The data interpolation processing means is configured to generate each frame of the captured image at each generation timing so that the latitude data, the longitude data, and the altitude data continuously change according to a change in the position of the video camera that moves continuously. When the latitude data, longitude data and altitude data are interpolated using linear interpolation or non-linear interpolation, andthe latitude data, longitude data or altitude data are significantly different from the preceding and succeeding data, the data before and after The latitude data, longitude data, or altitude data is corrected based on the above.
[0009]
Here, as the camera position measuring means, for example, a moving position measuring device using GPS can be used. When the video camera is mounted on a vehicle and moved, the moving position measuring device is also mounted on the vehicle. As the camera angle measuring means, for example, three gyros that measure the angle of rotation about three axes can be used. Further, a processing device having a CPU as a main part can be used as the data collection means, and a general-purpose personal computer can be used as the data storage processing means and the data interpolation processing means.
[0010]
[Operation and effect of the invention]
The video camera position angle measuring device having such a configuration is mounted on a car or the like and used together with the video camera, and the camera position measuring means is used as the absolute position of the moving video camera while photographing a landscape or the like while moving. The position is measured, and the latitude data, longitude data, and altitude data are output. The camera angle measuring means measures the roll angle, pitch angle and azimuth angle of the video camera during movement, and outputs the roll angle data, pitch angle data and azimuth angle data.
[0011]
At this time, the data collection means collects measurement data from the camera position measurement means and camera angle measurement means in synchronization with the creation of each image frame taken by the video camera, and sends these data to the data storage processing means. . The data storage processing means fetches and stores these latitude data, longitude data, altitude data, roll angle data, pitch angle data, and azimuth angle data.
[0012]
Then, after storing these data, the data interpolation processing means interpolates and corrects the latitude data, longitude data, and altitude data at regular intervals at the timing of each frame of the image taken by the video camera. .
[0013]
The video camera position and angle data collected and corrected as described above are input to the CG device together with the captured image data when the captured moving image and the image of the object created by the CG are combined. And CG image viewpoint position and line-of-sight angle data are used to synthesize moving images.
[0014]
As described above, the image composition is performed by using the CG image for each frame of the captured image data, such as the latitude, longitude, altitude position data, and the gaze roll angle, pinch angle, and azimuth angle data. Therefore, the CG object image can be synthesized so as to stick to the correct position on the captured moving image.
[0015]
Also, the image synthesis work for each frame has viewpoint position data and line-of-sight angle data for each frame, so it can be automatically and efficiently performed by the CG device, and is further collected at the time of video camera shooting. Since the position data and the angle data for each frame that are appropriately interpolated and corrected are used, a smooth moving image without any sense of incongruity can be created, and it can be used effectively for landscape simulation.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows a block diagram of an apparatus according to an embodiment of the present invention. As shown in FIG. 1, this video camera position angle measuring device is mounted on a car and shoots a landscape or the like and records a moving image on a magnetic tape or the like. A movingposition measuring device 2 that measures an absolute position at regular time intervals and outputs latitude data, longitude data, and altitude data is provided.
[0017]
Furthermore, the video camera position angle measuring device measures the roll angle, pitch angle and azimuth angle of thevideo camera 1 at regular intervals, and outputs the roll angle data, pitch angle data and azimuth angle data. The data collection device 4 that collects measurement data from the movingposition measurement device 2 and the cameraangle measurement device 3 and the latitude sent from the data collection device 4 in synchronism with the creation of each image frame taken by thevideo camera 1 And adata processing device 5 that captures and stores data such as data, longitude data, altitude data, roll angle data, pitch angle data, and azimuth angle data, and performs data correction.
[0018]
Thevideo camera 1 is an integrated video camera with a built-in VTR, which receives an image light incident through an optical system at the tip and converts it into an electrical signal, and amplifies a video signal output from the image sensor. -Process amplifier for adjustment processing, A / D converter for converting the video signal output from the process amplifier into a digital signal, Data compression circuit for compressing the digital video signal output from the A / D converter by a predetermined method, And a VTR unit for recording the video data signal on the magnetic tape.
[0019]
Further, at the time of shooting, thevideo camera 1 records a signal indicating a time (time code signal) on a part of the magnetic tape and outputs the time code signal to the data collecting device 4 as a digital signal. The time code signal is output when a frame image is generated, that is, every 1/30 seconds when the number of frames of video to be captured is, for example, 30 frames per second. Thevideo camera 1 is fixed to thebase plate 7 together with the cameraangle measuring device 3 and mounted on the automobile with the front facing.
[0020]
The movingposition measuring device 2 uses a satellite positioning system (GPS), has a GPS receiver that receives radio waves transmitted from three or more satellites, calculates the arrival time of the radio waves, and calculates its absolute position. In other words, the latitude, longitude and altitude data are obtained. Further, this measuringdevice 2 includes, for example, map data in a storage medium such as a CDROM in order to improve measurement accuracy. If there is no measurement position on the road of the map by a so-called map matching method, Compensate the measurement position data and correct the GPS error. Accordingly, the movingposition measuring device 2 measures the absolute position of the moving automobile, that is, thevideo camera 1, and outputs the latitude data, longitude data, and altitude data.
[0021]
In order to increase the measurement accuracy of GPS, a combination with a self-contained navigation of an automobile can be employed in addition to a map matching method. In the self-contained navigation, the azimuth is measured using a geomagnetic sensor, a gyro, a wheel speed sensor that calculates the azimuth based on the rotation difference between the left and right wheels, and the positioning data by GPS is corrected. A reference station with a known precise position receives a GPS signal from a GPS satellite, calculates the error data by comparing the positioning data calculated from the GPS signal and the known position data, and broadcasts the error data. It is also possible to employ so-called DGPS, which is transmitted to an automobile on radio waves or the like, and a GPS device on the automobile corrects GPS positioning data based on the error data.
[0022]
As shown in FIG. 2, the cameraangle measuring device 3 includes threegyros 31, 32, and 33 for measuring an angle about a three-dimensional three axis (XYZ axis). The threegyros 31, 32, and 33 are fixed to twovertical walls 35 and 36 that stand vertically on thebase plate 34 that is disposed horizontally with respect to the moving direction.
[0023]
That is, in order to measure the left and right tilt angles (roll angles) with respect to the moving direction of thevideo camera 1, thegyro 31 is fixed to the vertical wall (wall perpendicular to the X axis) 36, and the front and rear tilt angles (pitch angles) are set. Thegyro 32 is fixed to a vertical wall (wall perpendicular to the Y axis) 35 for measurement, and thegyro 33 is fixed to a base plate (plane perpendicular to the Z axis) 34 to measure an azimuth angle. . Each gyro has a structure using, for example, a gas, an optical fiber, a piezoelectric element, etc., and integrates the turning speed of the moving body to determine its direction, and each measurement data of roll angle, pitch angle, and azimuth angle Is output.
[0024]
As shown in FIG. 3, the data collection device 4 includes aCPU 41, amemory 42, and interfaces 43 to 46, and thevideo camera 1, the movingposition measurement device 2, the cameraangle measurement device 3, and thedata processing device 5 include theinterfaces 43 to 43. 46 is connected. The data collection device 4 synchronizes with each image frame taken by thevideo camera 1, that is, from the movingposition measurement device 2 and the cameraangle measurement device 3 using a time code signal input from thevideo camera 1 as a trigger. The measurement data to be sent is taken in, and the position data of latitude, longitude, altitude, camera angle data of roll angle, pinch angle, and azimuth angle are output to thedata processor 5 together with the time code signal. For example, RS232C is used as a transmission path from the data collection device 4 to thedata processing device 5, and each position data and each camera angle data are transmitted as serial data together with the time code signal.
[0025]
Thedata processing device 5 is composed of, for example, a personal computer, and while thevideo camera 1 is shooting, the time code signal, latitude, longitude, altitude position data sent from the data collection device 4 by online processing, roll angle The camera angle data of the pinch angle and the azimuth angle are captured through the RS232C port and stored in the temporary memory. Thereafter, the stored latitude data, longitude data, and altitude data are read offline, and the data is corrected and interpolated.
[0026]
Data interpolation is performed at the timing of each frame of the image captured by the video camera. The movingposition measuring apparatus 2 using GPS normally outputs one to several pieces of position data per second, and there are many cases where the data is not updated at the generation timing (1/30 second) of each frame of the captured image.
[0027]
For this reason, when the camera is photographed by continuously moving the vehicle, the movingposition measuring device 2 is arranged so that the latitude data, the longitude data, and the altitude data change according to the change in the position of the continuously moving camera. Each position data of latitude, longitude, and altitude is smoothly interpolated using linear interpolation or non-linear interpolation at every generation timing (1/30 second) of each frame of the captured image. Further, when the position data of the latitude, longitude, and altitude are significantly different from the data before and after the position data, the position data is corrected based on the data before and after the data is not used.
[0028]
Next, the operation of the video camera position angle measuring apparatus having the above-described configuration will be described by taking landscape photography for landscape simulation of a transmission line tower as an example. All the devices shown in FIG. 1, that is, thevideo camera 1, the movingposition measuring device 2, the data collecting device 4, and thedata processing device 5 are wired and connected as shown in FIG. Thevideo camera 1 is fixed horizontally with the cameraangle measuring device 3 facing forward in the automobile, and the X axis (FIG. 2) for detecting the roll angle of the cameraangle measuring device 3 is aligned with the front (straight forward direction) of the automobile. The
[0029]
In order to capture a landscape image of the planned site for constructing the transmission line tower with a video camera, the vehicle is moved to a road passing through the vicinity of the planned site, the vehicle is stopped in front of the shooting site, and the device is reset. Since the cameraangle measuring device 3 using the gyro cannot measure the camera direction (azimuth) by measuring only the relative movement angle, the camera direction (absolute direction) at the start is measured in advance and input to thedata processing device 5 To do. Thevideo camera 1, that is, the automobile may be pointed in a predetermined direction (for example, true north), and movement / photographing may be started from there.
[0030]
After turning on all the devices, the cameraangle measuring device 3 is initialized in a state where the automobile is completely stopped. That is, the output values of therespective gyros 31, 32, 33 are converged, the respective origins of the roll angle, the pitch angle, and the azimuth angle are initialized, and then the output values of the respective gyros are measured while the automobile engine is started. Then, the value is initialized as an offset value (step 100 in FIG. 4).
[0031]
Next, the data collection device 4 and thedata processing device 5 take in the position data from the movingposition measurement device 2 and the angle data from the cameraangle measurement device 3 to start measuring the position and angle of the camera. (Step 110). Subsequently, shooting by thevideo camera 1 is started (step 120), and the scenery near the planned location is shot while moving the automobile along the road.
[0032]
When thevideo camera 1 starts shooting, it outputs a time code signal for each frame (for example, every 1/30 seconds) of the shot image, and the data collection device 4 uses this time code signal as a synchronization signal (trigger signal). The measurement data at this time point is input and sent from the movingposition measuring device 2 and the camera angle measuring device 3 (steps 130 to 140). Then, the data collection device 4 performs data processing using the time code signal and each position data of latitude, longitude, altitude, camera angle data of roll angle, pinch angle, and azimuth as serial data formatted in a predetermined format. It outputs to the apparatus 5 (step 150).
[0033]
While thevideo camera 1 is photographing, thedata processing device 5 is a time code signal, latitude, longitude, altitude position data, roll angle, pinch angle, azimuth angle sent from the data collection device 4 by online processing. Each camera angle data is fetched and stored in order in a temporary memory.
[0034]
By such operations of the data collection device 4 and thedata processing device 5, while the surrounding scene is photographed by thevideo camera 1 while the vehicle is traveling at a low speed, each frame of the photographed image (for example, every 1/30 seconds) ), The latitude, longitude and altitude position data of thevideo camera 1 as the shooting viewpoint, and the roll angle, pinch angle and azimuth data of the camera as the shooting line-of-sight direction are stored in thedata processing device 5. The
[0035]
Then, after the photographing is finished, thedata processing device 5 is used to interpolate / correct the data of the camera position. In this data interpolation / correction, the movingposition measuring device 2 using GPS normally outputs one to several position data per second, and the data is generated at the generation timing (1/30 second) of each frame of the captured image. Each of the collected latitude, longitude, and altitude is changed so that the position (latitude, longitude, altitude) changes continuously according to the change in the position of the camera that moves continuously. The position data is smoothly interpolated using linear interpolation or non-linear interpolation at every generation timing (1/30 second) of each frame of the captured image. Further, when the position data of the latitude, longitude, and altitude are significantly different from the data before and after the position data, the position data is corrected based on the data before and after the data is not used.
[0036]
The image data of thevideo camera 1 photographed in this way, for example, as shown in FIG. 5a is input to the CG device together with the camera position data and angle data for each frame. In the CG apparatus, an image of the transmission line tower as shown in FIG. 5b is created in advance, and the three-dimensional graphic image of the transmission line tower and the above-described photographed image are combined to form a composite as shown in FIG. 5c. Video images are created and video footage is created for landscape simulation.
[0037]
In image synthesis, for each frame of the captured image data, the latitude, longitude, altitude position data as the shooting viewpoint, and angle roll angle, pinch angle, and azimuth angle data are given to the CG image. Since the 3D image of the steel tower is synthesized, it is possible to synthesize the power transmission line tower so as to stick to the correct position on the captured landscape image of the moving image.
[0038]
In addition, since the image composition work for each frame has viewpoint position data and line-of-sight angle data for each frame, it can be automatically and efficiently performed by the CG device. Since the position data and angle data for each frame collected and properly interpolated and corrected at the time of shooting are used, a smooth moving image without a sense of incongruity can be created.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a video camera position angle measuring apparatus showing an embodiment of the present invention.
FIG. 2 is a configuration diagram of a camera angle measurement apparatus.
FIG. 3 is a block diagram showing the configuration and connection of the data collection device.
FIG. 4 is a flowchart showing the operation of the data collection device.
FIG. 5 is an explanatory diagram of a captured image (a) of a video camera, an image (b) created by CG, and an image (c) obtained by combining them.
[Explanation of symbols]
1-video camera 2-moving position measuring device 3-camera angle measuring device 4-data collecting device 5-data processing device

Claims (2)

Translated fromJapanese

移動するビデオカメラで撮影された動画像とＣＧで作成した物体の画像を画像合成装置により合成する際に使用されるビデオカメラの位置と角度のデータを得るためのビデオカメラ位置角度測定装置において、
移動するビデオカメラの絶対位置を測定し、その緯度データ、経度データ、高度データを出力するカメラ位置測定手段と、
移動時の該ビデオカメラのロール角、ピッチ角及び方位角を測定し、そのロール角データ、ピッチ角データ及び方位角データを出力するカメラ角度測定手段と、
該ビデオカメラが撮影する各画像フレームの作成時に同期して、該カメラ位置測定手段及びカメラ角度測定手段からの測定データを収集するデータ収集手段と、
該ビデオカメラが撮影を行なう間、該データ収集手段を通して該カメラ位置測定手段から出力される緯度データ、経度データ、高度データを取り込み、該カメラ角度測定手段から出力されるロール角データ、ピッチ角データ及び方位角データを取り込み記憶するデータ記憶処理手段と、
該データ記憶処理手段が一時記憶した一定時間毎の緯度データ、経度データ、高度データを、前記ビデオカメラが撮影した画像の各フレーム毎のタイミングでデータの補間及び補正を行なうデータ補間処理手段と、
を備え、
該データ補間処理手段は、連続して移動する該ビデオカメラの位置の変化に応じて、前記緯度データ、経度データ及び高度データが連続して変化するように、撮影画像の各フレームの発生タイミング毎に、線形補間または非線形補間を用いて、該緯度データ、経度データ及び高度データの補間を行い、該緯度データ、経度データまたは高度データがその前後のデータと比べ大きく相違する場合、その前後のデータに基づき、該緯度データ、経度データまたは高度データを修正することを特徴とするビデオカメラ位置角度測定装置。In a video camera position and angle measurement device for obtaining data of position and angle of a video camera used when a moving image shot by a moving video camera and an image of an object created by CG are combined by an image combining device,
A camera position measuring means for measuring the absolute position of the moving video camera and outputting the latitude data, longitude data, and altitude data;
Camera angle measuring means for measuring the roll angle, pitch angle and azimuth angle of the video camera during movement and outputting the roll angle data, pitch angle data and azimuth angle data;
Data collection means for collecting measurement data from the camera position measurement means and camera angle measurement means in synchronization with the creation of each image frame taken by the video camera;
While the video camera is shooting, the latitude data, the longitude data, and the altitude data output from the camera position measuring means are captured through the data collecting means, and the roll angle data and the pitch angle data are output from the camera angle measuring means. And data storage processing means for capturing and storing azimuth angle data;
Data interpolation processing means for interpolating and correcting data at a timing for each frame of an image photographed by the video camera, latitude data, longitude data, altitude data at regular intervals temporarily stored by the data storage processing means;
With
The data interpolation processing means is configured to generate each frame of the captured image at each generation timing so that the latitude data, the longitude data, and the altitude data continuously change according to a change in the position of the video camera that moves continuously. When the latitude data, longitude data and altitude data are interpolated using linear interpolation or non-linear interpolation, andthe latitude data, longitude data or altitude data are significantly different from the preceding and succeeding data, the data before and after A video camera position angle measuring devicewhich corrects the latitude data, longitude data or altitude data based on 前記ビデオカメラはその撮影時にその録画媒体にタイムコード信号を記録すると共に、当該タイムコードデータを前記データ記憶処理手段に送り、前記カメラの位置データ及び角度データと共に該タイムコードデータを該データ記憶処理手段に記憶することを特徴とする請求項１記載のビデオカメラ位置角度測定装置。  The video camera records a time code signal on the recording medium at the time of shooting, and sends the time code data to the data storage processing means, and the time code data together with the position data and angle data of the camera is stored in the data. The video camera position angle measuring device according to claim 1, wherein the video camera position angle measuring device is stored in the means.

Images