JP2008304260A - Image processing device - Google Patents

Abstract

Translated fromJapanese

【課題】 無人機の移動中にＧＰＳ電波が途絶えた場合、ＩＮＳの誤差推定を行うことができなくなり、その結果、無人機の位置・姿勢角の検出を正常に行えなくなる。位置・姿勢角の正常な検出を目的とし、ＧＰＳのリンクが途絶した場合のＧＰＳに代わる、位置・姿勢角校正手段を備えた画像処理装置を得る。
【解決手段】 無人機に搭載されている画像取得手段を用いて、移動中に取得した画像の画像データベースを作成し、ＧＰＳのリンクが途絶した場合に画像データベースを参照する。そして画像データベース中の画像と現在の画像の相関値を計算し、相関の高い画像を参照値として座標変換を施し無人機の位置・姿勢角の誤差推定値を計算する。得られた位置・姿勢角の誤差推定値をＧＰＳ／ＩＮＳ計算に入力し、位置・姿勢角を検出する。
【選択図】 図１PROBLEM TO BE SOLVED: To prevent error estimation of INS when GPS radio wave is interrupted while the drone is moving, and as a result, the position / attitude angle of the drone cannot be normally detected. An object of the present invention is to obtain an image processing apparatus provided with position / posture angle calibration means in place of GPS when the GPS link is broken for the purpose of normal position / posture angle detection.
An image database of images acquired during movement is created using image acquisition means mounted on an unmanned aerial vehicle, and the image database is referred to when a GPS link is interrupted. Then, the correlation value between the image in the image database and the current image is calculated, coordinate conversion is performed using the highly correlated image as a reference value, and an error estimation value of the position / attitude angle of the drone is calculated. The obtained position / posture angle error estimation value is input to the GPS / INS calculation, and the position / posture angle is detected.
[Selection] Figure 1

Description

Translated fromJapanese

この発明は、空撮画像を用いて例えば軽飛行機や小型ヘリコプターなどの小型飛行機の位置と姿勢角を補正し特定地域上空の画像を生成する画像処理装置に関するものである。  The present invention relates to an image processing apparatus that uses an aerial image to correct the position and posture angle of a small airplane such as a light airplane or a small helicopter to generate an image over a specific area.

高い高度を飛行する航空機や人工衛星による航空測量は広範囲の情報を一度に取得することが可能である。そして、航空測量の際に撮像した空撮画像を用いることにより、複数枚の空撮画像を合成して広範囲な地表域を覆うモザイク画像を生成することができる。このため、航空測量には、モザイク画像を用いて地理情報システム（ＧＩＳ：Ｇｅｏｇｒａｐｈｉｃａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）を構築するなど、多くの需要がある。また、都市防災管理に用いられることが多い地理情報システムとして、時空間対応の地理情報システム（ＳｐａｔｉａｌＴｅｍｐｏｒａｌ ＧＩＳ）がある。
しかしながら、航空機や人工衛星による航空測量は一般にコストが高い。運用コストの削減や高解像度の画像の取得といった要求に応えるため、燃料費やメンテナンスコストが低く且つ低高度で飛行可能な小型ヘリコプターや軽飛行機、更にはこれらの機体に慣性センサや計算機を搭載して自律化したＵＡＶ（Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）などの小型の飛行体（以下、小型飛行機とする）を用いることが検討されている（例えば、特許文献１参照）。小型飛行機は対地高度が低いため空撮画像に写る撮像範囲が狭く、所望のエリアの空撮画像を一度の撮影で取得することはできない。このため、小型飛行機に搭載した高解像度デジタルカメラにより撮影した画像と、撮影時の小型飛行機の位置と姿勢角とを関連付けしておき、撮影した複数の画像をオーバラップさせて表示することで、所望のエリアの地形情報を取得することができる。Aerial surveys using aircraft and satellites flying at high altitudes can obtain a wide range of information at once. Then, by using the aerial image captured during the aerial survey, a plurality of aerial images can be combined to generate a mosaic image covering a wide surface area. For this reason, there are many demands for aerial surveying, such as the construction of a geographic information system (GIS) using mosaic images. As a geographic information system often used for urban disaster prevention management, there is a spatial information GIS (Spatial Temporal GIS).
However, aerial surveys using aircraft and satellites are generally expensive. Small helicopters and light aircraft that can fly at low altitudes with low fuel costs and maintenance costs, as well as inertial sensors and computers are installed on these aircraft to meet the demands of reducing operational costs and acquiring high-resolution images. It has been studied to use a small aircraft (hereinafter, referred to as a small aircraft) such as a UAV (Unmanned Aero Vehicle) that has become autonomous (see, for example, Patent Document 1). Since a small airplane has a low ground altitude, the imaging range shown in an aerial image is narrow, and an aerial image of a desired area cannot be acquired by one imaging. For this reason, by associating the image taken by the high-resolution digital camera mounted on the small airplane with the position and attitude angle of the small airplane at the time of shooting, and overlapping the displayed images, The topographic information of a desired area can be acquired.

従来、小型飛行機の位置と姿勢角を検出する技術として、高利用性と連続性を持つ慣性センサと、時間とともに増大する慣性センサによる測定誤差を推定して除去することを目的としたＧＰＳとを複合したＧＰＳ／ＩＮＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ／Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）複合測位が用いられている（例えば、非特許文献１参照）。
また、ＧＰＳが利用できない悪条件下でも精度よく撮影対象のグローバル座標を測量する装置等が提案されている（例えば、特許文献２参照）。
また、ＧＰＳと自律航法とを用いた測量システムにおいて、ＧＰＳ電波が受信できない場所でも所定の精度をもって位置測定が行えるようにする測量システムが提案されている（例えば、特許文献３参照）。Conventionally, as a technology for detecting the position and attitude angle of a small airplane, an inertial sensor having high availability and continuity and a GPS intended to estimate and eliminate measurement errors due to an inertial sensor that increases with time. A combined GPS / INS (Global Positioning System / Internal Navigation System) combined positioning is used (for example, see Non-Patent Document 1).
In addition, an apparatus that accurately measures the global coordinates of an object to be imaged under adverse conditions where GPS cannot be used has been proposed (see, for example, Patent Document 2).
Further, in a survey system using GPS and autonomous navigation, a survey system that enables position measurement with a predetermined accuracy even in a place where GPS radio waves cannot be received has been proposed (for example, see Patent Document 3).

特願２００７−１７８０６号公報Japanese Patent Application No. 2007-17806特開２００５−９１２９８号公報JP 2005-91298 A特開２００５−６２０８３号公報JP 2005-62083 A航空宇宙技術研究所報告「搬送波位相ＤＧＰＳ／ＩＮＳ複合航法アルゴリズムの開発」 ＮＡＬ−１４１６ ＩＳＳＮ：０３８９−４０１０National Aerospace Laboratory Report “Development of Carrier Phase DGPS / INS Combined Navigation Algorithm” NAL-1416 ISSN: 0389-4010

しかしながら、衛星からの微弱な電波を利用するＧＰＳはその連続性に問題がある。例えば山岳部や山間部、ビルの谷間などＧＰＳ電波が遮断され易い難い場所の航空測量では、ＧＰＳ電波が受信できている時にはＧＰＳ／ＩＮＳ複合測位でのＩＮＳの誤差を推定し除去することが可能であるが、ＧＰＳ電波が受信できなくなった時にはＩＮＳ誤差が蓄積され、ＩＮＳの誤差推定と除去が完全に行えなくなるという課題があった。このため、小型飛行機の位置と姿勢角に基づき空撮画像を合成して生成する地表の画像の精度が劣化するという課題があった。  However, GPS using weak radio waves from satellites has a problem in continuity. For example, in aerial surveys where GPS radio waves are difficult to block, such as mountainous areas, mountainous areas, and valleys of buildings, it is possible to estimate and remove INS errors in GPS / INS combined positioning when GPS radio waves are received. However, when GPS radio waves cannot be received, INS errors are accumulated, and there is a problem that INS error estimation and removal cannot be performed completely. Therefore, there has been a problem that the accuracy of the ground image generated by combining the aerial images based on the position and the attitude angle of the small airplane deteriorates.

この発明は係る課題を解決するためになされたものであり、測量を目的とした小型飛行機が測量中にＧＰＳ衛星からのＧＰＳ電波が途絶えた場合であっても、小型飛行機が撮影する画像に基づきその位置と姿勢角を補正して、特定地域上空の画像を取得する画像処理装置を得ることを目的とする。  The present invention has been made in order to solve such problems, and even when a small aircraft for surveying is surveyed, even when GPS radio waves from GPS satellites are interrupted, it is based on images taken by the small aircraft. An object of the present invention is to obtain an image processing apparatus that corrects the position and the posture angle and acquires an image over a specific area.

この発明による画像処理装置は、特定地域上空を複数回飛行する機体に搭載され、測位衛星からの電波を受信して前記機体の位置を測位する位置検出手段が出力する位置情報と、前記機体の角速度や加速度を計測する慣性情報検出手段が出力する慣性情報とを複合処理して前記機体の位置と姿勢角を算出する複合計算測位部と、地上を撮影する撮影手段と、前記撮影手段が撮影した撮影画像と前記複合計算測位部が算出した前記機体の位置と姿勢角とを関連付け前記撮影画像を貼り合わせて特定地域のパノラマ画像を生成して記憶する画像記憶手段とからなる画像生成部と、を備えた画像処理装置であって、前記位置検出手段が機体の位置を測位できない場合において、前記画像生成部は、前記撮影手段が撮影する撮影画像と生成された前記パノラマ画像とを照合することで前記機体の位置を推定し、複合計算測位部は推定された機体の位置と前記慣性情報検出手段からの慣性情報とを複合処理して、前記機体の位置と姿勢角を算出するようにした。  An image processing apparatus according to the present invention is mounted on an aircraft that flies a plurality of times over a specific area, receives position signals from a positioning satellite and measures the position of the aircraft, and outputs position information of the aircraft. Compound calculation positioning unit that calculates the position and posture angle of the aircraft by combining the inertia information output from the inertia information detection unit that measures angular velocity and acceleration, the imaging unit that images the ground, and the imaging unit An image generation unit including an image storage unit that associates the captured image with the position and orientation angle of the aircraft calculated by the combined calculation positioning unit to generate and store a panoramic image of a specific area by pasting the captured image; When the position detection unit cannot determine the position of the airframe, the image generation unit is configured to generate the captured image captured by the imaging unit and the generated image. The position of the aircraft is estimated by collating with a norama image, and the combined calculation positioning unit performs a combined process of the estimated aircraft position and the inertia information from the inertia information detection means, and the position and orientation of the aircraft. The angle was calculated.

この発明によれば、ＧＰＳ衛星などの測位衛星からの測位用電波が受信できない状況であっても小型飛行機の位置と姿勢角の補正が可能であり、小型飛行機に搭載する撮像装置が撮影した空撮画像を合成することにより、精度の高い特定地域上空の画像を取得できる。  According to the present invention, the position and attitude angle of a small airplane can be corrected even in a situation where positioning radio waves from a positioning satellite such as a GPS satellite cannot be received, and the sky captured by an imaging device mounted on the small airplane can be corrected. By synthesizing the captured images, it is possible to acquire a high-accuracy image over a specific area.

以下の実施の形態では、小型飛行機として無人航空機（ＵＡＶ：Unmanned Aerial Vehicleともいう）を例にとり説明する。なお、この無人航空機には自律飛行を行うためのオートパイロット計算部等の各種計算部が搭載されているが、ここでは発明の要旨とする部分のみを説明する。また測位システムとしてＧＰＳを例にとり説明するが、Ｇａｌｉｌｅｏ（ガリレオ）等のＧＰＳ以外の測位システムであってもよい。  In the following embodiments, an unmanned aerial vehicle (UAV: Unmanned Aerial Vehicle) will be described as an example of a small airplane. This unmanned aerial vehicle is equipped with various calculation units such as an autopilot calculation unit for performing autonomous flight, but only the part that is the gist of the invention will be described here. Further, although GPS will be described as an example of the positioning system, a positioning system other than GPS such as Galileo may be used.

実施の形態１．
以下、図を用いてこの発明に係る実施の形態１について説明する。
図１は、実施の形態１に係る画像処理装置３０の構成図である。無人飛行機５０に搭載される画像処理装置３０は、ＧＰＳ／ＩＮＳ計算部１４と、所望のエリアの画像を取得する画像生成部１５とから構成される。Embodiment 1 FIG.
Embodiment 1 of the present invention will be described below with reference to the drawings.
FIG. 1 is a configuration diagram of an image processing apparatus 30 according to the first embodiment. The image processing device 30 mounted on the unmanned airplane 50 includes a GPS / INS calculation unit 14 and an image generation unit 15 that acquires an image of a desired area.

図１において、ＧＰＳ／ＩＮＳ計算部１４は、無人航空機５０の角速度や加速度等の慣性情報を計測する姿勢角検出装置１と、図示しない測位衛星（ＧＰＳ衛星）からの電波を受信して無人飛行機５０の位置を取得する位置検出装置２と、姿勢角検出装置１が出力する慣性情報９０を用いて速度情報を更新する速度更新計算部４と、速度更新計算部４が出力する速度情報と補正データを用いて無人飛行機５０の位置を更新して、更新した位置と速度を出力する位置更新計算部５と、慣性情報９０を用いて無人飛行機５０の姿勢角を更新する姿勢角更新計算部６と、位置更新計算部５や姿勢角更新計算部６が算出する無人航空機５０の位置、速度、姿勢角の誤差を推定して出力するフィルタ計算部１１と、フィルタ計算部１１が推定する各誤差情報に基づき各々の値を補正するバイアス補正部７と姿勢角補正部８と速度補正部９と位置補正部１０とから構成されている。  In FIG. 1, a GPS / INS calculation unit 14 receives a radio wave from an attitudeangle detection device 1 that measures inertia information such as angular velocity and acceleration of an unmanned aircraft 50 and a positioning satellite (GPS satellite) (not shown). Theposition detection device 2 that acquires the position of 50, the speedupdate calculation unit 4 that updates the speed information using the inertia information 90 output by the attitudeangle detection device 1, and the speed information and correction that the speed update calculation unit 4 outputs. The position update calculation unit 5 that updates the position of the unmanned airplane 50 using the data and outputs the updated position and velocity, and the attitude angleupdate calculation unit 6 that updates the attitude angle of the unmanned airplane 50 using the inertia information 90. A filter calculation unit 11 that estimates and outputs an error of the position, speed, and attitude angle of the unmanned aircraft 50 calculated by the position update calculation unit 5 and the attitude angleupdate calculation unit 6, and each error estimated by the filter calculation unit 11 And a bias correction unit 7 and the attitudeangle correction unit 8 and aspeed correction unit 9 and theposition correcting unit 10 for correcting the respective values based on the distribution.

また、自己位置補正部１５は、ＧＰＳ／ＩＮＳ計算部１４が出力する無人飛行機５０の位置、速度、姿勢角の情報をもとに画像取得装置３が撮影した画像をオルソ変換してオルソ画像を生成し、オルソ画像を地表面での位置情報を関連付けて保存し、また、過去に得られたオルソ画像と合成してパノラマ合成画像を生成する画像データベース１２と、画像データベース１２の画像データと画像取得装置３が撮影した撮影画像の一致度を調べる画像相関計算を行い、無人航空機５０の位置、速度、姿勢角を推定する画像相関計算部１３とから構成される。
ここで画像取得装置３は、例えば汎用の高解像度デジタルカメラである。また、オルソ変換については後で説明する。なお、上記ＧＰＳ／ＩＮＳ計算部は複合計算測位部と対応し、上記姿勢角検出装置は慣性情報検出手段に対応する。また、上記画像取得装置は撮影手段に対応し、上記画像情報データベースは画像記憶手段に対応する。The self-position correcting unit 15 performs an ortho-transform on the image captured by theimage acquisition device 3 based on the information on the position, speed, and attitude angle of the unmanned airplane 50 output from the GPS / INS calculation unit 14 to generate an ortho image. Generating and storing the ortho image in association with position information on the ground surface, and synthesizing the ortho image with the ortho image obtained in the past to generate a panorama composite image, and image data and image of theimage database 12 An imagecorrelation calculation unit 13 that performs image correlation calculation to check the degree of coincidence of the captured images taken by theacquisition device 3 and estimates the position, speed, and attitude angle of the unmanned aircraft 50 is included.
Here, theimage acquisition device 3 is, for example, a general-purpose high-resolution digital camera. The ortho conversion will be described later. The GPS / INS calculation unit corresponds to a combined calculation positioning unit, and the attitude angle detection device corresponds to inertia information detection means. The image acquisition device corresponds to a photographing unit, and the image information database corresponds to an image storage unit.

次に、無人航空機５０が自律飛行し画像取得装置３が適宜地表の撮影を行うことで、地上の所望のエリアのパノラマ画像を取得する動作について説明する。
図２は、無人航空機を用いた飛行経路と所望エリアの空撮画像との関係を説明する図である。自律飛行は手動飛行に比べて正確に飛行経路を辿ることができる。そのため、図２に示すように無人航空機５０は近い飛行経路で複周回飛行することができ、各周回の近接地点で撮像したそれぞれの静止画像（図２の周回１画像、周回２画像、周回３画像）を取得することができる。無人航空機５０は、ＧＰＳや慣性センサの出力を元に、風等の外乱を抑制しながら、あらかじめ設定した所望のエリア上空の円または楕円軌道（飛行経路）を再現性良く旋回することが可能である。Next, an operation of acquiring a panoramic image of a desired area on the ground when the unmanned aircraft 50 autonomously flies and theimage acquisition device 3 appropriately captures the ground surface will be described.
FIG. 2 is a diagram illustrating a relationship between a flight path using an unmanned aerial vehicle and an aerial image of a desired area. Autonomous flight can follow the flight path more accurately than manual flight. Therefore, as shown in FIG. 2, the unmanned aerial vehicle 50 can fly a plurality of times with close flight paths, and each still image (one or two images shown in FIG. 2, two or three images, or three or more) Image). The unmanned aerial vehicle 50 can turn with good reproducibility a circle or an elliptical orbit (flight path) over a desired area set in advance while suppressing disturbances such as wind based on the output of GPS and inertial sensors. is there.

無人航空機５０の画像取得装置３は空撮画像の取得を行う。無人航空機５０は低空飛行するため、市販のデジタルカメラを用いても高解像度の地表面の静止画像を得ることができる。画像取得装置３は無人航空機５０の機体（無人航空機）に固定しておく。画像取得装置３を機体に固定することにより、無人航空機５０の位置、姿勢角と画像取得装置３の位置、姿勢角とを対応付けることができる。
以下では、画像取得装置３の位置、姿勢角は無人航空機５０の位置、姿勢角と同じとし、画像取得装置３の姿勢角に対応する座標系をカメラ座標系とする。ここでは、カメラ座標系において、Ｘ軸を無人航空機５０の長手方向に中心軸にとり、Ｚ軸をＸ軸が水平方向を向いた状態での鉛直上方にとり、Ｙ軸を左手系の３軸直行座標系を構成するように設定する。また、世界座標系（例えば地球中心座標系ＷＧＳ−８４）から機体軸への変換に必要となるオイラー角(α、β、γ)により、無人航空機５０の姿勢角を定義する。すなわち、カメラ座標軸（Ｘ、Ｙ、Ｚ）周りの回転角を各々（α,β,γ）＝（ロール角、ピッチ角、ヨー角）とする。Theimage acquisition device 3 of the unmanned aircraft 50 acquires an aerial image. Since the unmanned aerial vehicle 50 flies at low altitude, a high-resolution still image of the ground surface can be obtained using a commercially available digital camera. Theimage acquisition device 3 is fixed to the body of the unmanned aircraft 50 (unmanned aircraft). By fixing theimage acquisition device 3 to the airframe, the position and posture angle of the unmanned aircraft 50 can be associated with the position and posture angle of theimage acquisition device 3.
Hereinafter, the position and posture angle of theimage acquisition device 3 are the same as the position and posture angle of the unmanned aircraft 50, and the coordinate system corresponding to the posture angle of theimage acquisition device 3 is a camera coordinate system. Here, in the camera coordinate system, the X-axis is the central axis in the longitudinal direction of the unmanned aircraft 50, the Z-axis is vertically upward with the X-axis facing the horizontal direction, and the Y-axis is the left-handed three-axis orthogonal coordinate. Set to configure the system. Further, the attitude angle of the unmanned aerial vehicle 50 is defined by Euler angles (α, β, γ) necessary for conversion from the world coordinate system (for example, the earth center coordinate system WGS-84) to the body axis. That is, the rotation angles around the camera coordinate axes (X, Y, Z) are (α, β, γ) = (roll angle, pitch angle, yaw angle), respectively.

位置検出装置２は、飛行中の機体の位置を測位する。位置検出装置２として例えばＧＰＳ受信機を用いる。
姿勢角検出装置１は、飛行中の機体の姿勢角を検出する。姿勢角検出装置１として例えばジャイロや加速度計などの慣性センサを用いる。Theposition detection device 2 measures the position of the aircraft in flight. For example, a GPS receiver is used as theposition detection device 2.
The attitudeangle detection device 1 detects the attitude angle of the aircraft in flight. For example, an inertial sensor such as a gyroscope or an accelerometer is used as the attitudeangle detection device 1.

次に、ＧＰＳ／ＩＮＳ計算部１４の動作について説明する。ＧＰＳ／ＩＮＳ計算部１４は、位置検出装置２からの時系列の位置データ８０と、姿勢角検出装置１からの時系列の慣性情報９０とを用い、フィルタ計算部１１において複合処理することにより、精度向上した機体の位置、速度および姿勢角を算出して出力する。フィルタ計算部１１では、例えばカルマンフィルタにより複合処理を行い、各種の誤差推定値を算出して補正を行うようにする。
姿勢角検出装置１は、計測した慣性情報９０の加速度情報を速度更新計算部４に出力し、また、慣性情報９０の角速度情報を姿勢角更新計算部６に出力する。速度更新計算部４は飛行中の機体の速度を計算して位置更新計算部５に出力する。
位置更新計算部５は、加速度情報に基づき機体の位置と速度を算出し、算出した位置と速度を出力する。算出した機体の位置と速度はフィルタ計算部１１に対してフィードバックされる。
姿勢角更新計算部６は、角速度情報により機体の姿勢角を算出し、算出した姿勢角を出力する。算出した機体の姿勢角はフィルタ計算部１１に対してフィードバックされる。
フィルタ計算部１１は、位置検出装置２からの位置データ８０と、位置更新計算部５からの機体の位置と速度のデータと、姿勢角更新計算部６からの機体の姿勢角のデータとを入力して、姿勢角検出装置１のバイアス誤差推定値（例えば、累積されるジャイロセンサのセンサ誤差の推定値）、位置誤差の推定値、速度誤差の推定値、姿勢角誤差の推定値を各々算出する。バイアス補正部７、姿勢角補正部８、速度補正部９、位置補正部１０の各々は、フィルタ計算部１１からの上記誤差推定値により、姿勢角検出装置が出力する加速度と角速度、位置更新計算部の位置と速度、姿勢角更新計算部６が出力する姿勢角を補正する。Next, the operation of the GPS / INS calculation unit 14 will be described. The GPS / INS calculation unit 14 uses the time-series position data 80 from theposition detection device 2 and the time-series inertia information 90 from the attitudeangle detection device 1 to perform composite processing in the filter calculation unit 11. Calculate and output the position, speed and attitude angle of the aircraft with improved accuracy. The filter calculation unit 11 performs complex processing using, for example, a Kalman filter, and calculates and corrects various error estimation values.
The postureangle detection device 1 outputs the measured acceleration information of the inertia information 90 to the speedupdate calculation unit 4 and outputs the angular velocity information of the inertia information 90 to the posture angleupdate calculation unit 6. The speedupdate calculation unit 4 calculates the speed of the aircraft in flight and outputs it to the position update calculation unit 5.
The position update calculation unit 5 calculates the position and speed of the aircraft based on the acceleration information, and outputs the calculated position and speed. The calculated position and speed of the aircraft are fed back to the filter calculation unit 11.
The attitude angleupdate calculation unit 6 calculates the attitude angle of the aircraft based on the angular velocity information, and outputs the calculated attitude angle. The calculated attitude angle of the aircraft is fed back to the filter calculation unit 11.
The filter calculation unit 11 receives the position data 80 from theposition detection device 2, the position and velocity data of the aircraft from the position update calculation unit 5, and the attitude angle data of the aircraft from the attitude angleupdate calculation unit 6. Then, the estimated bias error value (for example, the estimated value of the sensor error of the gyro sensor), the estimated value of the position error, the estimated value of the velocity error, and the estimated value of the attitude angle error of the postureangle detection device 1 are calculated. To do. Each of the bias correction unit 7, the postureangle correction unit 8, thespeed correction unit 9, and theposition correction unit 10 calculates the acceleration, angular velocity, and position update calculation output from the posture angle detection device based on the error estimation value from the filter calculation unit 11. The posture angle output from the position and speed of the unit and the posture angleupdate calculation unit 6 is corrected.

一方、画像情報データベース１２は、画像取得装置３が撮影した空撮画像のデータと、ＧＰＳ／ＩＮＳ計算部１４で算出した飛行状態情報のデータ（各撮影時の機体の位置情報、速度情報、の姿勢角情報）とを時刻同期をかけて、画像情報１００として時系列に記憶する。時刻同期の方法としては、例えばＧＰＳ時間を基準にしてそれぞれのデータの取得タイミングに合わせて記録する等の手法が用いられる。  On the other hand, theimage information database 12 includes aerial image data captured by theimage acquisition device 3 and flight state information data calculated by the GPS / INS calculation unit 14 (position information and speed information of the aircraft at each imaging). (Posture angle information) is time-synchronized and stored asimage information 100 in time series. As a method of time synchronization, for example, a method of recording in accordance with the acquisition timing of each data on the basis of GPS time is used.

図３に、画像情報１００の一例を示す。画像取得装置３が撮影した各画像（画像１、画像２、・・・、画像ｎ）は、各々の撮影時の機体の位置情報（Ｘ、Ｙ、Ｚ）と、各撮影時の機体の姿勢角情報（ロール角α、ピッチ角β、ヨー角γ）と、撮影時刻とに関連付けられて、画像情報データベース１２に記憶される。  FIG. 3 shows an example of theimage information 100. Each image (image 1,image 2,..., Image n) photographed by theimage acquisition device 3 includes the position information (X, Y, Z) of the airframe at the time of each photographing and the attitude of the airframe at the time of each photographing. The angle information (roll angle α, pitch angle β, yaw angle γ) and the shooting time are associated with each other and stored in theimage information database 12.

画像情報データベース１２はその内部に画像処理部１２１を有する。画像処理部１２１は画像情報データベース１２に記憶された各々の画像にオルソ変換を施し、オルソ画像として画像情報データベース１２に記憶する。オルソ画像は正射投影画像とも言われ、中心投影された画像を補正処理して正射投影した画像に変換した画像であり、あたかも真上から撮影したような画像のことをいう。また、複数のオルソ画像を部分的に重ね合わせたものをオルソモザイク画像、あるいはパノラマ合成画像という。  Theimage information database 12 has animage processing unit 121 therein. Theimage processing unit 121 performs ortho transformation on each image stored in theimage information database 12 and stores the image in theimage information database 12 as an ortho image. An ortho image is also called an orthographic projection image, which is an image obtained by correcting a centrally projected image and converting it to an orthographic projection image, which is an image as if taken from directly above. Further, an image obtained by partially overlapping a plurality of ortho images is called an ortho mosaic image or a panorama composite image.

画像処理部１２１は、数１の回転並進式を用いて、撮影した画像の画像変換（オルソ変換）を行う。  Theimage processing unit 121 performs image conversion (ortho conversion) of the captured image using the rotational translation formula ofFormula 1.

数１で示した回転並進式は、画像の回転に加えて画像の平行移動を行う。図４は、カメラ座標系と世界座標系（例えばＷＧＳ−８４）との関係を示した図である。
図４において、画像処理部１２１は、まず、カメラの姿勢に対応するカメラ座標系Ｘ−Ｙ−Ｚ（原点０）で表され撮像面に写る空撮画像を地表面をＸ’−Ｙ’平面とする世界座標系Ｘ’−Ｙ’−Ｚ’（原点０）に投影して、鉛直方向からみた撮像範囲を表す画像を生成する。そして、Ｔｘ、Ｔｙ、Ｔｚ分だけ平行移動する。平行移動量Ｔｘ、Ｔｙ、Ｔｚは、図４の関係図において、数１による画像投影後に、長方形（または正方形）の画像範囲の中央に撮像範囲が位置するように、また、長方形（または正方形）の画像範囲と撮像範囲との間の余白部分が少なくなるように平行移動後のカメラ中心０（０ｘ'、０ｙ'、０ｚ'）を定めるとよい。オルソ変換を行うことにより、あたかもレベルフライトする航空機や人工衛星から撮影したような空撮画像を得ることができる。The rotational translation system shown inEquation 1 performs image translation in addition to image rotation. FIG. 4 is a diagram showing the relationship between the camera coordinate system and the world coordinate system (for example, WGS-84).
In FIG. 4, theimage processing unit 121 first displays an aerial image represented by a camera coordinate system XYZ (origin 0) corresponding to the posture of the camera on the imaging surface on the ground surface along the X′-Y ′ plane. Is projected onto the world coordinate system X′-Y′-Z ′ (origin 0), and an image representing the imaging range viewed from the vertical direction is generated. Then, it is translated by Tx, Ty, Tz. The parallel movement amounts Tx, Ty, and Tz are set so that the imaging range is positioned at the center of the rectangular (or square) image range after the image projection according toEquation 1 in FIG. It is preferable to determine the camera center 0 (0x ′, 0y ′, 0z ′) after translation so that the margin between the image range and the imaging range is reduced. By performing the ortho conversion, it is possible to obtain an aerial image as if taken from an aircraft or an artificial satellite that performs level flight.

画像処理部１２１は、変換後のオルソ画像と、オルソ画像（長方形または正方形）の中心となる位置座標（オルソ画像に写された地形画像の中心位置座標）とを、オルソ画像情報１０１として画像情報データベース１２に記憶する。オルソ画像情報１０１の一例を図５に示す。  Theimage processing unit 121 uses the converted ortho image and the position coordinates (center position coordinates of the terrain image captured in the ortho image) as the center of the ortho image (rectangle or square) asimage information 101 as image information. Store indatabase 12. An example of theortho image information 101 is shown in FIG.

パノラマ合成画像は、このオルソ画像情報１０１（オルソ画像と、オルソ画像の世界座標系における中心位置座標）に基づき、オルソ画像を世界座標系に順次重ね合わせられるようにして作成される。図６は、パノラマ合成画像とオルソ画像との関係を示した図である。  The panorama composite image is created based on the ortho image information 101 (ortho image and center position coordinates of the ortho image in the world coordinate system) so that the ortho image can be sequentially superimposed on the world coordinate system. FIG. 6 is a diagram showing the relationship between the panorama composite image and the ortho image.

このようにして、無人飛行機５０がＧＰＳ電波を受信できている間は、蓄積するＩＮＳの誤差推定と除去を行って無人飛行機５０の高精度な位置情報と姿勢角情報を得て、所望のエリアの精度の高いパノラマ画像を取得することができる。  In this way, while the unmanned airplane 50 is able to receive GPS radio waves, the accumulated INS error is estimated and removed to obtain highly accurate position information and attitude angle information of the unmanned airplane 50 to obtain a desired area. High-accuracy panoramic images can be acquired.

次に、無人航空機５０が飛行中にＧＰＳ電波が途絶えた場合に、無人飛行機５０が位置と姿勢角を補正し所望のエリアのパノラマ画像を取得するまでの動作について、フロー図を用いて説明する。
前で述べたように、移動中にＧＰＳ電波が受信できない状況では、ＧＰＳ／ＩＮＳ計算部１４は累積するＩＮＳのセンサ誤差を除去できず、このため撮像取得装置が撮像した空撮画像と地上の位置との対応に誤差が生じて、パノラマ合成画像の精度が劣化するという問題が生じる。Next, an operation until the unmanned airplane 50 corrects the position and the attitude angle and acquires a panoramic image of a desired area when the GPS radio wave is interrupted while the unmanned airplane 50 is flying will be described with reference to a flowchart. .
As described above, in a situation where GPS radio waves cannot be received while moving, the GPS / INS calculation unit 14 cannot remove the accumulated INS sensor error, and therefore, the aerial image captured by the imaging acquisition device and the ground There arises a problem that an error occurs in the correspondence with the position and the accuracy of the panorama composite image is deteriorated.

図７は、ＧＰＳ衛星からのＧＰＳ電波が、上空の衛星と無人飛行機５０との位置関係等により受信できない状況において、位置検出装置２が出力する位置情報によらず無人飛行機５０の位置、姿勢角を補正する動作を説明するフロー図である。
ここではパノラマ合成画像生成の一例として、図８のように過去にパノラマ合成画像を取得済みのエリアの近傍のエリア（図８の点線で示したエリア）の画像を新たに取得することを想定する。FIG. 7 shows the position and attitude angle of the unmanned airplane 50 regardless of the position information output by theposition detection device 2 in a situation where the GPS radio wave from the GPS satellite cannot be received due to the positional relationship between the satellite in the sky and the unmanned airplane 50. It is a flowchart explaining the operation | movement which correct | amends.
Here, as an example of generating a panorama composite image, it is assumed that a new image of an area in the vicinity of an area where a panorama composite image has been acquired in the past as shown in FIG. 8 (area indicated by a dotted line in FIG. 8) is acquired. .

図７において、画像相関計算部１３は、位置検出装置２が出力する測位結果を検知している。画像相関計算部１３は、ＧＰＳ電波の受信状況等により、位置検出装置２からの測位結果の出力がないことを検知すると（図７のＳ１０１）、画像生成部１５による補正動作を開始する。
画像相関計算部１３は、画像情報データベース１２に対して画像取得装置３が撮影した空撮画像をデータベースに記憶する指示信号を出力する（Ｓ１０２）。
次に、画像相関計算部１３は、画像取得装置３が撮影する空撮画像とパノラマ合成画像との間で画像相関計算を行い、画像の一致の度合いを示す相関値の計算を行う（Ｓ１０３）。画像相関計算は例えば画像間差分等の一般的な画像処理の手法を用いることができる。相関値の計算をする際、現在の絶対位置・姿勢角情報（ＧＰＳ／ＩＮＳ計算部１４が出力する位置、姿勢角の直近データ）をもとに、現在の取得画像の地表面における位置を推定し、この推定位置を相関値計算時の初期位置とする。この初期位置を中心として、北方向、東方向、地表面法線を軸とした回転方向に、予め設定した値分だけ画像をバイアス・回転させ、その都度相関値を計算する。
次に、得られた相関値の中で最も大きい相関値と予め設定した設定値との比較を行う。相関値が設定値以上である場合（Ｓ１０４）には、撮影した空撮画像が、既に合成し作成されているパノラマ合成画像の中の一部のエリアを撮影した空撮画像であり、画像が一致する地点であるとして、空撮画像が一致したパノラマ合成画像内のエリアの四隅の位置座標を抽出する（Ｓ１０５）。
ここで、Ｓ１０５で得た一致エリアの四隅の位置座標を［Ｘｉ、Ｙｉ、０］（ｉ＝１〜４）と置く。また、求める機体位置座標を［Ｐ１、Ｐ２、Ｐ３］、求める姿勢角ベクトルを［Ｄ１、Ｄ２、Ｄ３］と置く。また姿勢角とカメラの四隅の方向への単位ベクトルを関係付けるカメラパラメータを［Ｃｉｊ］（ｉ＝１〜４、ｊ＝１〜３、ｉは四隅・ｊは方向に対応するインデックス）とする。カメラパラメータ［Ｃｉｊ］は、機体へのカメラの取り付け角度やカメラの視野角に依存するパラメータであり、予め計測しておくことにより既知の値となる。以上諸量の関係式を数２に示す。In FIG. 7, the imagecorrelation calculation unit 13 detects the positioning result output from theposition detection device 2. When the imagecorrelation calculation unit 13 detects that there is no output of the positioning result from theposition detection device 2 based on the reception status of the GPS radio wave (S101 in FIG. 7), the image generation unit 15 starts the correction operation.
The imagecorrelation calculation unit 13 outputs an instruction signal for storing the aerial image captured by theimage acquisition device 3 in the database to the image information database 12 (S102).
Next, the imagecorrelation calculation unit 13 performs image correlation calculation between the aerial image captured by theimage acquisition device 3 and the panorama composite image, and calculates a correlation value indicating the degree of matching of the images (S103). . For the image correlation calculation, a general image processing method such as an inter-image difference can be used. When calculating the correlation value, the position of the current acquired image on the ground surface is estimated based on the current absolute position / attitude angle information (position / angle data output by the GPS / INS calculation unit 14). The estimated position is set as the initial position when calculating the correlation value. With this initial position as the center, the image is biased / rotated by a preset value in the rotation direction about the north direction, the east direction, and the ground surface normal, and the correlation value is calculated each time.
Next, the largest correlation value among the obtained correlation values is compared with a preset set value. If the correlation value is greater than or equal to the set value (S104), the captured aerial image is an aerial image obtained by capturing a part of the panorama composite image that has already been synthesized and created. The position coordinates of the four corners of the area in the panorama composite image where the aerial images match are extracted as the matching points (S105).
Here, the position coordinates of the four corners of the coincidence area obtained in S105 are set as [Xi, Yi, 0] (i = 1 to 4). Also, the body position coordinates to be obtained are set as [P1, P2, P3], and the attitude angle vectors to be found are set as [D1, D2, D3]. A camera parameter that associates a unit vector in the direction of the posture angle and the four corners of the camera is [Cij] (i = 1 to 4, j = 1 to 3, i is the four corners and j is an index corresponding to the direction). The camera parameter [Cij] is a parameter that depends on the angle at which the camera is attached to the aircraft and the viewing angle of the camera, and becomes a known value by measuring in advance. The relational expression of various quantities is shown inEquation 2.

数２の計算式では計算上の未知係数として［Ｕｉ］を用いる。既知の量を［Ｘｉ、Ｙｉ、Ｃｉｊ］とすると、これら既知量を用いることで、数２に示す方程式を［Ｐ１、Ｐ２、Ｐ３、Ｄ１、Ｄ２、Ｄ３、Ｕｉ］について解くことができる。
以上より機体の位置、姿勢角を算出する。（Ｓ１０６）
次に、画像相関計算部１３は、算出した位置、姿勢角をフィルタ計算部１１に出力する（Ｓ１０７）。
フィルタ計算部１１は、画像相関計算部１３からの位置、姿勢角のデータを、ＧＰＳ電波受信可能時に位置検出装置２が出力する位置のデータの代替として入力し、前に説明したフィルタ計算を行い、誤差推定値を算出する。In the formula (2), [Ui] is used as a calculation unknown coefficient. If the known quantities are [Xi, Yi, Cij], the equations shown inEquation 2 can be solved for [P1, P2, P3, D1, D2, D3, Ui] by using these known quantities.
From the above, the position and attitude angle of the aircraft are calculated. (S106)
Next, the imagecorrelation calculation unit 13 outputs the calculated position and orientation angle to the filter calculation unit 11 (S107).
The filter calculation unit 11 inputs the position and attitude angle data from the imagecorrelation calculation unit 13 as an alternative to the position data output by theposition detection device 2 when GPS radio wave reception is possible, and performs the filter calculation described above. Then, an error estimated value is calculated.

一方、Ｓ１０５において相関値が条件を満たさない時は、画像取得装置３はパノラマ合成画像にないエリアを撮影しているものとみなし、画像相関計算部１３は、位置、姿勢角をフィルタ計算部１１に出力せず、フィルタ計算部１１は誤差推定を行わない。
無人航空機５０による撮影を継続する場合は再びＳ１０１に戻り、Ｓ１０１〜Ｓ１０８の処理ステップを繰り返す。
なお、Ｓ１０１においてＧＰＳ電波を受信できる状況であれば、通常通り、位置検出装置２は測位した位置をフィルタ計算部１１に出力する（Ｓ１０８）。On the other hand, when the correlation value does not satisfy the condition in S105, theimage acquisition device 3 considers that the area not included in the panorama composite image is captured, and the imagecorrelation calculation unit 13 calculates the position and orientation angle as the filter calculation unit 11. The filter calculation unit 11 does not perform error estimation.
When photographing by the unmanned aircraft 50 is continued, the process returns to S101 again, and the processing steps of S101 to S108 are repeated.
If the GPS radio wave can be received in S101, theposition detection device 2 outputs the measured position to the filter calculation unit 11 as usual (S108).

このように、実施の形態１では、ＧＰＳ電波の受信時には、姿勢角検出装置１と位置検出装置２とフィルタ計算部１１とで構成されるフィルタ構成により各種誤差推定を行い、誤差推定により補正した位置のデータを用いて、パノラマ合成画像を取得する。
一方、ＧＰＳ電波の受信ができない時には、画像相関計算部は、撮影した空撮画像と既にあるパノラマ合成画像との相関を調べ、相関が高いときには相関が高いパノラマ合成画像の位置座標から、無人航空機５０の位置、姿勢角を算出し、フィルタ計算部に出力するようにした。そして、姿勢角検出装置１と画像相関計算部１３とフィルタ計算部１１とで構成されるフィルタ構成により各種誤差推定を行い、誤差推定により精度の高い位置、速度、姿勢角のデータを得られるようにした。
これにより、ＧＰＳ電波の受信ができない時であっても、機体の位置と姿勢角の補正が可能であり、精度の高いパノラマ画像を取得することができる。As described above, in the first embodiment, when GPS radio waves are received, various error estimations are performed using the filter configuration including the attitudeangle detection device 1, theposition detection device 2, and the filter calculation unit 11, and correction is performed by error estimation. A panorama composite image is acquired using the position data.
On the other hand, when the GPS radio wave cannot be received, the image correlation calculation unit checks the correlation between the captured aerial image and the existing panoramic composite image, and when the correlation is high, the unmanned aircraft 50 positions and posture angles were calculated and output to the filter calculation unit. Various error estimations are performed by a filter configuration including the attitudeangle detection device 1, the imagecorrelation calculation unit 13, and the filter calculation unit 11, and high-accuracy position, velocity, and attitude angle data can be obtained by error estimation. I made it.
Thereby, even when GPS radio waves cannot be received, the position and attitude angle of the aircraft can be corrected, and a highly accurate panoramic image can be acquired.

実施の形態２．
実施の形態１では、画像取得装置が取得した空撮画像とパノラマ合成画像との相関を計算したが、画像取得装置から得られた空撮画像に、予め絶対位置が判っているランドマークが撮影されていた場合には、ランドマークの絶対位置をもとに無人航空機の位置と姿勢角を推定できる。実施の形態２では、空撮画像に写っているランドマークの絶対位置をもとに無人航空機の位置と姿勢角を推定する。Embodiment 2. FIG.
InEmbodiment 1, the correlation between the aerial image acquired by the image acquisition device and the panorama composite image is calculated. However, a landmark whose absolute position is known in advance is captured in the aerial image acquired from the image acquisition device. If so, the position and attitude angle of the unmanned aerial vehicle can be estimated based on the absolute position of the landmark. In the second embodiment, the position and attitude angle of the unmanned aircraft are estimated based on the absolute position of the landmark shown in the aerial image.

図９は、この発明の実施の形態１に係る画像処理装置３０の構成を示す図である。実施の形態２の画像生成部１５は、予め絶対位置が判っているランドマークとその絶対位置とが関連付けられたデータが格納されたランドマークデータベース１６と、ランドマーク一致計算部１７を備える。ランドマークは、例えば、高層ビルや橋、空港、グランドなど外観に特徴があるものである。なお、実施の形態１と同一あるいは相当する部分については同一番号を付してその説明を省略する。  FIG. 9 is a diagram showing a configuration of the image processing apparatus 30 according to the first embodiment of the present invention. The image generation unit 15 according to the second embodiment includes alandmark database 16 in which a landmark whose absolute position is known in advance and data in which the absolute position is associated are stored, and a landmark match calculation unit 17. Landmarks are characterized by their appearance such as high-rise buildings, bridges, airports, and grounds. Note that the same or corresponding parts as those in the first embodiment are denoted by the same reference numerals and description thereof is omitted.

図１０は、実施の形態２におけるＧＰＳ電波が受信できない状況において位置、姿勢角を補正する動作を説明するフロー図である。
図１０において、画像相関計算部１３は、位置検出装置２が出力する測位結果を検知している。画像相関計算部１３は、ＧＰＳ電波の受信状況等により、位置検出装置２からの測位結果の出力がないことを検知すると（Ｓ２０１）、画像生成部１５による補正動作を開始する。
画像相関計算部１３は、ランドマークデータベース１６に対して画像取得装置３が撮影した空撮画像をデータベースに記憶する指示信号を出力する（Ｓ２０２）。
図１０において、実施の形態２では空撮画像の中からランドマークを検索し（Ｓ２０３）、ランドマークが写っている場合は、ランドマークデータベース１６よりそのランドマークの絶対位置を抽出する（Ｓ２０４）。
画像生成部１５は、Ｓ２０５で得たランドマークの絶対位置から、無人航空機５０の位置、姿勢角を算出する（Ｓ２０５）。
ここで、Ｓ２０５で得たランドマークの絶対位置座標を［Ｘｉ、Ｙｉ、０］（ｉ＝１〜４）と置く。また、求める機体位置座標を［Ｐ１、Ｐ２、Ｐ３］、求める姿勢角ベクトルを［Ｄ１、Ｄ２、Ｄ３］と置く。画像上のランドマークの位置座標を画素点［Ｇｉ、Ｈｉ］とおくと、姿勢角と画素点方向への単位ベクトルを関係付けるカメラパラメータ［Ｃｉｊ］（ｉ＝１〜４、ｊ＝１〜３、ｉはランドマーク番号・ｊは方向に対応するインデックス）は、画素点［Ｇｉ、Ｈｉ］の関数として書き表される（数３）。以上の諸量の関係式を数３に示す。FIG. 10 is a flowchart for explaining the operation of correcting the position and posture angle in a situation where GPS radio waves cannot be received in the second embodiment.
In FIG. 10, the imagecorrelation calculation unit 13 detects the positioning result output from theposition detection device 2. When the imagecorrelation calculation unit 13 detects that there is no positioning result output from theposition detection device 2 based on the reception status of the GPS radio wave (S201), the imagecorrelation calculation unit 13 starts the correction operation by the image generation unit 15.
The imagecorrelation calculation unit 13 outputs an instruction signal for storing the aerial image captured by theimage acquisition device 3 in the database to the landmark database 16 (S202).
In FIG. 10, in the second embodiment, a landmark is searched from an aerial image (S203). If a landmark is shown, the absolute position of the landmark is extracted from the landmark database 16 (S204). .
The image generation unit 15 calculates the position and attitude angle of the unmanned aircraft 50 from the absolute position of the landmark obtained in S205 (S205).
Here, the absolute position coordinates of the landmark obtained in S205 are set as [Xi, Yi, 0] (i = 1 to 4). Also, the body position coordinates to be obtained are set as [P1, P2, P3], and the attitude angle vectors to be found are set as [D1, D2, D3]. When the position coordinates of the landmark on the image are set as pixel points [Gi, Hi], camera parameters [Cij] (i = 1 to 4, j = 1 to 3) for associating the posture angle with a unit vector in the pixel point direction. , I is a landmark number, j is an index corresponding to a direction), and is expressed as a function of the pixel point [Gi, Hi] (Equation 3).Equation 3 shows the relational expression of the above various quantities.

また、数３の計算式では計算上の未知係数として［Ｕｉ］を用いる。既知の量を［Ｘｉ、Ｙｉ、Ｇｉ、Ｈｉ］とし、これらを用いると、数３に示す方程式を［Ｃｉｊ、Ｐ１、Ｐ２、Ｐ３、Ｄ１、Ｄ２、Ｄ３、Ｕｉ］について解くことができる。
以上より機体の位置、姿勢角を算出する（Ｓ２０６）。Further, in the calculation formula ofEquation 3, [Ui] is used as an unknown coefficient for calculation. Using the known quantities [Xi, Yi, Gi, Hi] and using them, the equation shown inEquation 3 can be solved for [Cij, P1, P2, P3, D1, D2, D3, Ui].
The position and attitude angle of the aircraft are calculated from the above (S206).

このように実施の形態２では、ＧＰＳ電波の受信ができない時に、ランドマーク一致計算部１７はオルソ画像中に予め絶対位置が判っているランドマークが撮影されているか否かを判定し、ランドマークが撮影されている場合にはそのランドマークの絶対位置から無人航空機５０の位置、姿勢角を算出し、フィルタ計算部に出力するようにした。そして、姿勢角検出装置１と画像相関計算部１３とフィルタ計算部１１とで構成されるフィルタ構成により各種誤差推定を行い、誤差推定により精度の高い位置、速度、姿勢角のデータを得られるようにした。
これにより、ＧＰＳ電波の受信ができない時であっても、位置と姿勢角の補正が可能であり、精度の高いパノラマ画像を取得することができる。As described above, in the second embodiment, when the GPS radio wave cannot be received, the landmark coincidence calculation unit 17 determines whether or not a landmark whose absolute position is known in advance is photographed in the ortho image. Is taken, the position and attitude angle of the unmanned aerial vehicle 50 are calculated from the absolute position of the landmark and output to the filter calculation unit. Various error estimations are performed by a filter configuration including the attitudeangle detection device 1, the imagecorrelation calculation unit 13, and the filter calculation unit 11, and high-accuracy position, velocity, and attitude angle data can be obtained by error estimation. I made it.
As a result, even when GPS radio waves cannot be received, the position and orientation angle can be corrected, and a highly accurate panoramic image can be acquired.

実施の形態１に係る画像処理の構成を示す図である。2 is a diagram illustrating a configuration of image processing according toEmbodiment 1. FIG.実施の形態１における無人航空機を用いた飛行経路と所望のエリアの空撮画像との関係を説明する図である。It is a figure explaining the relationship between the flight path | route using the unmanned aircraft inEmbodiment 1, and the aerial image of a desired area.実施の形態１における画像情報１００の一例を示す図である。6 is a diagram illustrating an example ofimage information 100 according toEmbodiment 1. FIG.実施の形態１におけるカメラ座標系と世界座標系との関係を示した図である。FIG. 3 is a diagram showing a relationship between a camera coordinate system and a world coordinate system in the first embodiment.実施の形態１におけるオルソ画像情報１０１の一例を示す図である。6 is a diagram illustrating an example ofortho image information 101 according toEmbodiment 1. FIG.実施の形態１におけるパノラマ合成画像とオルソ画像との関係を示した図である。6 is a diagram illustrating a relationship between a panoramic composite image and an ortho image inEmbodiment 1. FIG.実施の形態１におけるＧＰＳ電波が受信できない状況において位置、姿勢角を補正する動作を説明するフロー図である。FIG. 6 is a flowchart illustrating an operation for correcting a position and an attitude angle in a situation where GPS radio waves cannot be received in the first embodiment.実施の形態１における画像を取得するエリアを説明する図である。5 is a diagram illustrating an area for acquiring an image inEmbodiment 1. FIG.実施の形態２に係る画像処理装置の構成を示す図である。6 is a diagram illustrating a configuration of an image processing apparatus according toEmbodiment 2. FIG.実施の形態２におけるＧＰＳ電波が受信できない状況において位置、姿勢角を補正する動作を説明するフロー図である。FIG. 10 is a flowchart illustrating an operation for correcting a position and an attitude angle in a situation where GPS radio waves cannot be received in the second embodiment.

符号の説明Explanation of symbols

１ 姿勢角検出装置、２ 位置検出装置、３ 画像取得装置、４ 速度更新計算部、５ 位置更新計算部、６ 姿勢角更新計算部、７ バイアス補正部、８ 姿勢角補正部、９ 速度補正部、１０ 位置補正部、１１ フィルタ計算部、１２ 画像データベース、１４ ＧＰＳ／ＩＮＳ計算部、１５ 画像生成部、１６ランドマークデータベース、１７ランドマーク一致計算部、３０ 画像処理装置、５０ 無人航空機、８０ 位置データ、９０ 慣性情報、１００ 画像情報、１０１ オルソ画像情報、１２１ 画像処理部DESCRIPTION OFSYMBOLS 1 Posture angle detection apparatus, 2 Position detection apparatus, 3 Image acquisition apparatus, 4 Speed update calculation part, 5 Position update calculation part, 6 Posture angle update calculation part, 7 Bias correction part, 8 Posture angle correction part, 9 Speed correction part DESCRIPTION OFSYMBOLS 10 Position correction | amendment part, 11 Filter calculation part, 12 Image database, 14 GPS / INS calculation part, 15 Image generation part, 16 Landmark database, 17 Landmark coincidence calculation part, 30 Image processing apparatus, 50 Unmanned aircraft, 80 position Data, 90 inertia information, 100 image information, 101 ortho image information, 121 image processing unit

Claims (4)

Translated fromJapanese

特定地域上空を複数回飛行する機体に搭載され、
測位衛星からの電波を受信して前記機体の位置を測位する位置検出手段が出力する位置情報と、前記機体の角速度や加速度を計測する慣性情報検出手段が出力する慣性情報とを複合処理して前記機体の位置と姿勢角を算出する複合計算測位部と、
地上を撮影する撮影手段と、前記撮影手段が撮影した撮影画像と前記複合計算測位部が算出した前記機体の位置と姿勢角とを関連付け前記撮影画像を貼り合わせて特定地域のパノラマ画像を生成して記憶する画像記憶手段とからなる画像生成部と、を備えた画像処理装置であって、
前記位置検出手段が機体の位置を測位できない場合において、前記画像生成部は、前記撮影手段が撮影する撮影画像と生成された前記パノラマ画像とを照合することで前記機体の位置を推定し、複合計算測位部は推定された機体の位置と前記慣性情報検出手段からの慣性情報とを複合処理して、前記機体の位置と姿勢角を算出することを特徴とする画像処理装置。It is mounted on the aircraft that flies multiple times over a specific area,
The position information output from the position detection means for receiving the radio wave from the positioning satellite and measuring the position of the aircraft is combined with the inertia information output from the inertia information detection means for measuring the angular velocity and acceleration of the aircraft. A compound calculation positioning unit for calculating the position and posture angle of the aircraft,
A panorama image of a specific area is generated by associating the photographing image which is photographed by the photographing means, the photographed image photographed by the photographing device and the position and posture angle of the aircraft calculated by the combined calculation positioning unit, and the photographed image. An image generation unit including an image storage unit that stores the image storage unit,
When the position detection unit cannot determine the position of the aircraft, the image generation unit estimates the position of the aircraft by comparing the captured image captured by the imaging unit with the generated panoramic image, and combines An image processing apparatus characterized in that the calculation positioning unit performs combined processing of the estimated position of the aircraft and the inertia information from the inertia information detection means to calculate the position and attitude angle of the aircraft.前記画像生成部は、前記撮影手段が撮影する撮影画像と前記パノラマ画像との一致度を調べる画像相関計算を行い、画像の一致度を表す相関値が予め定めた設定値以上のエリアを前記パノラマ画像の中から抽出すると、当該エリアの４隅の位置座標を取得し、前記４隅の位置座標に基づき前記機体の位置を推定することを特徴とする請求項１記載の画像処理装置。The image generation unit performs an image correlation calculation to check a degree of coincidence between the captured image captured by the photographing unit and the panoramic image, and an area where a correlation value indicating the degree of coincidence of the images is equal to or larger than a predetermined set value is selected. The image processing apparatus according to claim 1, wherein when extracted from an image, position coordinates of the four corners of the area are acquired, and the position of the aircraft is estimated based on the position coordinates of the four corners.前記位置検出手段は撮影手段が撮影した撮影画像の中に予め位置が判っているランドマークを検出すると、前記ランドマークの位置に基づき前記機体の位置を推定することを特徴とする請求項１記載の画像処理装置。2. The position detection unit, when detecting a landmark whose position is known in advance in a photographed image photographed by the photographing unit, estimates the position of the aircraft based on the position of the landmark. Image processing apparatus.前記画像生成部は、複合計算測位部が出力する前記位置と姿勢角を用いて前記撮影画をオルソ変換してオルソ画像を取得し、前記オルソ画像を貼り合わせて前記パノラマ画像を生成することを特徴とする請求項１乃至３のいずれか記載の画像処理装置。The image generation unit ortho-transforms the captured image using the position and attitude angle output by the combined calculation positioning unit to acquire an ortho image, and combines the ortho image to generate the panoramic image. The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.

Images