JP7626478B2 - Self-position estimation system for estimating the self-position of an unmanned aerial vehicle, flight control system, unmanned aerial vehicle, program, and recording medium - Google Patents

Description

Translated fromJapanese

本発明は、無人航空機の自己位置を推定する自己位置推定システム、飛行制御システム、無人航空機、プログラム、及び、記録媒体に関する。The present invention relates to a self-position estimation system that estimates the self-position of an unmanned aerial vehicle, a flight control system, an unmanned aerial vehicle, a program, and a recording medium.

近時ドローンによるトンネルなどの構造物の点検が試みられている。ドローンは、ＧＰＳの衛星測位情報を利用して自己位置を推定し、飛行計画経路に沿って自律飛行することができるが、トンネルなどの構造物内の内部空間では、ＧＰＳによって正確な位置情報を得ることが難しい。そのため、そのような環境においては、Ｖｉｓｕａｌ ＳＬＡＭによる自己位置推定をＧＰＳによる自己位置推定の代替とする技術が提案されている（下記非特許文献１）。ここで、Ｖｉｓｕａｌ ＳＬＡＭとは、連続して撮影された画像の複数のフレーム間で複数の特徴点を追跡することにより自己位置とマップの推定を並行して行う技術である。Recently, attempts have been made to use drones to inspect structures such as tunnels. Drones can estimate their own position using GPS satellite positioning information and fly autonomously along a flight plan route, but it is difficult to obtain accurate position information using GPS in the interior space of structures such as tunnels. Therefore, in such environments, a technology has been proposed that uses Visual SLAM to estimate their own position as an alternative to GPS-based self-position estimation (see Non-PatentDocument 1 below). Here, Visual SLAM is a technology that estimates the self-position and map in parallel by tracking multiple feature points between multiple frames of images captured in succession.

野波健蔵、「ドローン産業応用のすべて」、オーム社、平成30年2月、p.73-79Kenzo Nonami, "All about drone industrial applications", Ohmsha, February 2018, pp.73-79

Ｖｉｓｕａｌ ＳＬＡＭによる自己位置推定においては、撮像した画像における特徴点を抽出し、その特徴点に基づき自己位置を推定する。しかしながら、トンネルなどの構造物の内壁には特徴点が少なく、Ｖｉｓｕａｌ ＳＬＡＭによる精度の高い自己位置推定は難しい。In self-location estimation using Visual SLAM, feature points are extracted from a captured image and the vehicle's self-location is estimated based on those feature points. However, there are few feature points on the inner walls of structures such as tunnels, making it difficult to achieve highly accurate self-location estimation using Visual SLAM.

そこで、本発明は、無人航空機がトンネルなどの特徴点の抽出が難しい内面を有する構造物の内部空間内の飛行を行う場合に、無人航空機の位置を推定するためのシステム及び方法を提供することを目的の１つとする。Therefore, one of the objectives of the present invention is to provide a system and method for estimating the position of an unmanned aerial vehicle when the unmanned aerial vehicle flies within the interior space of a structure, such as a tunnel, whose inner surface makes it difficult to extract feature points.

本発明の一態様は、無人航空機の自己位置を推定するための自己位置推定システムであって、無人航空機は、無人航空機の飛行経路を横切る方向の縦断面内の空間形状を測定し、縦断面測定データを生成する縦断面測定装置を含み、無人航空機が、横方向に所定の経路に沿って延びる構造物の内部空間を飛行するときに、縦断面測定装置により生成された縦断面測定データを取得する縦断面測定データ取得部と、縦断面測定データ取得部が取得した縦断面測定データに、構造物の内壁面に対応する第１の所定形状をマッチングし、マッチングした所定形状に対する自己位置に基づき、縦断面内における無人航空機の縦断面内位置を推定する縦断面内位置推定部と、を含む、自己位置推定システムを提供するものである。One aspect of the present invention provides a self-location estimation system for estimating the self-location of an unmanned aerial vehicle, the unmanned aerial vehicle including a longitudinal section measurement device that measures a spatial shape within a longitudinal section in a direction intersecting the flight path of the unmanned aerial vehicle and generates longitudinal section measurement data, a longitudinal section measurement data acquisition unit that acquires the longitudinal section measurement data generated by the longitudinal section measurement device when the unmanned aerial vehicle flies through the interior space of a structure extending laterally along a predetermined path, and a longitudinal section position estimation unit that matches the longitudinal section measurement data acquired by the longitudinal section measurement data acquisition unit with a first predetermined shape corresponding to the inner wall surface of the structure and estimates the position of the unmanned aerial vehicle within the longitudinal section based on the self-location relative to the matched predetermined shape.

本発明の一態様において、第１の所定形状は、少なくとも一部が幾何学的形状と対応しており、縦断面内位置推定部は、縦断面測定データに対して幾何学的形状をマッチングし、マッチングした幾何学的形状に対する自己位置に基づき、縦断面内位置を推定することができる。In one aspect of the present invention, the first predetermined shape corresponds at least in part to a geometric shape, and the longitudinal section position estimation unit can match the geometric shape to the longitudinal section measurement data and estimate the position within the longitudinal section based on the self-position relative to the matched geometric shape.

本発明の一態様において、幾何学的形状は、凸な曲線で構成される形状であることができる。In one aspect of the present invention, the geometric shape can be a shape composed of convex curves.

本発明の一態様において、幾何学的形状は、円形の一部又は全部、及び、楕円形の一部又は全部の少なくとも一つであることができる。In one aspect of the invention, the geometric shape may be at least one of a partial or complete circle and a partial or complete ellipse.

本発明の一態様において、縦断面内位置推定部は、縦断面測定データに対して構造物の底面に対応する第３の所定形状をマッチングし、マッチングした第３の所定形状に対して所定の高さ範囲に位置するように第１の所定形状をマッチングする。In one aspect of the present invention, the longitudinal section position estimation unit matches a third predetermined shape corresponding to the bottom surface of the structure to the longitudinal section measurement data, and matches the first predetermined shape so that it is located within a predetermined height range relative to the matched third predetermined shape.

本発明の一態様において、縦断面測定データは、離散データであり、縦断面内位置推定部は、離散データにおける外れ値を除去し、マッチングを行うことができる。In one aspect of the present invention, the longitudinal section measurement data is discrete data, and the longitudinal section position estimation unit can remove outliers in the discrete data and perform matching.

本発明の一態様において、無人航空機は、無人航空機の下方を撮像可能な撮像装置をさらに含み、無人航空機の飛行中に撮像装置により連続的に撮像された画像から無人航空機の横方向自己位置を推定する画像横方向位置推定部をさらに含むことができる。In one aspect of the present invention, the unmanned aerial vehicle may further include an imaging device capable of imaging an area below the unmanned aerial vehicle, and may further include an image lateral position estimation unit that estimates the lateral position of the unmanned aerial vehicle from images continuously captured by the imaging device while the unmanned aerial vehicle is flying.

本発明の一態様において、無人航空機は、無人航空機の所定の方向を基準とした横断面内の空間形状を測定し、横断面測定データを生成するための横断面測定装置をさらに含み、無人航空機が、横方向に所定の経路に沿って延びる構造物の内部空間を飛行するときに、横断面測定装置が生成した横断面測定データを取得する横断面測定データ取得部と、横断面測定データ取得部が取得した横断面測定データに第２の所定形状をマッチングし、マッチングした第２の所定形状に対する自己位置及び／又は姿勢に基づき、無人航空機の横断面内位置及び／又は姿勢を推定する光学断面内位置／姿勢推定部を含むことができる。In one aspect of the present invention, the unmanned aerial vehicle further includes a cross-section measuring device for measuring a spatial shape in a cross-section based on a predetermined direction of the unmanned aerial vehicle and generating cross-section measurement data, and may include a cross-section measurement data acquisition unit that acquires the cross-section measurement data generated by the cross-section measuring device when the unmanned aerial vehicle flies through the interior space of a structure extending laterally along a predetermined path, and an optical cross-sectional position/attitude estimation unit that matches a second predetermined shape to the cross-section measurement data acquired by the cross-section measurement data acquisition unit and estimates the position and/or attitude of the unmanned aerial vehicle in the cross-section based on its own position and/or attitude relative to the matched second predetermined shape.

本発明の一態様において、第２の所定形状は、少なくとも一部が線分状又は円弧状であることができる。In one aspect of the present invention, the second predetermined shape may be at least partially linear or arc-shaped.

本発明の一態様は、無人航空機の自己位置を推定するための自己位置推定システムであって、無人航空機は、無人航空機の所定の方向を基準とした横断面内の空間形状を測定し、横断面測定データを生成するための横断面測定装置を含み、無人航空機が、横方向に所定の経路に沿って延びる構造物の内部空間を飛行するときに、横断面測定装置が測定した横断面測定データを取得する横断面測定データ取得部と、横断面測定データ取得部が取得した横断面測定データに第２の所定形状をマッチングし、マッチングした第２の所定形状に対する自己位置及び／又は姿勢に基づき、無人航空機の横断面内位置及び／又は姿勢を推定する光学横断面内位置／姿勢推定部と、を含む、自己位置推定システムを提供する。One aspect of the present invention provides a self-location estimation system for estimating the self-location of an unmanned aerial vehicle, the unmanned aerial vehicle including a cross-section measurement device for measuring a spatial shape in a cross-section based on a predetermined direction of the unmanned aerial vehicle and generating cross-section measurement data, a cross-section measurement data acquisition unit for acquiring the cross-section measurement data measured by the cross-section measurement device when the unmanned aerial vehicle flies through the interior space of a structure extending laterally along a predetermined path, and an optical cross-section position/attitude estimation unit for matching the cross-section measurement data acquired by the cross-section measurement data acquisition unit with a second predetermined shape and estimating the cross-section position and/or attitude of the unmanned aerial vehicle based on the self-location and/or attitude relative to the matched second predetermined shape.

本発明の一態様は、第２の所定形状は、線分状であることができる。In one aspect of the present invention, the second predetermined shape may be a line segment.

本発明の一態様は、上記の自己位置推定システムと、自己位置推定システムにより推定された自己位置に基づき、設定された飛行計画経路に沿って無人航空機を飛行させる飛行制御部と、を含む、無人航空機の飛行制御システムを提供する。One aspect of the present invention provides a flight control system for an unmanned aircraft, including the self-location estimation system described above, and a flight control unit that flies the unmanned aircraft along a set flight plan route based on the self-location estimated by the self-location estimation system.

本発明の一態様は、上記の自己位置推定システムと、自己位置推定システムにより推定された横断面内位置及び／又は姿勢に基づき、設定された飛行計画経路に沿って無人航空機を飛行させる飛行制御部と、を含む、無人航空機の飛行制御システムを提供する。One aspect of the present invention provides a flight control system for an unmanned aircraft, including the above-mentioned self-localization estimation system and a flight control unit that flies the unmanned aircraft along a set flight plan route based on the in-transverse plane position and/or attitude estimated by the self-localization estimation system.

本発明の一態様は、上記の自己位置推定システムを有する、無人航空機を提供する。One aspect of the present invention provides an unmanned aerial vehicle having the above-described self-location estimation system.

本発明の一態様は、上記の飛行制御システムを有する、無人航空機を提供する。One aspect of the present invention provides an unmanned aerial vehicle having the above-described flight control system.

本発明の一態様は、無人航空機の自己位置をコンピュータにより推定する方法であって、無人航空機の飛行経路を横切る方向の縦断面内の空間形状を測定し、縦断面測定データを生成する縦断面測定装置から、無人航空機が横方向に所定の経路に沿って延びる構造物の内部空間を飛行するときに、縦断面測定データを取得する縦断面測定データ取得ステップと、縦断面測定データ取得ステップにおいて取得した縦断面測定データに、第１の所定形状をマッチングし、マッチングした所定形状に対する自己位置に基づき、縦断面内における無人航空機の縦断面内位置を推定する縦断面内位置推定ステップと、を含む、自己位置推定方法を提供する。One aspect of the present invention provides a method for estimating the self-position of an unmanned aerial vehicle using a computer, the method including: a longitudinal section measurement data acquisition step of acquiring longitudinal section measurement data from a longitudinal section measurement device that measures the spatial shape within a longitudinal section in a direction transverse to the flight path of the unmanned aerial vehicle and generates longitudinal section measurement data when the unmanned aerial vehicle flies through the interior space of a structure extending laterally along a predetermined path; and a longitudinal section position estimation step of matching a first predetermined shape to the longitudinal section measurement data acquired in the longitudinal section measurement data acquisition step, and estimating the position of the unmanned aerial vehicle within the longitudinal section within the longitudinal section based on the self-position relative to the matched predetermined shape.

本発明の一態様は、無人航空機の自己位置をコンピュータにより推定する方法であって、無人航空機の所定の方向を基準とした横断面内の空間形状を測定し、横断面測定データを生成する横断面測定装置から、無人航空機が、横方向に所定の経路に沿って延びる構造物の内部空間を飛行するときに、横断面測定データを取得する横断面測定データ取得ステップと、横断面測定データ取得ステップにおいて取得した横断面測定データに、第２の所定形状をマッチングし、マッチングした第２の所定形状に対する自己位置及び／又は姿勢に基づき、無人航空機の横方向位置及び／又は姿勢を推定する横断面内位置／姿勢推定ステップと、を含む、自己位置推定方法を提供する。One aspect of the present invention provides a method for estimating the self-position of an unmanned aerial vehicle using a computer, the method including: a cross-sectional measurement data acquisition step of acquiring cross-sectional measurement data from a cross-sectional measurement device that measures a spatial shape in a cross-section based on a predetermined direction of the unmanned aerial vehicle and generates cross-sectional measurement data when the unmanned aerial vehicle flies through the interior space of a structure extending laterally along a predetermined path; and a cross-sectional position/attitude estimation step of matching a second predetermined shape to the cross-sectional measurement data acquired in the cross-sectional measurement data acquisition step, and estimating the lateral position and/or attitude of the unmanned aerial vehicle based on its self-position and/or attitude relative to the matched second predetermined shape.

本発明の一態様は、上記の方法をコンピュータに実行させるためのプログラムを提供する。One aspect of the present invention provides a program for causing a computer to execute the above method.

本発明の一態様は、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。One aspect of the present invention provides a computer-readable recording medium having the above-mentioned program recorded thereon.

本発明によれば、本発明は、無人航空機がトンネルなどの構造物の内部空間内の自律飛行を行う場合に、無人航空機の位置を推定するためのシステム及び方法を提供することができる。According to the present invention, the present invention can provide a system and method for estimating the position of an unmanned aerial vehicle when the unmanned aerial vehicle is flying autonomously within the interior space of a structure such as a tunnel.

本発明の一実施形態に係る無人航空機（マルチコプタ）の一例であるマルチコプタの外観図である。1 is an external view of a multicopter, which is an example of an unmanned aerial vehicle (multicopter) according to one embodiment of the present invention. FIG.図１に示す無人航空機の飛行制御システムを示す図である。FIG. 2 is a diagram showing a flight control system for the unmanned aerial vehicle shown in FIG. 1 .図１に示す無人航空機の情報処理ユニットの構成を示すブロック図である。2 is a block diagram showing the configuration of an information processing unit of the unmanned aerial vehicle shown in FIG. 1 .図１に示す無人航空機の情報処理ユニットの情報処理ユニットのハードウェア構成を示す図である。2 is a diagram illustrating a hardware configuration of an information processing unit of the unmanned aerial vehicle illustrated in FIG. 1 .本発明の一実施形態におけるトンネル及び飛行計画経路を示すトンネル幅方向の鉛直断面図である。2 is a vertical cross-sectional view in the tunnel width direction showing a tunnel and a flight plan route in one embodiment of the present invention. FIG.本発明の一実施形態におけるトンネル及び飛行計画経路を示す上面図である。FIG. 2 is a top view illustrating a tunnel and a flight plan path in one embodiment of the present invention.本発明の一実施形態におけるトンネル及び飛行計画経路を示す、図５ＡにおけるＣ－Ｃ断面図である。5B is a cross-sectional view taken along line CC in FIG. 5A, showing a tunnel and a flight plan path in one embodiment of the present invention.縦断面内における無人航空機の縦断面内位置を推定する方法を説明するための図である。13 is a diagram for explaining a method for estimating the position of an unmanned aerial vehicle within a longitudinal section. FIG.横断面内における無人航空機の横断面内位置及びヘディングを推定する方法を説明するための図である。13 is a diagram illustrating a method for estimating the cross-sectional position and heading of an unmanned aerial vehicle within a cross-sectional plane. FIG.図１に示す無人航空機によりトンネルの内を自律飛行し、トンネル内壁面を撮影する流れを示すフローチャートである。4 is a flowchart showing a process for autonomously flying the unmanned aerial vehicle shown in FIG. 1 inside a tunnel and photographing the inner wall surface of the tunnel.図１に示す無人航空機により自律飛行を行う流れを詳細に示すフローチャートである。2 is a flowchart showing in detail a flow of autonomous flight by the unmanned aerial vehicle shown in FIG. 1 .横断面においてトンネルの経路が湾曲している場合の直線のマッチングの様子を示す図である。13 is a diagram showing how straight lines are matched when the tunnel path is curved in cross section. FIG.突起する部位や引っ込んだ部位があるトンネルの内壁面の縦断面を示す図である。FIG. 2 is a diagram showing a longitudinal cross section of the inner wall of a tunnel having protruding and recessed portions.上部が半円形であり、下部が矩形状であるトンネルの縦断面を示す図である。FIG. 2 shows a longitudinal section of a tunnel with a semicircular upper section and a rectangular lower section.

以下、本発明の実施形態について図面を参照して説明する。ただし、本発明は以下に説明する具体的態様に限定されるわけではなく、本発明の技術思想の範囲内で種々の態様を取り得る。例えば、本発明の無人航空機は、図１に示すマルチコプタに限らず、回転翼機、固定翼機等、任意の無人航空機であってもよい。また、無人航空機１のシステム構成も、図に示されるものに限らず同様の動作が可能であれば任意の構成を取ることができる。例えば通信回路の機能を飛行制御部に統合する等、複数の構成要素が実行する動作を単独の構成要素により実行してもよいし、あるいは主演算部の機能を複数の演算部に分散する等、単独の構成要素が実行する動作を複数の構成要素により実行してもよい。また、無人航空機１のメモリ内に記憶される各種データは、それとは別の場所に記憶されていてもよいし、各種メモリに記録される情報も、１種類の情報を複数の種類に分散して記憶してもよいし、複数の種類の情報を１種類にまとめて記憶してもよい。The following describes an embodiment of the present invention with reference to the drawings. However, the present invention is not limited to the specific aspects described below, and various aspects can be taken within the scope of the technical concept of the present invention. For example, the unmanned aerial vehicle of the present invention is not limited to the multicopter shown in FIG. 1, but may be any unmanned aerial vehicle such as a rotorcraft or fixed-wing aircraft. The system configuration of the unmannedaerial vehicle 1 is also not limited to that shown in the figure, and may be any configuration as long as it is capable of similar operation. For example, the operation performed by multiple components may be performed by a single component, such as integrating the function of the communication circuit into the flight control unit, or the operation performed by a single component may be performed by multiple components, such as distributing the function of the main calculation unit to multiple calculation units. In addition, the various data stored in the memory of the unmannedaerial vehicle 1 may be stored in a different location, and the information recorded in the various memories may be stored by distributing one type of information to multiple types, or multiple types of information may be stored together in one type.

以下の説明では、水平方向に延びるトンネル内を無人航空機により自律飛行し、トンネルの内壁面について撮像する場合について説明する。トンネルの形状については、設計図などにより既知であり、本実施形態では、トンネル内の内部空間が、垂直断面（縦断面）における内面形状が半円状であり、同断面で水平方向（横方向）に延びるような形状である。The following explanation describes a case where an unmanned aerial vehicle autonomously flies inside a horizontally extending tunnel and captures images of the tunnel's inner wall surface. The shape of the tunnel is known from blueprints, etc., and in this embodiment, the internal space within the tunnel has a semicircular inner shape in a vertical cross section (longitudinal cross section) and extends horizontally (laterally) on the same cross section.

図１は、本発明の一実施形態に係る無人航空機（マルチコプタ）１の一例であるマルチコプタの外観図である。無人航空機１は、外観に関しては、制御ユニット１０１と、制御ユニット１０１からの制御信号により駆動される６つのモータ１０２と、各々のモータ１０２の駆動により回転して揚力を発生させる６つのロータ（回転翼）１０３と、制御ユニット１０１と各々のモータ１０２とを接続する６つのアーム１０４と、着陸時に無人航空機を支える着陸脚１０５とを備える。モータ１０２、ロータ１０３、及びアーム１０４の数は、それぞれ、３、４などのような３以上の数とすることもできる。制御ユニット１０１からの制御信号により６つのモータ１０２が回転させられ、それにより６つのロータ１０３の各々の回転数を制御することにより、上昇、下降、前後左右への飛行、旋回等、無人航空機１の飛行が制御される。1 is an external view of a multicopter, which is an example of an unmanned aerial vehicle (multicopter) 1 according to an embodiment of the present invention. With regard to the external appearance, the unmannedaerial vehicle 1 includes acontrol unit 101, sixmotors 102 driven by control signals from thecontrol unit 101, six rotors (rotating wings) 103 that rotate and generate lift when driven by each of themotors 102, sixarms 104 connecting thecontrol unit 101 and each of themotors 102, andlanding legs 105 that support the unmanned aerial vehicle when landing. The number ofmotors 102,rotors 103, andarms 104 can each be three or more, such as three or four. The sixmotors 102 are rotated by control signals from thecontrol unit 101, and the rotation speed of each of the sixrotors 103 is controlled to control the flight of the unmannedaerial vehicle 1, such as ascent, descent, forward/backward/left/right flight, and turning.

また、制御ユニット１０１の上方には台座１０６が取り付けられている。そして、高解像度で対象物を撮影するための第１のカメラ１０８が、第１のカメラ１０８を回転可能に支持する支持部材１０７を介して台座１０６に取り付けられている。In addition, abase 106 is attached above thecontrol unit 101. Afirst camera 108 for photographing an object at high resolution is attached to thebase 106 via asupport member 107 that rotatably supports thefirst camera 108.

また、台座１０６の前方には水平断面（横断面）について周辺空間の形状を測定するための横断面測定装置（水平断面ＬＩＤＡＲ）１１１が設けられている。横断面測定装置１１１は、本実施形態では、水平断面ＬＩＤＡＲであり、無人航空機１が着地又はホバリングしている状態で水平面内において、鉛直軸周りに全周にわたって所定の角度間隔でパルスレーザを照射し、周辺空間の物体に当たって反射されたレーザを受光することにより、照射から受光までの時間に基づき周辺空間の物体までの距離を測定することができる。トンネル内で無人航空機１が飛行した状態で横断面測定装置１１１を駆動することにより、横断面測定装置１１１は、トンネルの内壁面（トンネル内部空間の形状）の水平断面形状（横断面形状）に関する横断面測定データを生成する。横断面測定データとしては、例えば、無人航空機の前方を基準とした極座標の離散データである。なお、本実施形態では、横断面測定装置１１１として、水平断面ＬＩＤＡＲを用いているが、本発明はこれに限定されない。例えば、無人航空機を中心として横断面全周を可視光カメラにより撮像し、撮像した画像を統合し、３Ｄモデルを作成することにより、横断面内のトンネルの内壁面の形状を測定するとともに、横断面内の自己位置を推定することができる。このような３Ｄモデルを作成するためのアルゴリズムとしては、ＳｆＭが知られており、また、ＳｆＭを使用して自己位置を推定するアルゴリズムとしてはＤｅｎｓｅ Ｖｉｓｕａｌ ＳＬＡＭが知られている。In addition, a cross-section measuring device (horizontal section LIDAR) 111 for measuring the shape of the surrounding space in a horizontal section (cross section) is provided in front of thebase 106. In this embodiment, thecross-section measuring device 111 is a horizontal section LIDAR, and when the unmannedaerial vehicle 1 is landing or hovering, a pulse laser is irradiated at a predetermined angular interval around the entire circumference around the vertical axis in a horizontal plane, and the laser reflected by an object in the surrounding space is received, so that the distance to the object in the surrounding space can be measured based on the time from irradiation to reception. By driving thecross-section measuring device 111 while the unmannedaerial vehicle 1 is flying in the tunnel, thecross-section measuring device 111 generates cross-section measurement data regarding the horizontal cross-sectional shape (cross-sectional shape) of the inner wall surface of the tunnel (shape of the tunnel inner space). The cross-section measurement data is, for example, discrete data in polar coordinates based on the front of the unmanned aerial vehicle. In this embodiment, a horizontal section LIDAR is used as thecross-section measuring device 111, but the present invention is not limited to this. For example, by capturing images of the entire cross section with the unmanned aerial vehicle at the center using a visible light camera, and integrating the captured images to create a 3D model, it is possible to measure the shape of the inner wall surface of the tunnel within the cross section and estimate the vehicle's own position within the cross section. SfM is a known algorithm for creating such a 3D model, and Dense Visual SLAM is a known algorithm for estimating the vehicle's own position using SfM.

また、制御ユニット１０１の下方には架台１１０が取り付けられている。そして、架台１１０の下方には、前方には後述のＶｉｓｕａｌ ＳＬＡＭ処理を行うための対象物の画像を撮影するための第２のカメラ（撮像装置）１０９が下方に向けて取り付けられている。Astand 110 is attached below thecontrol unit 101. A second camera (imaging device) 109 is attached below thestand 110 facing downwards at the front for capturing an image of an object for performing the Visual SLAM processing described below.

また、架台１１０の前方には中心軸に垂直な垂直断面について周辺空間の形状を測定するための縦断面測定装置（垂直断面ＬＩＤＡＲ）１１２が設けられている。縦断面測定装置１１２は、本実施形態では、垂直断面ＬＩＤＡＲであり、無人航空機１が着地又はホバリングしている状態で、無人航空機１の前後方向に鉛直な断面内において、前後方向に延びる水平軸周りに全周にわたって所定の角度間隔でパルスレーザを照射し、周辺空間の物体に当たって反射されたレーザを受光することにより、照射から受信までの時間に基づき周辺空間の物体までの距離を測定する。トンネル内で無人航空機１が飛行した状態で縦断面測定装置１１２を駆動することにより、縦断面測定装置１１２は、トンネルの内壁面の鉛直断面形状（縦断面形状）に関する縦断面測定データを生成する。縦断面測定データとしては、例えば、極座標の離散データが得られる。なお、本実施形態では、縦断面測定装置１１２として、垂直断面ＬＩＤＡＲを用いているが本発明はこれに限定されない。例えば、無人航空機を中心として縦断面全周を可視光カメラにより撮像し、撮像した画像を統合し、３Ｄモデルを作成することにより、縦断面内のトンネルの内壁面の形状を測定するとともに、縦断面内の自己位置を推定することができる。このような３Ｄモデルを作成するためのアルゴリズムとしては、ＳｆＭが知られており、また、ＳｆＭを使用して自己位置を推定するアルゴリズムとしてはＤｅｎｓｅ Ｖｉｓｕａｌ ＳＬＡＭが知られている。 また、無人航空機１は、アンテナ１１７も有している。In addition, a vertical section measuring device (vertical section LIDAR) 112 for measuring the shape of the surrounding space in a vertical section perpendicular to the central axis is provided in front of thestand 110. In this embodiment, the verticalsection measuring device 112 is a vertical section LIDAR, and when the unmannedaerial vehicle 1 is on the ground or hovering, a pulse laser is irradiated at a predetermined angular interval around the entire circumference around a horizontal axis extending in the front-rear direction in a vertical section in the front-rear direction of the unmannedaerial vehicle 1, and the laser reflected by an object in the surrounding space is received, thereby measuring the distance to the object in the surrounding space based on the time from irradiation to reception. By driving the verticalsection measuring device 112 while the unmannedaerial vehicle 1 is flying in the tunnel, the verticalsection measuring device 112 generates vertical section measurement data regarding the vertical section shape (vertical section shape) of the inner wall surface of the tunnel. As the vertical section measurement data, for example, discrete data in polar coordinates is obtained. In this embodiment, a vertical section LIDAR is used as the verticalsection measuring device 112, but the present invention is not limited to this. For example, the unmannedaerial vehicle 1 can be imaged by a visible light camera around the entire circumference of the vertical section, and the images can be integrated to create a 3D model, thereby measuring the shape of the inner wall of the tunnel in the vertical section and estimating the vehicle's own position in the vertical section. SfM is a known algorithm for creating such a 3D model, and Dense Visual SLAM is a known algorithm for estimating the vehicle's own position using SfM. The unmannedaerial vehicle 1 also has anantenna 117.

図２は、図１に示す無人航空機の飛行制御システムを示す図である。無人航空機１の飛行制御システム２００は、制御ユニット１０１、制御ユニット１０１に電気的に接続されたモータ１０２、モータ１０２に機械的に接続されたロータ１０３、第１のカメラ１０８、第２のカメラ１０９、縦断面測定装置１１２、及び、横断面測定装置１１１を有する。Figure 2 is a diagram showing the flight control system of the unmanned aerial vehicle shown in Figure 1. Theflight control system 200 of the unmannedaerial vehicle 1 has acontrol unit 101, amotor 102 electrically connected to thecontrol unit 101, arotor 103 mechanically connected to themotor 102, afirst camera 108, asecond camera 109, a longitudinalsection measuring device 112, and a transversesection measuring device 111.

制御ユニット１０１は、無人航空機１の飛行制御を行うための情報処理や、そのための電気信号の制御を行うための構成であり、典型的には基板上に各種の電子部品を配置して配線することによってそのような機能の実現に必要な回路を構成したユニットである。制御ユニット１０１は、さらに、情報処理ユニット１２０、通信回路１２１、制御信号生成部１２２、スピードコントローラ１２３、インターフェイス１２５から構成される。Thecontrol unit 101 is configured to process information for flight control of the unmannedaerial vehicle 1 and control the electrical signals for that purpose, and is typically a unit configured with the circuits required to realize such functions by arranging and wiring various electronic components on a board. Thecontrol unit 101 is further composed of aninformation processing unit 120, acommunication circuit 121, a controlsignal generation unit 122, aspeed controller 123, and aninterface 125.

第１のカメラ１０８は、高解像度で対象物（本実施形態では、トンネルの内壁）を撮像するためのカメラである。第１のカメラ１０８は、第１のカメラ１０８を回転可能に支持する支持部材１０７を介して台座１０６に取り付けられていて、これにより撮像方向を変えることができるようになっている。第１のカメラ１０８は、無人航空機１の飛行中、それの撮影範囲の画像のデータを取得し、取得された画像は、後述のメモリなどの記憶装置に記憶される。画像は、典型的には一連の静止画像からなる動画の画像である。Thefirst camera 108 is a camera for capturing images of an object (in this embodiment, the inner wall of a tunnel) at high resolution. Thefirst camera 108 is attached to thebase 106 via asupport member 107 that rotatably supports thefirst camera 108, making it possible to change the imaging direction. Thefirst camera 108 acquires image data of its imaging range while the unmannedaerial vehicle 1 is flying, and the acquired images are stored in a storage device such as a memory described below. The images are typically video images consisting of a series of still images.

第２のカメラ１０９は、後述のＶｉｓｕａｌ ＳＬＡＭ処理を行うための対象物の画像を撮影するためのカメラであり、架台１１０に下方を向くように取り付けられている。Ｖｉｓｕａｌ ＳＬＡＭ処理の負荷を低減するために、低解像度での撮像を行う第２のカメラ１０９が、第１のカメラ１０８とは別個に設けられている。第２のカメラ１０９は、無人航空機１の飛行中、それの撮影範囲の画像のデータを取得する。撮影範囲は、連続するように設定されえている。取得された画像は、情報処理ユニット１２０のメモリに記憶される。画像は、典型的には一連の静止画像からなる動画の画像である。Thesecond camera 109 is a camera for capturing images of an object for performing the Visual SLAM processing described below, and is attached to themount 110 facing downward. In order to reduce the load of the Visual SLAM processing, thesecond camera 109, which captures images at a low resolution, is provided separately from thefirst camera 108. Thesecond camera 109 acquires image data of its capture range while the unmannedaerial vehicle 1 is flying. The capture range is set to be continuous. The acquired images are stored in the memory of theinformation processing unit 120. The images are typically video images consisting of a series of still images.

アンテナ１１７は、無人航空機１を操縦したり制御するための情報や各種データを含む無線信号を受信したり、テレメトリ信号を含む無線信号を無人航空機１から送信するための空中線である。Antenna 117 is an aerial for receiving radio signals including information and various data for piloting and controlling unmannedaerial vehicle 1, and for transmitting radio signals including telemetry signals from unmannedaerial vehicle 1.

通信回路１２１は、アンテナ１１７を通じて受信した無線信号から、無人航空機１のための操縦信号、制御信号や各種データなどを復調して情報処理ユニット１２０に入力したり、無人航空機１から出力されるテレメトリ信号などを搬送する無線信号を生成するための電子回路であり、典型的には無線信号処理ＩＣである。なお、例えば、操縦信号の通信と、制御信号、各種データの通信とを別の周波数帯の異なる通信回路で実行するようにしてもよい。例えば、手動での操縦を行うためのコントローラ（プロポ）の送信器と９５０ＭＨｚ帯の周波数で通信し、データ通信を２ＧＨｚ帯／１．７ＧＨｚ帯／１．５ＧＨｚ帯／８００ＭＨｚ帯の周波数で通信するような構成を採ることも可能である。Thecommunication circuit 121 is an electronic circuit, typically a wireless signal processing IC, for demodulating the wireless signals received through theantenna 117 to input the control signals, control signals, and various data for the unmannedaerial vehicle 1 to theinformation processing unit 120, and for generating wireless signals for carrying telemetry signals output from the unmannedaerial vehicle 1. For example, the communication of the control signals and the communication of the control signals and various data may be performed by different communication circuits in different frequency bands. For example, it is possible to adopt a configuration in which communication with the transmitter of the controller (radio control) for manual operation is performed at a frequency of 950 MHz, and data communication is performed at frequencies of 2 GHz, 1.7 GHz, 1.5 GHz, and 800 MHz.

制御信号生成部１２２は、情報処理ユニット１２０によって演算により得られた制御指令値データを、電圧を表わすパルス信号（ＰＷＭ信号など）に変換する構成であり、典型的には、発振回路とスイッチング回路を含むＩＣである。スピードコントローラ１２３は、制御信号生成部１２２からのパルス信号を、モータ１０２を駆動する駆動電圧に変換する構成であり、典型的には、平滑回路とアナログ増幅器である。図示していないが、無人航空機１は、リチウムポリマーバッテリやリチウムイオンバッテリ等のバッテリデバイスや各要素への配電系を含む電源系を備えている。The controlsignal generating unit 122 is configured to convert the control command value data obtained by calculation by theinformation processing unit 120 into a pulse signal (such as a PWM signal) representing a voltage, and is typically an IC including an oscillator circuit and a switching circuit. Thespeed controller 123 is configured to convert the pulse signal from the controlsignal generating unit 122 into a drive voltage that drives themotor 102, and is typically a smoothing circuit and an analog amplifier. Although not shown, the unmannedaerial vehicle 1 is equipped with a power supply system including a battery device such as a lithium polymer battery or a lithium ion battery, and a power distribution system to each element.

インターフェイス１２５は、情報処理ユニット１２０と第１のカメラ１０８、第２のカメラ１０９、縦断面測定装置１１２、及び横断面測定装置１１１などの機能要素との間で信号の送受信ができるように信号の形態を変換することにより、それらを電気的に接続する構成である。なお、説明の都合上、図面においてインターフェイスは１つの構成として記載しているが、接続対象の機能要素の種類によって別のインターフェイスを使用することが通常である。また、接続対象の機能要素が入出力する信号の種類によってはインターフェイス１２５が不要な場合もある。また、図２において、インターフェイス１２５が媒介せずに接続されている情報処理ユニット１２０であっても、接続対象の機能要素が入出力する信号の種類によってはインターフェイスが必要となる場合もある。Theinterface 125 is a configuration that electrically connects theinformation processing unit 120 to functional elements such as thefirst camera 108, thesecond camera 109, the longitudinalsection measuring device 112, and the transversesection measuring device 111 by converting the form of signals so that signals can be transmitted and received between them. For convenience of explanation, the interface is shown as one configuration in the drawings, but it is normal to use a different interface depending on the type of functional element to be connected. Also, depending on the type of signal input/output of the functional element to be connected, theinterface 125 may not be necessary. Even if theinformation processing unit 120 in FIG. 2 is connected without theinterface 125, an interface may be required depending on the type of signal input/output of the functional element to be connected.

図３は、図１に示す無人航空機の情報処理ユニットの構成を示すブロック図である。図３に示すように、情報処理ユニット１２０は、断面形状データ記憶部１３０と、飛行経路データ記憶部１３１と、画像横方向位置推定部１３２と、光学縦断面内位置推定部１３３と、光学横断面内位置／姿勢推定部１３４と、自己位置データ生成部１３５と、飛行制御部１３６と、撮像画像取得部１３７と、縦断面測定データ取得部１３８と、横断面測定データ取得部１３９と、を含む。本実施形態では、断面形状データ記憶部１３０と、画像横方向位置推定部１３２と、光学縦断面内位置推定部１３３と、光学横断面内位置／姿勢推定部１３４と、自己位置データ生成部１３５と、撮像画像取得部１３７と、縦断面測定データ取得部１３８と、横断面測定データ取得部１３９と、により無人航空機の自己位置に関する自己位置データを生成する自己位置推定システム１４０が構成される。Figure 3 is a block diagram showing the configuration of the information processing unit of the unmanned aerial vehicle shown in Figure 1. As shown in Figure 3, theinformation processing unit 120 includes a cross-sectional shapedata storage unit 130, a flight pathdata storage unit 131, an image lateralposition estimation unit 132, an optical longitudinal sectionposition estimation unit 133, an optical transverse section position/attitude estimation unit 134, a self-positiondata generation unit 135, aflight control unit 136, a capturedimage acquisition unit 137, a longitudinal section measurementdata acquisition unit 138, and a transverse section measurementdata acquisition unit 139. In this embodiment, a self-position estimation system 140 that generates self-position data regarding the self-position of the unmanned aerial vehicle is constituted by a cross-sectional shapedata memory unit 130, an image lateralposition estimation unit 132, an optical vertical sectionposition estimation unit 133, an optical cross section position/attitude estimation unit 134, a self-positiondata generation unit 135, a capturedimage acquisition unit 137, a vertical section measurementdata acquisition unit 138, and a cross section measurementdata acquisition unit 139.

図４は、図１に示す無人航空機の情報処理ユニットのハードウェア構成を示す図である。情報処理ユニット１２０は、ＣＰＵ１２０ａと、ＲＡＭ１２０ｂと、ＲＯＭ１２０ｃと、外部メモリ１２０ｄと、入力部１２０ｅと、出力部１２０ｆと、通信部１２０ｇとを含む。ＲＡＭ１２０ｂ、ＲＯＭ１２０ｃ、外部メモリ１２０ｄ、入力部１２０ｅ、出力部１２０ｆ、及び、通信部１２０ｇはバス１２０ｈを介してＣＰＵ１２０ａに接続されている。Figure 4 is a diagram showing the hardware configuration of the information processing unit of the unmanned aerial vehicle shown in Figure 1. Theinformation processing unit 120 includes aCPU 120a, aRAM 120b, aROM 120c, anexternal memory 120d, aninput unit 120e, anoutput unit 120f, and acommunication unit 120g. TheRAM 120b, theROM 120c, theexternal memory 120d, theinput unit 120e, theoutput unit 120f, and thecommunication unit 120g are connected to theCPU 120a via abus 120h.

ＣＰＵ１２０ａは、システムバス１２０ｈに接続される各デバイスを統括的に制御する。
ＲＯＭ１２０ｃや外部メモリには、ＣＰＵ１２０ａの制御プログラムであるＢＩＯＳやＯＳ、コンピュータが実行する機能を実現するために必要な各種プログラムやデータ等が記憶されている。 TheCPU 120a comprehensively controls each device connected to asystem bus 120h.
TheROM 120c and the external memory store the BIOS and OS, which are control programs for theCPU 120a, as well as various programs and data necessary to realize the functions executed by the computer.

ＲＡＭ１２０ｂは、ＣＰＵ１２０ａの主メモリや作業領域等として機能する。ＣＰＵ１２０ａは、処理の実行に際して必要なプログラム等をＲＯＭ１２０ｃや外部メモリ１２０ｄからＲＡＭ１２０ｂにロードして、ロードしたプログラムを実行することで各種動作を実現する。
外部メモリ１２０ｄは、例えば、フラッシュメモリ、ハードディスク、ＤＶＤ－ＲＡＭ、ＵＳＢメモリ等から構成される。 TheRAM 120b functions as a main memory, a working area, etc. for theCPU 120a. TheCPU 120a loads programs and the like required for executing processes from theROM 120c or theexternal memory 120d into theRAM 120b, and executes the loaded programs to realize various operations.
Theexternal memory 120d is composed of, for example, a flash memory, a hard disk, a DVD-RAM, a USB memory, or the like.

入力部１２０ｅは、ユーザ等から操作指示等を受け付ける。入力部１２０ｅは、例えば、入力ボタン、キーボード、ポインティングデバイス、ワイヤレスリモコン、マイクロフォン、カメラ等の入力デバイスから構成される。Theinput unit 120e receives operation instructions, etc. from a user, etc. Theinput unit 120e is composed of input devices such as, for example, an input button, a keyboard, a pointing device, a wireless remote control, a microphone, and a camera.

出力部１２０ｆは、ＣＰＵ１２０ａで処理されるデータや、ＲＡＭ１２０ｂ、ＲＯＭ１２０ｃや外部メモリ１２０ｄに記憶されるデータを出力する。出力部１２０ｆは、例えば、ＣＲＴディスプレイ、ＬＣＤ、有機ＥＬパネル、プリンタ、スピーカ当の出力デバイスから構成される。Theoutput unit 120f outputs data processed by theCPU 120a and data stored in theRAM 120b, theROM 120c, and theexternal memory 120d. Theoutput unit 120f is composed of output devices such as a CRT display, an LCD, an organic EL panel, a printer, and a speaker.

通信部１２０ｇは、ネットワークを介して、又は、直接外部機器と接続・通信するためのインターフェイスである。通信部１２０ｇは、例えば、シリアルインタフェース、ＬＡＮインターフェイス等のインターフェイスから構成される。Thecommunication unit 120g is an interface for connecting and communicating with an external device via a network or directly. Thecommunication unit 120g is composed of interfaces such as a serial interface and a LAN interface.

図２、３に示される飛行制御システム及び位置推定システムの各部１２１、１２２、１２５、１３０～１３９は、ＲＯＭ１２０ｃや外部メモリ１２０ｄに記憶された各種プログラムが、ＣＰＵ１２０ａ、ＲＡＭ１２０ｂ、ＲＯＭ１２０ｃ、外部メモリ１２０ｄ、入力部１２０ｅ、出力部１２０ｆ、通信部１２０ｇ等を資源として使用することで実現される。Thevarious parts 121, 122, 125, 130 to 139 of the flight control system and position estimation system shown in Figures 2 and 3 are realized by various programs stored inROM 120c andexternal memory 120d using theCPU 120a,RAM 120b,ROM 120c,external memory 120d,input section 120e,output section 120f,communication section 120g, etc. as resources.

断面形状データ記憶部１３０は、トンネルの内壁面の断面騎乗に関する断面形状データを記憶する。また、飛行経路データ記憶部１３１は、飛行計画経路データを記憶する。断面形状データ記憶部１３０及び飛行経路データ記憶部１３１は、ＲＯＭ１２０ｃや外部メモリ１２０ｄなどの記録媒体に記録されたデータを読み取り、メモリが記憶することにより実現される。なお、断面形状データ記憶部１３０及び飛行経路データ記憶部１３１は、断面形状データ及び飛行計画経路データをプログラムに組み込むことにより省略することも可能である。The cross-sectional shapedata storage unit 130 stores cross-sectional shape data relating to the cross-sectional shape of the inner wall surface of the tunnel. The flight pathdata storage unit 131 stores flight plan route data. The cross-sectional shapedata storage unit 130 and the flight pathdata storage unit 131 are realized by reading data recorded on a recording medium such as theROM 120c or theexternal memory 120d, and storing the data in the memory. The cross-sectional shapedata storage unit 130 and the flight pathdata storage unit 131 can also be omitted by incorporating the cross-sectional shape data and the flight plan route data into the program.

本実施形態では、情報処理ユニット１２０を自己位置推定システム及び飛行制御システムとして機能させているが、情報処理ユニット１２０とは別個にこれらシステムを搭載する等して無人航空機に備えられる構成としてもよい。また、自己位置推定システム及び飛行制御システム又はその構成要素は、１つの物理的な装置として構成される必要はなく、複数の物理的な装置から構成されてもよい。また、自己位置推定システム及び飛行制御システムを、無人航空機とは別体の地上局のコンピュータ、ＰＣ、スマートフォン、タブレット端末等の任意の適切な装置、クラウド・コンピューティングシステム、又はそれらの組み合わせ等として構成してもよい。また、自己位置推定システム及び飛行制御システムの各部の機能は、無人航空機が備える１つ又は複数の装置及び無人航空機とは別体の１つ又は複数の装置のうちのいずれか１つで又は複数で分散して実行される構成としてもよい。In this embodiment, theinformation processing unit 120 functions as a self-location estimation system and a flight control system, but these systems may be installed separately from theinformation processing unit 120 and configured to be provided in the unmanned aerial vehicle. In addition, the self-location estimation system and the flight control system or their components do not need to be configured as one physical device, and may be configured as multiple physical devices. In addition, the self-location estimation system and the flight control system may be configured as any appropriate device such as a ground station computer, a PC, a smartphone, a tablet terminal, etc. separate from the unmanned aerial vehicle, a cloud computing system, or a combination thereof. In addition, the functions of each part of the self-location estimation system and the flight control system may be configured to be executed in a distributed manner in one or more of one or more devices provided in the unmanned aerial vehicle and one or more devices separate from the unmanned aerial vehicle.

図５Ａ～図５Ｃは、本発明の一実施形態におけるトンネル及び飛行計画経路を示し、図５Ａはトンネル幅方向の鉛直断面図であり、図５Ｂは上面図、図５Ｃは図５ＡにおけるＣ－Ｃ断面図である。図５Ａ～図５Ｃに示すように、本実施形態では、トンネルの内面の縦断面は半円形であり、同断面形状で直線状に延びている。Figures 5A to 5C show a tunnel and a flight plan route in one embodiment of the present invention, where Figure 5A is a vertical cross-sectional view in the tunnel width direction, Figure 5B is a top view, and Figure 5C is a cross-sectional view taken along line C-C in Figure 5A. As shown in Figures 5A to 5C, in this embodiment, the longitudinal cross-section of the inner surface of the tunnel is semicircular, and extends linearly with the same cross-sectional shape.

このため、既知のトンネルの内壁面３０２の形状を示す断面形状データは、例えば、トンネルの内壁面３０２に対応する、Ｚ²＋Ｙ²＝Ｒ²（Ｚ＞０）で示される半円（中心座標（Ｙ＝０、Ｚ＝０）、かつ、半径Ｒ）と、トンネル底面３０４に対応する、Ｚ＝０（－Ｒ≦Ｙ≦Ｒ）で表される線分（高さＺ＝０及び傾き０）を含んでいる。なお、トンネルの内壁面の形状は、奥行き方向（Ｘ方向）によらず一定であるため、Ｘは上記式には存在しない。本実施形態では、断面形状データは、トンネルの内壁面に対応する第１の幾何学的形状として、円（半円）を示すデータを含んでいるが、これに限らず、トンネルの断面形状に応じて、楕円形などの凸な曲線で構成される形状や、長方形等を示すデータを含んでもよい。また、半円を表すデータは、半径Ｒや中心座標を含んでいるが、円形であるという情報のみであってもよい。また、線分を表すデータは高さ及び傾きを含んでいるが、線分であるという情報のみであってもよい。なお、ここでいう幾何学的形状は、例えば、Ｘ座標、Ｙ座標、Ｚ座標に関する数式により特定することができる形状をいう。なお、断面形状データは、必ずしもトンネルの内壁面の半円の半径を含んでいる必要はなく、また、底面を示す線分に関する情報を含んでいなくてもよい。半円の半径に関する値や、底面に関するデータを含んでいない場合であっても、一部に円形が含まれているという情報が断面形状データに反映されていれば、円によるマッチングを行うことは可能である。さらに、断面形状データは、奥行き方向（Ｘ方向）の形状についても含んでいる必要はない。後述するように、トンネルの奥行き方向の断面形状が不明であっても、壁面に沿った自律飛行は可能である。 For this reason, the cross-sectional shape data indicating the shape of theinner wall surface 302 of the known tunnel includes, for example, a semicircle (center coordinates (Y=0, Z=0) and radius R) represented by Z² +Y² =R² (Z>0) corresponding to theinner wall surface 302 of the tunnel, and a line segment (height Z=0 and inclination 0) represented by Z=0 (-R≦Y≦R) corresponding to thetunnel bottom surface 304. Note that since the shape of the inner wall surface of the tunnel is constant regardless of the depth direction (X direction), X does not exist in the above formula. In this embodiment, the cross-sectional shape data includes data indicating a circle (semicircle) as the first geometric shape corresponding to the inner wall surface of the tunnel, but is not limited to this, and may include data indicating a shape composed of a convex curve such as an ellipse, a rectangle, or the like, depending on the cross-sectional shape of the tunnel. Furthermore, the data indicating the semicircle includes the radius R and the center coordinates, but may only include information that it is a circle. Furthermore, the data indicating the line segment includes the height and inclination, but may only include information that it is a line segment. The geometric shape referred to here refers to a shape that can be specified by a formula related to, for example, X, Y, and Z coordinates. The cross-sectional shape data does not necessarily need to include the radius of the semicircle of the inner wall surface of the tunnel, and does not need to include information on the line segment indicating the bottom surface. Even if the data does not include a value related to the radius of the semicircle or data related to the bottom surface, it is possible to perform matching by a circle as long as the cross-sectional shape data reflects information that a circular shape is included in part. Furthermore, the cross-sectional shape data does not need to include the shape in the depth direction (X direction). As will be described later, even if the cross-sectional shape in the depth direction of the tunnel is unknown, autonomous flight along the wall surface is possible.

飛行計画経路データは、無人航空機１の三次元（Ｘ、Ｙ、Ｚ）の飛行計画経路を表すデータであり、典型的には、飛行計画経路上に存在する一連の複数のウェイポイントＰ₁～Ｐ_4nの集合のデータである。各ウェイポイントＰ₁～Ｐ_4nは、三次元座標（Ｘ、Ｙ、Ｚ）で設定されている。飛行計画経路は、典型的には、それらの複数のウェイポイントを順番に結んだ直線の集合であるが、ウェイポイントの所定範囲内においては所定の曲率の曲線とすることもできる。飛行計画経路データは、複数のウェイポイントにおける飛行速度を定めるデータを含んでいてもよい。飛行計画経路データは、典型的には自律飛行において飛行計画経路を定めるために使用されるが、非自律飛行において飛行時のガイド用として使用することもできる。飛行計画経路データは、典型的には、飛行前に無人航空機１に入力されて記憶される。 The flight plan route data is data representing a three-dimensional (X, Y, Z) flight plan route of the unmannedaerial vehicle 1, and is typically a set of a series of multiple waypoints P₁ to P_4n that exist on the flight plan route. Each waypoint P₁ to P_4n is set in three-dimensional coordinates (X, Y, Z). The flight plan route is typically a set of straight lines that connect the multiple waypoints in order, but can also be a curve with a predetermined curvature within a predetermined range of the waypoints. The flight plan route data may include data that determines the flight speed at the multiple waypoints. The flight plan route data is typically used to determine the flight plan route in an autonomous flight, but can also be used as a guide during flight in a non-autonomous flight. The flight plan route data is typically input to the unmannedaerial vehicle 1 before flight and stored.

なお、本実施形態におけるＸ座標は、必ずしも直線上の座標に限定されない。すなわち、Ｘ座標としては、始点からトンネルの奥行方向に向かうトンネルの経路に沿うような経路における距離としてもよい。In this embodiment, the X coordinate is not necessarily limited to a coordinate on a straight line. In other words, the X coordinate may be the distance along a path of the tunnel from the starting point toward the depth of the tunnel.

本実施形態では、図５Ａ～図５Ｃに示すように、飛行計画経路は、以下の通り設定されている。
－垂直断面（ＹＺ断面）において所定の位置でトンネルの延びる方向（Ｘ方向）に奥に向かって所定の距離移動（ウェイポイントＰ₁～Ｐ_n）、
－垂直断面（ＹＺ断面）内をトンネルの中心と同心円上を図４Ａにおける反時計回りに所定の角度移動（ウェイポイントＰ_n～Ｐ_n+1）、
－垂直断面（ＹＺ断面）において所定の位置でトンネルの延びる方向（Ｘ方向）に手間に向かって所定の距離移動（ウェイポイントＰ_n+1～Ｐ_2n）、
－垂直断面（ＹＺ断面）内をトンネルの中心と同心円上を図４Ａにおける反時計回りに所定の角度移動（ウェイポイントＰ_2n～Ｐ_2n+1）、
－垂直断面（ＹＺ断面）において所定の位置でトンネルの延びる方向（Ｘ方向）に奥に向かって所定の距離移動（ウェイポイントＰ_2n+1～Ｐ_3n）、
－垂直断面（ＹＺ断面）内をトンネルの中心と同心円上を図４Ａにおける反時計回りに所定の角度移動（ウェイポイントＰ_3n～Ｐ_3n+1）、
－垂直断面（ＹＺ断面）において所定の位置でトンネルの延びる方向（Ｘ方向）に手前に向かって所定の距離移動（ウェイポイントＰ_3n+1～Ｐ_4n）
各ウェイポイントＰ₁～Ｐ_4nは、第１のカメラ１０８によりトンネル内壁面を撮影する位置が設定されている。 In this embodiment, as shown in FIGS. 5A to 5C, the flight plan route is set as follows:
- Move a predetermined distance toward the back in the tunnel extension direction (X direction) at a predetermined position on the vertical cross section (YZ cross section) (waypoints P₁ to P_n ),
- Move a predetermined angle counterclockwise in FIG. 4A on a circle concentric with the center of the tunnel in the vertical section (YZ section) (waypoints P_n to P_n+1 ),
- Move a predetermined distance toward the target in the direction of the tunnel extension (X direction) at a predetermined position on the vertical cross section (YZ cross section) (waypoints P_n+1 to P_2n ),
- Move a predetermined angle counterclockwise in FIG. 4A on a circle concentric with the center of the tunnel in the vertical cross section (YZ cross section) (waypoints P_2n to P_2n+1 ),
- Move a predetermined distance toward the back in the direction in which the tunnel extends (X direction) at a predetermined position on the vertical cross section (YZ cross section) (way points P_2n+1 to P_3n ),
- Move a predetermined angle counterclockwise in FIG. 4A on a circle concentric with the center of the tunnel within the vertical cross section (YZ cross section) (waypoints P_3n to P_3n+1 ),
- Move a predetermined distance toward the front in the direction in which the tunnel extends (X direction) at a predetermined position on the vertical cross section (YZ cross section) (way points P_3n+1 to P_4n )
Each of the waypoints P₁ to P_4n is set as a position where thefirst camera 108 photographs the inner wall surface of the tunnel.

撮像画像取得部１３７は、第１のカメラ１０８を制御可能であり、第１のカメラ１０８により連続的に撮像された画像を取得する。
画像横方向位置推定部１３２は、撮像画像取得部１３７により取得された画像に基づき、横方向位置（Ｘ_A，Ｙ_A）を推定する。このような画像横方向位置推定部１３２としては、マップ作成及び自己位置推定を行うＶＳＬＡＭ（Ｖｉｓｕａｌ ＳＬＡＭ）が広く知られている。Ｖｉｓｕａｌ ＳＬＡＭについては、ＭｏｎｏＳＬＡＭやＰＴＡＭ（Ｐａｒａｌｌｅｌ Ｔｒａｃｋｉｎｇ ａｎｄ Ｍａｐｐｉｎｇ等、さまざまなアルゴリズムが開発されている。画像横方向位置推定部１３２は、記録媒体に記録されたＶｉｓｕａｌ ＳＬＡＭなどを実装したプログラムを実行することにより実現される。なお、第２のカメラ１０９としては単眼カメラではなく、ステレオカメラを用いてもよく、この場合も同様の原理でＶｉｓｕａｌ ＳＬＡＭによる自己位置等の推定が可能である。 The capturedimage acquisition unit 137 can control thefirst camera 108 and acquires images continuously captured by thefirst camera 108 .
The image lateralposition estimation unit 132 estimates the lateral position (X_A , Y_A ) based on the image acquired by the capturedimage acquisition unit 137. A widely known example of such an image lateralposition estimation unit 132 is Visual SLAM (VSLAM), which creates a map and estimates the vehicle's own position. Various algorithms have been developed for Visual SLAM, such as MonoSLAM and PTAM (Parallel Tracking and Mapping). The image lateralposition estimation unit 132 is realized by executing a program that implements Visual SLAM or the like, which is recorded on a recording medium. Note that a stereo camera may be used as thesecond camera 109 instead of a monocular camera, and in this case, the vehicle's own position and the like can also be estimated by Visual SLAM using the same principle.

縦断面測定データ取得部１３８は、縦断面測定装置１１２を制御可能であり、縦断面測定装置１１２により取得された縦断面測定データを取得する。光学縦断面内位置推定部１３３は、縦断面測定データ取得部１３８により取得された縦断面測定データと、断面形状データ記憶部１３０に記録された断面形状データとに基づき、縦断面内における無人航空機の縦断面内位置Ａ（Ｙ_B、Ｚ_B）を推定する。図６は、縦断面内における無人航空機の縦断面内位置を推定する方法を説明するための図である。図６に示すように、縦断面測定データは、無人航空機の縦断面測定装置１１２の位置に対して極座標で表される点Ｑ１～Ｑｎ（図６に示す例では、ｎ＝１６）からなる。本実施形態では、光学縦断面内位置推定部１３３は、トンネル底面に対応する第３の所定形状、本実施形態では直線（線分）、をマッチングし、この直線から所定の高さ範囲内に中心が位置するように、トンネル内壁面に対応する第１の所定形状、本実施形態では円（半円）、をマッチングする。なお、円（半円）をマッチングするとは、一部に円形をマッチングするのみならず、当然円弧をマッチングするような場合も含む。 The longitudinal section measurementdata acquisition unit 138 can control the longitudinalsection measurement device 112 and acquires the longitudinal section measurement data acquired by the longitudinalsection measurement device 112. The optical longitudinal sectionposition estimation unit 133 estimates the longitudinal section position A (Y_B , Z B ) of the unmanned aerial vehicle in the longitudinal section based on the longitudinal section measurement data acquired by the longitudinal section measurementdata acquisition unit 138 and the cross-sectional shape data recorded in the cross-sectional shapedata storage unit 130. FIG. 6 is a diagram for explaining a method for estimating the longitudinal section position of the unmanned aerial vehicle in the longitudinal section. As shown in FIG. 6, the longitudinal section measurement data consists of points Q1 to Qn (_n =16 in the example shown in FIG. 6) represented in polar coordinates with respect to the position of the longitudinalsection measurement device 112 of the unmanned aerial vehicle. In this embodiment, the optical longitudinal sectionposition estimating unit 133 matches a third predetermined shape corresponding to the tunnel bottom surface, which in this embodiment is a straight line (line segment), and matches a first predetermined shape corresponding to the tunnel inner wall surface, which in this embodiment is a circle (semicircle), so that the center is located within a predetermined height range from the straight line. Note that matching a circle (semicircle) does not only include matching a part of a circular shape, but also includes matching a circular arc.

具体的には、まず、点Ｑ１～Ｑｎに対して直線をマッチングする。直線マッチングのアルゴリズムとしては、最小二乗法や、ＲＡＮＳＡＣなどを作用することができるが、本実施形態では、外れ値を除外してマッチングを行うＲＡＮＳＡＣなどのアルゴリズムが適している。ＲＡＮＳＡＣにより直線をマッチングする際には、以下のように行う。
ステップ１．まず、離散点Ｑ１～Ｑ１６からランダムに２点（又はそれ以上の点）を選択する。
ステップ２．ステップ１で決定した２点を通る暫定の直線モデルを導出する。なお、ステップ１で３点以上を選択した場合には最小二乗法などで決定すればよい。
ステップ３．得られた直線モデルと、離散点Ｑ１～Ｑ１６との誤差を求める。誤差が所定値よりも小さい場合には、「正しいモデル候補」に加える。
ステップ４．ステップ１～３を繰り返す。
ステップ５．正しいモデル候補の中で最もデータに合致するものを直線マッチングの結果として採用する。 Specifically, first, a straight line is matched to the points Q1 to Qn. As an algorithm for straight line matching, the least squares method, RANSAC, etc. can be used, but in this embodiment, an algorithm such as RANSAC that performs matching while excluding outliers is suitable. When matching a straight line using RANSAC, the following procedure is performed.
Step 1. First, randomly select two points (or more points) from the discrete points Q1 to Q16.
Step 2. Derive a provisional straight line model passing through the two points determined instep 1. If three or more points are selected instep 1, the model may be determined using the least squares method or the like.
Step 3. Calculate the error between the obtained straight line model and the discrete points Q1 to Q16. If the error is smaller than a predetermined value, add it to the "correct model candidates."
Step 4. Repeat steps 1-3.
Step 5. The candidate correct model that best fits the data is taken as the result of line matching.

なお、本実施形態では、外れ値を除外してマッチングを行うアルゴリズムとしてＲＡＮＳＡＣを使用するが、Markov Localization、Monte-Carlo Localization、Particle Filter、Hough Transformなどを使用することも可能である。In this embodiment, RANSAC is used as an algorithm to remove outliers and perform matching, but it is also possible to use Markov Localization, Monte-Carlo Localization, Particle Filter, Hough Transform, etc.

例えば、図６に示す例において、Ｑ１５は、トンネル底面に対応する離散点の中で他の離散点の傾向から大きく離れている。ステップ１で、Ｑ１３とＱ１５を選択すると直線モデルはＬ１となる。これに対して、ステップ１で、Ｑ１２Ｑ１６を選択すると直線モデルはＬ２となる。このような直線モデルＬ１及びＬ２とＱ１１～Ｑ１６の誤差を求めると、直線モデルＬ１の誤差は、直線モデルＬ２の誤差よりも大きくなる。このため、ステップ５において、直線モデルＬ１を設定する際に用いたＱ１５などの他のデータの傾向から外れた値は、直線を決定するためのデータとしては用いず、直線モデルＬ２のような外れ値の影響を除去した直線がマッチングされる。また、同様に、ステップ１においてトンネルの底面以外に対応する点Ｑ１～Ｑ１０を選択したとしても、暫定の直線モデルの傾きが非常に大きくなり、ステップ３において「正しいモデル候補」とはならない。For example, in the example shown in FIG. 6, Q15 is far from the trend of the other discrete points among the discrete points corresponding to the tunnel bottom. If Q13 and Q15 are selected instep 1, the straight line model becomes L1. In contrast, if Q12Q16 are selected instep 1, the straight line model becomes L2. When the error between such straight line models L1 and L2 and Q11 to Q16 is calculated, the error of straight line model L1 is larger than the error of straight line model L2. For this reason, in step 5, values that deviate from the trend of other data, such as Q15 used when setting the straight line model L1, are not used as data for determining the straight line, and a straight line that removes the influence of outliers, such as the straight line model L2, is matched. Similarly, even if points Q1 to Q10 corresponding to other than the bottom of the tunnel are selected instep 1, the slope of the provisional straight line model becomes very large, and it does not become a "correct model candidate" instep 3.

なお、本実施形態では、トンネル底面を示す断面形状データは、傾きや高さに関するデータを含んでいるが、この傾きをステップ３における「正しいモデル候補」の選別に使用することもできる。具体的には、例えば、直線モデルの傾きや高さと、断面形状データの傾きや高さとの差が所定値以上である場合には「正しいモデル候補」としなければよい。In this embodiment, the cross-sectional shape data showing the tunnel bottom includes data on the slope and height, and this slope can also be used to select the "correct model candidate" instep 3. Specifically, for example, if the difference between the slope or height of the straight line model and the slope or height of the cross-sectional shape data is equal to or greater than a predetermined value, it should not be selected as the "correct model candidate."

次に、点Ｑ１～Ｑｎに対して円をマッチングする。円マッチングのアルゴリズムとしても、最小二乗法や、ＲＡＮＳＡＣなどを作用することができるが、直線マッチングと同様に、外れ値を除外してマッチングを行うＲＡＮＳＡＣが適している。ＲＡＮＳＡＣにより円をマッチングする際には、以下のように行う。
ステップ０．離散点Ｑ１～Ｑ１６のうち、上記マッチングした直線モデルＬ２よりも下方の点を候補から除外する。
ステップ１．ステップ０で残った離散点Ｑ１～Ｑ１６からランダムに３点を選択する。
ステップ２．ステップ１で決定した３点を通る暫定の円モデルを導出する。
ステップ３．得られた円モデルと、離散点Ｑ１～Ｑ１６との誤差を求める。誤差が所定値よりも小さい場合には、「正しいモデル候補」に加える。
ステップ４．ステップ１～３を繰り返す。
ステップ５．正しいモデル候補の中で最もデータに合致するものを円マッチングの結果として採用する。 Next, a circle is matched to the points Q1 to Qn. The least squares method, RANSAC, etc. can be used as an algorithm for circle matching, but RANSAC, which performs matching by excluding outliers, is suitable, as in the case of line matching. When matching a circle using RANSAC, the following procedure is performed.
Step 0. Among the discrete points Q1 to Q16, the points below the matched straight line model L2 are excluded from the candidates.
Step 1. Randomly select three points from the discrete points Q1 to Q16 remaining in step 0.
Step 2. Derive a tentative circle model that passes through the three points determined instep 1.
Step 3. Calculate the error between the obtained circular model and the discrete points Q1 to Q16. If the error is smaller than a predetermined value, add it to the "correct model candidates."
Step 4. Repeat steps 1-3.
Step 5. The candidate correct model that best matches the data is taken as the result of circle matching.

例えば、図５に示す例において、Ｑ３は、トンネル底面に対応する離散点の中で他の離散点の傾向から大きく離れている。そして、図５に示す例において、ステップ１で、Ｑ３とＱ４とＱ５を選択すると円モデルはＣ１となる。これに対して、ステップ１で、Ｑ１と、Ｑ４と、Ｑ８を選択すると円モデルはＣ２となる。このような円モデルＣ１及びＣ２とＱ１～Ｑ１６の誤差を求めると、円モデルＣ１の誤差は、円モデルＣ２の誤差よりも大きくなる。このため、ステップ５において、円モデルＣ１を設定する際に用いたＱ３などの他のデータの傾向から外れた値は、円を決定するためのデータとしては用いず、円モデルＣ２のような外れ値の影響を除去した円がマッチングされる。For example, in the example shown in Figure 5, Q3 is significantly different from the trends of the other discrete points among the discrete points corresponding to the tunnel bottom. In the example shown in Figure 5, if Q3, Q4, and Q5 are selected instep 1, the circle model becomes C1. In contrast, if Q1, Q4, and Q8 are selected instep 1, the circle model becomes C2. When the errors between such circle models C1 and C2 and Q1 to Q16 are calculated, the error of circle model C1 is larger than the error of circle model C2. For this reason, in step 5, values that deviate from the trends of other data such as Q3 used when setting circle model C1 are not used as data for determining the circle, and a circle from which the influence of outliers such as circle model C2 has been removed is matched.

なお、本実施形態では、ステップ０において、直線モデルＬ２よりも下方の点を候補から除外しているが、これに限らず、例えば、ステップ２において導出した暫定の円モデルの中心が所定の高さの範囲に入らないものをステップ３において「正しいモデル候補」から除外してもよい。すなわち、本実施形態でいえば、ステップ２において導出した暫定の円モデルの中心の高さＺが所定の範囲外（－ΔＨ≦Ｚ≦ΔＨ）となる場合に、「正しいモデル候補」から除外する構成としてもよい。In this embodiment, in step 0, points below the straight line model L2 are excluded from the candidates, but this is not limiting. For example, a provisional circular model derived instep 2 whose center does not fall within a predetermined height range may be excluded from the "correct model candidates" instep 3. That is, in this embodiment, if the height Z of the center of the provisional circular model derived instep 2 is outside a predetermined range (-ΔH≦Z≦ΔH), it may be excluded from the "correct model candidates".

光学縦断面内位置推定部１３３は、このようにしてマッチングしたトンネル内壁面に対応する円及び底面に対応する直線を基準とした無人航空機の縦断面内位置（Ｙ_B、Ｚ_B）を推定する。すなわち、円の原点を基準としたＹ座標及びＺ座標を縦断面内位置（Ｙ_B、Ｚ_B）とする。 The optical longitudinalsection position estimator 133 estimates the position (Y_B , Z_B ) of the unmanned aerial vehicle in the longitudinal section based on the circle corresponding to the inner wall surface of the tunnel and the straight line corresponding to the bottom surface that have been matched in this way. In other words, the Y coordinate and the Z coordinate based on the origin of the circle are set as the position (Y_B , Z_B ) in the longitudinal section.

横断面測定データ取得部１３９は、横断面測定装置１１１を制御可能であり、横断面測定装置１１１により取得された横断面測定データを取得する。光学横断面内位置／姿勢推定部１３４は、横断面測定データ取得部１３９により取得された横断面測定データと、断面形状データ記憶部１３０に記録された断面形状データ基づき、横断面内における無人航空機の横断面内位置（トンネル内壁面からの距離ｌ）及びヘディングθを推定する。なお、ヘディングθは、水平面内におけるＸ方向を基準とした無人航空機の前方の角度であり、無人航空機の姿勢を示す。The cross-section measurementdata acquisition unit 139 can control thecross-section measurement device 111 and acquires the cross-section measurement data acquired by thecross-section measurement device 111. The optical cross-section position/attitude estimation unit 134 estimates the cross-section position (distance l from the inner wall surface of the tunnel) and heading θ of the unmanned aerial vehicle in the cross-section based on the cross-section measurement data acquired by the cross-section measurementdata acquisition unit 139 and the cross-section shape data recorded in the cross-section shapedata storage unit 130. Note that the heading θ is the angle of the front of the unmanned aerial vehicle based on the X-direction in the horizontal plane, and indicates the attitude of the unmanned aerial vehicle.

図７は、横断面内における無人航空機の横断面内位置及びヘディングを推定する方法を説明するための図である。図７に示すように、横断面測定データは、無人航空機の横断面測定装置１１１の位置に対して矢印で示す無人航空機の前方を基準とした極座標で表される点Ｒ１～Ｒｎ（図７に示す例では、ｎ＝１６）からなる。本実施形態では、光学横断面内位置／姿勢推定部１３４は、第２の所定形状、本実施形態では直線（線分）によりマッチングを行う。Figure 7 is a diagram for explaining a method for estimating the cross-plane position and heading of an unmanned aerial vehicle within a cross-plane. As shown in Figure 7, the cross-section measurement data consists of points R1 to Rn (n=16 in the example shown in Figure 7) expressed in polar coordinates based on the front of the unmanned aerial vehicle, as indicated by the arrow, relative to the position of thecross-section measuring device 111 of the unmanned aerial vehicle. In this embodiment, the optical cross-plane position/attitude estimation unit 134 performs matching using a second predetermined shape, which in this embodiment is a straight line (line segment).

具体的には、まず、点Ｒ１～Ｒｎに対して直線をマッチングする。直線マッチングのアルゴリズムとしては、最小二乗法や、ＲＡＮＳＡＣなどを作用することができるが、本実施形態では、外れ値を除外してマッチングを行うＲＡＮＳＡＣが適している。ＲＡＮＳＡＣにより直線をマッチングする際には、以下のように行う。
ステップ１．まず、離散点Ｒ１～Ｒ１６からランダムに２点（又はそれ以上の点）を選択する。
ステップ２．ステップ１で決定した２点を通る暫定の直線モデルを導出する。なお、ステップ１で３点以上を選択した場合には最小二乗法などで決定すればよい。
ステップ３．得られた直線モデルと、離散点Ｒ１～Ｒ１６との誤差を求める。誤差が所定値よりも小さい場合には、「正しいモデル候補」に加える。
ステップ４．ステップ１～３を繰り返す。
ステップ５．正しいモデル候補の中で最もデータに合致するものを直線マッチングの結果として採用する。 Specifically, first, a straight line is matched to the points R1 to Rn. As an algorithm for straight line matching, the least squares method, RANSAC, etc. can be used, but in this embodiment, RANSAC, which performs matching while excluding outliers, is suitable. When matching a straight line using RANSAC, the following procedure is performed.
Step 1. First, randomly select two points (or more points) from the discrete points R1 to R16.
Step 2. Derive a provisional straight line model passing through the two points determined instep 1. If three or more points are selected instep 1, the model may be determined using the least squares method or the like.
Step 3. Calculate the error between the obtained straight line model and the discrete points R1 to R16. If the error is smaller than a predetermined value, add it to the "correct model candidates."
Step 4. Repeat steps 1-3.
Step 5. The candidate correct model that best fits the data is taken as the result of line matching.

このように光学横断面内位置／姿勢推定部１３４は、離散点Ｒ１～Ｒ１６に対して直線をマッチングすることにより、横断面内におけるトンネル内壁面に対応する直線Ｌ３及びＬ４が得られる。このようにして得られた直線Ｌ３との距離ｌ、及び、直線Ｌ３に対する矢印の角度θを求めることにより、縦断面内位置（トンネル内壁面からのＹ方向距離ｌ）及びヘディングθが推定される。In this way, the optical cross-sectional position/orientation estimation unit 134 matches straight lines to the discrete points R1 to R16, thereby obtaining straight lines L3 and L4 corresponding to the inner wall surface of the tunnel in the cross-sectional plane. By determining the distance l to the straight line L3 obtained in this way, and the angle θ of the arrow relative to the straight line L3, the position in the longitudinal section (distance l in the Y direction from the inner wall surface of the tunnel) and the heading θ are estimated.

自己位置データ生成部１３５は、基準位置に対する３次元位置（Ｘ座標、Ｙ座標、Ｚ座標）及び姿勢（ヘディングθ）を含む自己位置データを生成する。具体的には、自己位置データ生成部１３５は、画像横方向位置推定部１３２により推定された横方向位置（Ｘ_A，Ｙ_A）と、光学縦断面内位置推定部１３３により推定された縦断面内位置（Ｙ_B、Ｚ_B）と、光学横断面内位置／姿勢推定部１３４により推定された縦断面内位置（トンネル内壁面からのＹ方向距離ｌ）及びヘディングθに基づき自己位置データを生成する。 The self-positiondata generating unit 135 generates self-position data including a three-dimensional position (X coordinate, Y coordinate, Z coordinate) and attitude (heading θ) relative to a reference position. Specifically, the self-positiondata generating unit 135 generates self-position data based on the lateral position (_XA ,_YA ) estimated by the image lateralposition estimating unit 132, the position in the longitudinal section (_YB ,_ZB ) estimated by the optical longitudinal sectionposition estimating unit 133, and the position in the longitudinal section (Y-direction distance l from the tunnel inner wall surface) and heading θ estimated by the optical transverse section position/attitude estimating unit 134.

ここで、トンネル内におけるＶｉｓｕａｌ ＳＬＡＭなどの画像に基づく自己位置推定は、特徴点が少ないため、誤差が生じやすい。そこで、本実施形態では、自己位置データ生成部１３５は、以下のようにして自己位置データを生成する。Here, self-location estimation based on images such as Visual SLAM in a tunnel is prone to errors due to the small number of feature points. Therefore, in this embodiment, the self-location data generator 135 generates self-location data as follows.

トンネル奥行き方向の位置、すなわち、Ｘ座標については、画像横方向位置推定部１３２により推定された横方向位置（Ｘ_A，Ｙ_A）におけるＸ座標Ｘ_Aを採用する。 As for the position in the tunnel depth direction, that is, the X coordinate, the X coordinate_XA at the lateral position (_XA ,_YA ) estimated by the image lateralposition estimation unit 132 is used.

トンネル幅方向の位置、すなわち、Ｙ座標については、光学縦断面内位置推定部１３３により推定された縦断面内位置（Ｙ_B、Ｚ_B）におけるＹ座標Ｙ_Bを採用する。なお、これに限らず、光学横断面内位置／姿勢推定部１３４により推定されたトンネル内壁面からのＹ方向距離ｌに基づきＹ座標を算出してもよいし、このＹ座標とＹ_Bとの平均を作用してもよい。 The position in the tunnel width direction, i.e., the Y coordinate, is the Y coordinate YB at the position in the longitudinal section (_YB ,_ZB ) estimated by the optical longitudinal sectionposition estimation unit 133. However, this is not limiting, and the Y coordinate may be calculated based on the Y direction distance_l from the inner wall surface of the tunnel estimated by the optical transverse section position/orientation estimation unit 134, or the average of this Y coordinate and_YB may be used.

高さ方向の位置、すなわち、Ｚ座標については、縦断面内位置（Ｙ_B、Ｚ_B）におけるＺ座標Ｚ_Bを採用する。 Regarding the position in the height direction, that is, the Z coordinate, the Z coordinate_ZB at the position (_YB ,_ZB ) in the vertical cross section is adopted.

無人航空機の姿勢、すなわち、ヘディングθについては、光学横断面内位置／姿勢推定部１３４により推定されたヘディングθを採用する。For the attitude of the unmanned aerial vehicle, i.e., heading θ, the heading θ estimated by the optical cross-plane position/attitude estimation unit 134 is used.

このようにして、自己位置データ生成部１３５は、無人航空機の自己位置（Ｘ座標、Ｙ座標、Ｚ座標）及び姿勢（ヘディングθ）に関する自己位置データを生成する。In this way, the self-positiondata generation unit 135 generates self-position data regarding the unmanned aerial vehicle's self-position (X coordinate, Y coordinate, Z coordinate) and attitude (heading θ).

飛行制御部１３６は、自己位置データ生成部１３５により生成された自己位置データに基づき、飛行経路データ記憶部１３１に記憶された飛行計画経路データの飛行計画経路に沿うように無人航空機の飛行を制御する。具体的には、各種センサにより、無人航空機１の姿勢、速度等を判断し、自己位置データ生成部１３５により生成された自己位置データに基づき無人航空機１の現在の飛行位置及びヘディングなどを判断し、操縦信号、飛行計画経路（目標）、速度制限、高度制限等の目標値と比較することにより各ロータ１０３に対する制御指令値を演算し、制御指令値を示すデータを制御信号生成部１２２に出力する。制御信号生成部１２２は、その制御指令値を電圧を表わすパルス信号に変換して各スピードコントローラ１２３に送信する。各スピードコントローラ１２３は、そのパルス信号を駆動電圧へと変換して各モータ１０２に印加し、これにより各モータ１０２の駆動を制御して各ロータ１０３の回転数を制御することにより無人航空機１の飛行が制御される。Theflight control unit 136 controls the flight of the unmanned aircraft to follow the flight plan route of the flight plan route data stored in the flight routedata storage unit 131 based on the self-position data generated by the self-positiondata generation unit 135. Specifically, theflight control unit 136 determines the attitude, speed, etc. of theunmanned aircraft 1 using various sensors, determines the current flight position and heading of theunmanned aircraft 1 based on the self-position data generated by the self-positiondata generation unit 135, calculates control command values for eachrotor 103 by comparing with target values such as the control signal, flight plan route (target), speed limit, and altitude limit, and outputs data indicating the control command values to the controlsignal generation unit 122. The controlsignal generation unit 122 converts the control command value into a pulse signal representing a voltage and transmits it to eachspeed controller 123. Eachspeed controller 123 converts the pulse signal into a drive voltage and applies it to eachmotor 102, thereby controlling the drive of eachmotor 102 to control the rotation speed of eachrotor 103, thereby controlling the flight of theunmanned aircraft 1.

以下、上記の無人航空機によりトンネルの内を自律飛行し、トンネル内壁面を撮影する流れを説明する。
図８は、図１に示す無人航空機によりトンネルの内を自律飛行し、トンネル内壁面を撮影する流れを示すフローチャートである。図８に示すように、まず、情報処理ユニット１２０は、飛行経路データ記憶部１３１に記憶された飛行計画経路データを参照して、飛行制御部１３６が第１のウェイポイントを目標として設定する（Ｓ１００）。 The flow of how the unmanned aerial vehicle described above autonomously flies inside a tunnel and photographs the inner wall surface of the tunnel will be described below.
Fig. 8 is a flow chart showing a flow of autonomously flying inside a tunnel and photographing the inner wall surface of the tunnel by the unmanned aerial vehicle shown in Fig. 1. As shown in Fig. 8, first, theinformation processing unit 120 refers to the flight plan route data stored in the flight routedata storage unit 131, and theflight control unit 136 sets the first waypoint as a target (S100).

次に、情報処理ユニット１２０は、自己位置データ生成部１３５により無人航空機１の自己位置及び姿勢を推定しながら、推定した自己位置及び姿勢に基づき飛行制御部１３６がモータ１０２の回転数を制御し、目標に向かって自律飛行を行う（Ｓ１１０）。図９は、図１に示す無人航空機により自律飛行を行う流れを詳細に示すフローチャートである。
図９に示すように、まず、横断面測定データ取得部１３９が、横断面測定装置１１１を制御して横断面測定データを測定させ、横断面測定装置１１１を制御して横断面測定データを取得する（Ｓ１１１：横断面測定データ取得ステップ）。 Next, theinformation processing unit 120 estimates the self-position and attitude of the unmannedaerial vehicle 1 using the self-positiondata generation unit 135, while theflight control unit 136 controls the number of rotations of themotor 102 based on the estimated self-position and attitude, and autonomously flies toward the target (S110). Figure 9 is a flowchart showing in detail the flow of autonomous flight by the unmanned aerial vehicle shown in Figure 1.
As shown in FIG. 9, first, the cross-section measurementdata acquisition unit 139 controls thecross-section measuring device 111 to measure the cross-section measurement data, and controls thecross-section measuring device 111 to acquire the cross-section measurement data (S111: cross-section measurement data acquisition step).

次に、光学横断面内位置／姿勢推定部１３４が、横断面測定データ取得部１３９により取得された横断面測定データに、断面形状データ記憶部１３０に記録された断面形状データ基づき線分をマッチングし、横断面内における無人航空機の横断面内位置（トンネル内壁面からの距離ｌ）及び姿勢（ヘディングθ）を推定する（Ｓ１１２：光学横断面内位置／姿勢推定ステップ）。Next, the optical cross-section position/attitude estimation unit 134 matches lines based on the cross-section shape data recorded in the cross-section shapedata storage unit 130 to the cross-section measurement data acquired by the cross-section measurementdata acquisition unit 139, and estimates the position (distance l from the tunnel inner wall surface) and attitude (heading θ) of the unmanned aerial vehicle within the cross-section (S112: optical cross-section position/attitude estimation step).

そして、トンネルが直線状に延びており、このようにして推定したヘディングθの方向が目標からずれている場合には、飛行制御部１３６により、目標に向かうようにヘディングθを調整するべく、各ロータ１０３に対する制御指令値を演算し、制御指令値を示すデータを制御信号生成部１２２に出力し、飛行を制御する（Ｓ１１３）。なお、本実施形態では、目標に向かうようにヘディングθを調整しているが、これに限らず、横断面内において壁面に平行になるようにヘディングθを調整してもよい。If the tunnel extends in a straight line and the direction of the heading θ estimated in this way deviates from the target, theflight control unit 136 calculates control command values for eachrotor 103 to adjust the heading θ so that it heads toward the target, outputs data indicating the control command values to the controlsignal generation unit 122, and controls flight (S113). Note that in this embodiment, the heading θ is adjusted so that it heads toward the target, but this is not limiting, and the heading θ may be adjusted so that it is parallel to the wall surface in the cross section.

また、トンネルが直線状に延びておらずＸ座標として直線軸に沿った座標ではなく、トンネルの経路に沿った距離を採用した場合には、ヘディングθをトンネル壁面に沿うような方向に設定する。これにより、図１０に示すように、横断面においてトンネル３００の経路が湾曲している場合であっても、横断面におけるトンネルの内壁面３０２の接線方向と略等しい方向に直線Ｌ３（図７のＬ３に対応）がマッチングされる。このため、例えば、トンネル３００の経路が不明である場合であっても、トンネル３００の内壁面３０２に沿うように矢印の方向に飛行することが可能になる。In addition, if the tunnel does not extend in a straight line and the X coordinate is not a coordinate along a straight axis but a distance along the tunnel path, the heading θ is set in a direction along the tunnel wall. As a result, as shown in FIG. 10, even if the path of thetunnel 300 is curved in the cross section, the straight line L3 (corresponding to L3 in FIG. 7) is matched in a direction approximately equal to the tangent direction of theinner wall surface 302 of the tunnel in the cross section. Therefore, for example, even if the path of thetunnel 300 is unknown, it is possible to fly in the direction of the arrow so as to follow theinner wall surface 302 of thetunnel 300.

次に、撮像画像取得部１３７が第１のカメラ１０８により連続的に撮像された画像を取得する（Ｓ１１４）。そして、画像横方向位置推定部１３２が、第１のカメラ１０８により連続的に撮像された画像に基づき、横方向自己位置（Ｘ_A，Ｙ_A）を推定する（Ｓ１１５：画像横方向位置推定ステップ）。 Next, the capturedimage acquisition unit 137 acquires images continuously captured by the first camera 108 (S114). Then, the image lateralposition estimation unit 132 estimates the lateral self-position (X_A , Y_A ) based on the images continuously captured by the first camera 108 (S115: image lateral position estimation step).

次に、光学縦断面内位置推定部１３３が、縦断面測定装置１１２を制御して縦断面測定データを測定させ、縦断面測定装置１１２を制御して縦断面測定データを取得する（Ｓ１１６：縦断面形状データ取得ステップ）。Next, the optical longitudinal sectionposition estimation unit 133 controls the longitudinalsection measuring device 112 to measure the longitudinal section measurement data, and controls the longitudinalsection measuring device 112 to acquire the longitudinal section measurement data (S116: longitudinal section shape data acquisition step).

次に、光学縦断面内位置推定部１３３が、縦断面測定装置１１２により取得された縦断面測定データに、断面形状データ記憶部１３０に記録された断面形状データに基づき円及び線分をマッチングし、縦断面内における無人航空機の縦断面内自己位置（Ｙ_B、Ｚ_B）を推定する（Ｓ１１７：縦断面内位置推定ステップ）。上記の通り、Ｓ１１３においてヘディングを調整しているため、縦断面が経路に垂直な断面となり、縦断面に歪みが生じず、マッチングがより正確に行える。 Next, the optical longitudinal sectionposition estimation unit 133 matches circles and lines based on the cross-sectional shape data recorded in the cross-sectional shapedata storage unit 130 to the longitudinal section measurement data acquired by the longitudinalsection measurement device 112, and estimates the unmanned aerial vehicle's own position (Y_B , Z_B ) in the longitudinal section (S117: longitudinal section position estimation step). As described above, since the heading is adjusted in S113, the longitudinal section becomes a section perpendicular to the route, no distortion occurs in the longitudinal section, and matching can be performed more accurately.

次に、自己位置データ生成部１３５が、画像横方向位置推定部１３２により推定された横方向位置（Ｘ_A，Ｙ_A）と、光学縦断面内位置推定部１３３により推定された縦断面内位置（Ｙ_B、Ｚ_B）と、光学横断面内位置／姿勢推定部１３４により推定された縦断面内位置（トンネル内壁面からのＹ方向距離ｌ）及びヘディングθに基づき自己位置データを生成する（Ｓ１１８：自己位置データ生成ステップ）。なお、ヘディングθについては、Ｓ１１３において調整した後のヘディングθを採用してもよい。 Next, the self-positiondata generating unit 135 generates self-position data based on the lateral position (_XA ,_YA ) estimated by the image lateralposition estimating unit 132, the position in the longitudinal section (_YB ,_ZB ) estimated by the optical longitudinal sectionposition estimating unit 133, the position in the longitudinal section (Y-direction distance l from the inner wall surface of the tunnel) estimated by the optical transverse section position/attitude estimating unit 134, and the heading θ (S118: self-position data generating step). Note that the heading θ may be the heading θ adjusted in S113.

そして、飛行制御部１３６が自己位置データ生成部１３５により生成した自己位置データに基づき、無人航空機１が目標に到達したか否かを判定する（Ｓ１１９）。Then, theflight control unit 136 determines whether theunmanned aircraft 1 has reached the target based on the self-position data generated by the self-position data generation unit 135 (S119).

飛行制御部１３６が、無人航空機１が目標に到達していないと判定した場合（Ｓ１１９においてＮＯ）、飛行制御部１３６が自己位置データ生成部１３５により生成された自己位置データに基づき、目標に向かって飛行するように、各ロータ１０３に対する制御指令値を演算し、制御指令値を示すデータを制御信号生成部１２２に出力する（Ｓ１２０）。制御信号生成部１２２は、その制御指令値を電圧を表わすパルス信号に変換して各スピードコントローラ１２３に送信する。各スピードコントローラ１２３は、そのパルス信号を駆動電圧へと変換して各モータ１０２に印加し、これにより各モータ１０２の駆動を制御して各ロータ１０３の回転数を制御することにより無人航空機１の飛行が制御される。If theflight control unit 136 determines that the unmannedaerial vehicle 1 has not reached the target (NO in S119), theflight control unit 136 calculates control command values for eachrotor 103 based on the self-position data generated by the self-positiondata generation unit 135 so as to fly toward the target, and outputs data indicating the control command values to the control signal generation unit 122 (S120). The controlsignal generation unit 122 converts the control command value into a pulse signal representing a voltage and transmits it to eachspeed controller 123. Eachspeed controller 123 converts the pulse signal into a drive voltage and applies it to eachmotor 102, which controls the drive of eachmotor 102 to control the rotation speed of eachrotor 103, thereby controlling the flight of the unmannedaerial vehicle 1.

このようなＳ１１０～Ｓ１２０を、所定の微小時間間隔で繰り返すことにより、無人航空機１が目標に向かって自律飛行する。なお、本実施形態では、Ｓ１１１、Ｓ１１２による横断面内位置及び姿勢の推定と、Ｓ１１４、Ｓ１１５による横方向位置の推定と、Ｓ１１６、Ｓ１１７による縦断面内位置の推定と、を順番に行う場合について説明したが、これら推定ステップの順序は変更してもよく、また、同時に行ってもよい。By repeating steps S110 to S120 at predetermined short time intervals, the unmannedaerial vehicle 1 flies autonomously toward the target. Note that in this embodiment, the estimation of the position and attitude in the transverse plane by S111 and S112, the estimation of the lateral position by S114 and S115, and the estimation of the position in the longitudinal plane by S116 and S117 are performed in this order, but the order of these estimation steps may be changed, or they may be performed simultaneously.

このようにして、無人航空機１が目標に到達し、Ｓ１１８おいて、飛行制御部１３６が、無人航空機１が目標に到達したと判定した場合（Ｓ１１９においてＹＥＳ）、情報処理ユニット１２０が第１のカメラ１０８を駆動してトンネル内壁面を撮影する（Ｓ１３０）。撮影した画像の画像データは、情報処理ユニット１２０のメモリに記憶するか、アンテナ１１７を介して適宜な端末に記録される。In this way, when the unmannedaerial vehicle 1 reaches the target, and theflight control unit 136 determines in S118 that the unmannedaerial vehicle 1 has reached the target (YES in S119), theinformation processing unit 120 drives thefirst camera 108 to capture an image of the inner wall surface of the tunnel (S130). Image data of the captured image is stored in the memory of theinformation processing unit 120 or recorded in an appropriate terminal via theantenna 117.

そして、無人航空機１が到達した目標が最終ウェイポイントＰ_4nではない場合（Ｓ１４０においてＮＯ）には、次のウェイポイントＰを目標として設定し（Ｓ１５０）、Ｓ１１０～Ｓ１４０を繰り返す。 If the target reached by the unmannedaerial vehicle 1 is not the final waypoint P_4n (NO in S140), the next waypoint P is set as the target (S150), and S110 to S140 are repeated.

また、無人航空機１が到達した目標が最終ウェイポイントＰ_4nである場合（Ｓ１４０においてＹＥＳ）には、無人航空機１は必要な工程が全て終了したと判断し、飛行制御部１３６により、例えば、初期位置に帰還するように飛行するなどして作業を終了する。 Furthermore, if the target reached by theunmanned aircraft 1 is the final waypoint_P4n (YES in S140), theunmanned aircraft 1 determines that all necessary processes have been completed, and theflight control unit 136 ends the operation, for example, by flying back to the initial position.

本実施形態によれば、以下の効果が奏される。
トンネル内部では、ＧＰＳなどが使用できず、さらには、地磁気の影響によりコンパスも使用することができないことがある。このような場合に、無人航空機の自己位置を推定する場合には、下方を向けたカメラからの撮影画像に基づきＶｉｓｕａｌ ＳＬＡＭなどアルゴリズムにより位置を推定することが考えられる。しかしながら、Ｖｉｓｕａｌ ＳＬＡＭなどのアルゴリズムにより位置を推定しようとしても、トンネル等の内壁面には特徴点が少なく正確な位置を推定することが難しい。これに対して、本実施形態では、光学縦断面内位置推定部１３３が、縦断面測定装置１１２により測定された縦断面測定データに円をマッチングし、マッチングした円に対する自己位置に基づき無人航空機の縦断面内位置を推定している。これにより、特徴点がないような形状であっても、自己位置を正確に測定することができる。 According to this embodiment, the following effects are achieved.
In a tunnel, GPS and the like cannot be used, and even a compass cannot be used due to the influence of geomagnetism. In such a case, when estimating the self-position of the unmanned aerial vehicle, it is possible to estimate the position using an algorithm such as Visual SLAM based on an image captured by a camera facing downward. However, even if an attempt is made to estimate the position using an algorithm such as Visual SLAM, there are few characteristic points on the inner wall surface of a tunnel or the like, making it difficult to estimate the position accurately. In contrast, in this embodiment, the optical longitudinal sectionposition estimation unit 133 matches a circle to the longitudinal section measurement data measured by the longitudinalsection measurement device 112, and estimates the position of the unmanned aerial vehicle in the longitudinal section based on the self-position relative to the matched circle. This makes it possible to accurately measure the self-position even in a shape that does not have characteristic points.

また、本実施形態では、光学縦断面内位置推定部１３３は、縦断面測定データに対して幾何学的形状、特に、凸な曲線で構成される円形をマッチングし、マッチングした幾何学的形状に対して縦断面内位置を推定している。トンネルなどの構造物は、力学的安定性が求められるため、断面形状が円弧状やアーチ状であることが多い。そして、このような幾何学的形状、特に、円形をマッチングすることにより、計算量や記憶量を少なくすることができるとともに、正確な位置を推定することができる。また、予めトンネルの縦断面形状を特定しなくても、一部に円形等の幾何学的形状があればマッチングが可能となる。In addition, in this embodiment, the optical longitudinal sectionposition estimation unit 133 matches a geometric shape, particularly a circle formed of a convex curve, to the longitudinal section measurement data, and estimates the position in the longitudinal section for the matched geometric shape. Since structures such as tunnels require mechanical stability, their cross-sectional shapes are often arc-shaped or arch-shaped. By matching such geometric shapes, particularly circles, it is possible to reduce the amount of calculation and storage, and to estimate an accurate position. Furthermore, matching is possible even if the longitudinal section shape of the tunnel is not specified in advance, as long as there is a geometric shape such as a circle in part.

また、例えば、図１１に示すように、トンネルなどの構造物内には、照明や、換気装置などの壁面から突起する部位３１０や、避難経路などの壁面から引っ込んだ部位３２０が存在する。これに対して、本実施形態では、断面形状データが離散データであり、光学縦断面内位置推定部１３３は、ＲＡＮＳＡＣアルゴリズムにより離散データにおける外れ値を除去し、マッチングを行っているため、このような突起する部位や引っ込んだ部位の影響を排除し、マッチングを行うことができる。For example, as shown in Fig. 11, within a structure such as a tunnel, there areparts 310 that protrude from the wall, such as lighting and ventilation equipment, andparts 320 that are recessed from the wall, such as evacuation routes. In contrast, in this embodiment, the cross-sectional shape data is discrete data, and the optical longitudinal sectionposition estimation unit 133 removes outliers in the discrete data using the RANSAC algorithm before performing matching, so that it is possible to eliminate the influence of such protruding and recessed parts and perform matching.

また、トンネルなどの同断面形状が連続するような構造物の内部空間を飛行する際には、奥行き方向の位置を特定するのが困難である。これに対して、本実施形態では、第１のカメラ１０８によりトンネルの底面を撮影し、画像横方向位置推定部１３２が、第１のカメラ１０８により撮像した画像に基づき位置を推定するため、奥行き方向の位置を推定することができる。In addition, when flying through the internal space of a structure such as a tunnel that has a continuous cross-sectional shape, it is difficult to identify the position in the depth direction. In contrast, in this embodiment, thefirst camera 108 captures an image of the bottom of the tunnel, and the image lateralposition estimation unit 132 estimates the position based on the image captured by thefirst camera 108, so that the position in the depth direction can be estimated.

また、本実施形態では、横断面測定装置１１１により測定された横断面測定データに、直線（線分）をマッチングし、光学横断面内位置／姿勢推定部１３４がマッチングした直線に対する自己位置及び姿勢に基づき、無人航空機の横断面内位置（壁面からの距離）及びヘディングθを推定している。これにより、トンネル内部空間内における自己位置を正確に推定することができる。さらに、無人航空機１の横断面内位置（壁面からの距離）及びヘディングθを推定することができるため、トンネルの横方向の形状が不明であっても、壁面に沿った飛行が可能になる。In addition, in this embodiment, a straight line (line segment) is matched to the cross-section measurement data measured by thecross-section measuring device 111, and the optical cross-section position/attitude estimation unit 134 estimates the unmanned aerial vehicle's position in the cross-section (distance from the wall) and heading θ based on its own position and attitude relative to the matched straight line. This makes it possible to accurately estimate its own position within the internal space of the tunnel. Furthermore, because the unmannedaerial vehicle 1's position in the cross-section (distance from the wall) and heading θ can be estimated, it becomes possible to fly along the wall even if the lateral shape of the tunnel is unknown.

また、本実施形態では、光学横断面内位置／姿勢推定部１３４は、横断面測定データに対して線分をマッチングし、マッチングした線分に対する位置及び姿勢を推定している。このように、線分をマッチングすることにより、トンネルが横方向に湾曲して延びていたとしても、トンネルの壁面の接線方向と略平行にヘディングを調整することができ、トンネル壁面に沿った自律飛行が可能になる。In addition, in this embodiment, the optical cross-sectional position/attitude estimation unit 134 matches a line segment to the cross-sectional measurement data and estimates the position and attitude for the matched line segment. By matching the line segment in this way, even if the tunnel curves laterally, the heading can be adjusted to be approximately parallel to the tangent direction of the tunnel wall, making it possible to fly autonomously along the tunnel wall.

なお、本実施形態では、縦断面が半円形のトンネルにおいて無人航空機が飛行する場合について説明したが、本発明はこれに限られない。例えば、図１２に示すように、縦断面において内壁面４０２の上部４０２Ａが半円形であり、下部４０２Ｂが矩形状であるような形状のトンネルにおいても本発明を適用できる。このような場合には、縦断面において円をマッチングする際に、円の中心の底面（すなわち、底面に対応する箇所にマッチングした直線）を基準とした位置が、底面から上方に下部４０２Ｂの高さｂの位置の近傍（高さｂ±Δｂの範囲内）に位置するように、「正しいモデル候補」を選択するとよい。In this embodiment, the unmanned aerial vehicle flies in a tunnel with a semicircular cross section, but the present invention is not limited to this. For example, as shown in FIG. 12, the present invention can also be applied to a tunnel in which theupper part 402A of theinner wall surface 402 is semicircular in cross section and thelower part 402B is rectangular in cross section. In such a case, when matching a circle in the cross section, it is advisable to select a "correct model candidate" so that the position based on the bottom surface of the center of the circle (i.e., the straight line matched to the part corresponding to the bottom surface) is located near the height b of thelower part 402B above the bottom surface (within the range of height b ± Δb).

また、本実施形態では、自己位置データ生成部１３５が、画像横方向位置推定部１３２により推定された横方向位置（Ｘ_A，Ｙ_A）と、光学縦断面内位置推定部１３３により推定された縦断面内位置（Ｙ_B、Ｚ_B）と、光学横断面内位置／姿勢推定部１３４により推定された縦断面内位置（トンネル内壁面からのＹ方向距離ｌ）及びヘディングθに基づき自己位置データを生成しているが、本発明はこれに限られない。例えば、縦断面測定装置１１２及び光学縦断面内位置推定部１３３を省略することも可能である。この場合には、Ｘ座標については横方向位置を用い、Ｙ座標及びヘディングθについては縦断面内位置から算出し、高さ（Ｚ座標）については高度計を用いて決定すればよい。このような構成によっても、トンネル壁面に沿った自律飛行が可能である。 In this embodiment, the self-positiondata generating unit 135 generates the self-position data based on the lateral position (X_A , Y_A ) estimated by the image lateralposition estimating unit 132, the longitudinal section position (Y_B , Z_B ) estimated by the optical longitudinal sectionposition estimating unit 133, and the longitudinal section position (Y-direction distance l from the tunnel inner wall surface) and heading θ estimated by the optical transverse section position/attitude estimating unit 134, but the present invention is not limited to this. For example, it is also possible to omit the longitudinalsection measuring device 112 and the optical longitudinal sectionposition estimating unit 133. In this case, the lateral position is used for the X coordinate, the Y coordinate and heading θ are calculated from the longitudinal section position, and the height (Z coordinate) is determined using an altimeter. With such a configuration, autonomous flight along the tunnel wall surface is also possible.

また、例えば、横断面測定装置１１１及び光学横断面内位置／姿勢推定部１３４を省略することも可能であり、この場合には、Ｘ座標については横方向位置を用い、Ｙ座標及びＺ座標については縦断面内位置を用いる。そして、ヘディングθについては、例えば、無人航空機が前方などの所定の方向に飛行した際の時間微分から求めることも可能である。このような構成によっても、トンネル内の自己位置を正確に推定することが可能である。It is also possible, for example, to omit the crosssection measuring device 111 and the optical cross section position/attitude estimation unit 134, in which case the horizontal position is used for the X coordinate, and the positions within the vertical section are used for the Y and Z coordinates. The heading θ can also be calculated, for example, from the time derivative when the unmanned aerial vehicle flies in a specified direction, such as forward. With this configuration, it is also possible to accurately estimate the vehicle's own position within the tunnel.

また、本実施形態では、トンネルが、縦断面形状が半円形であり、長手方向に同断面形状で延びる形状であり、トンネルの縦断面形状に対して円をマッチングし、トンネルの横断面に対して直線をマッチングする場合について説明したが、本発明はこれに限られない。すなわち、トンネルの縦断面形状の一部に、円形や、楕円形、矩形等の幾何学的形状が含まれていれば、幾何学的形状によるマッチングを行うことができる。また、横断面に関しても、トンネルが円弧状に延びているなど、トンネルの横断面形状に幾何学的形状が含まれていれば、幾何学的形状によるマッチングを行うことができる。なお、縦断面においてマッチングする形状としては二次元形状（直線は含まない）が好ましい。In addition, in this embodiment, the tunnel has a semicircular cross-sectional shape that extends in the longitudinal direction, and a circle is matched to the longitudinal cross-sectional shape of the tunnel, and a straight line is matched to the cross-sectional shape of the tunnel, but the present invention is not limited to this. In other words, if part of the longitudinal cross-sectional shape of the tunnel includes a geometric shape such as a circle, ellipse, or rectangle, matching based on the geometric shape can be performed. In addition, with regard to the cross-sectional shape, if the cross-sectional shape of the tunnel includes a geometric shape, such as if the tunnel extends in an arc, matching based on the geometric shape can be performed. Note that a two-dimensional shape (not including a straight line) is preferable as the shape to be matched in the longitudinal cross-section.

また、本実施形態では、第１のカメラ１０８により撮像した画像に基づき、画像横方向位置推定部１３２が横方向自己位置（Ｘ_A，Ｙ_A）を推定し、これに基づき無人航空機１のＸ座標（奥行き方向の位置）を特定しているが、これに限らず、ＩＭＵによりＸ座標を特定してもよい。 Furthermore, in this embodiment, the image lateralposition estimation unit 132 estimates the lateral self-position (_XA ,_YA ) based on the image captured by thefirst camera 108, and determines the X coordinate (position in the depth direction) of the unmannedaerial vehicle 1 based on this, but this is not limited to the above, and the X coordinate may be determined by the IMU.

また、本実施形態では、トンネルが水平方向に延びている場合について説明したがこれに限らず、傾斜している場合などであっても、本発明を適用できる。このような場合には、横方向として斜めに傾斜するように設定してもよいし、水平方向を設定してもよい。また、縦断面としても垂直断面を設定してもよいし、斜めに傾斜する横方向に対する垂直断面としてもよい。In this embodiment, the tunnel extends horizontally, but the present invention can be applied to cases where the tunnel is inclined. In such cases, the horizontal direction may be set to be inclined at an angle, or the horizontal direction may be set. Furthermore, the longitudinal section may be set to be a vertical section, or the vertical section may be set to be a vertical section relative to the horizontal direction that is inclined at an angle.

１ 無人航空機
２ ステップ
３ ステップ
５ ステップ
１０１ 制御ユニット
１０２ モータ
１０３ ロータ
１０４ アーム
１０５ 着陸脚
１０６ 台座
１０７ 支持部材
１０８ 第１のカメラ
１０９ 第２のカメラ
１１０ 架台
１１１ 横断面測定装置
１１２ 縦断面測定装置
１１７ アンテナ
１２０ 情報処理ユニット
１２１ 通信回路
１２２ 制御信号生成部
１２３ スピードコントローラ
１２５ インターフェイス
１３０ 断面形状データ記憶部
１３１ 飛行経路データ記憶部
１３２ 画像横方向位置推定部
１３３ 光学縦断面内位置推定部
１３４ 光学横断面内位置／姿勢推定部
１３５ 自己位置データ生成部
１３６ 飛行制御部
１４０ 自己位置推定システム
２００ 飛行制御システム1 Unmannedaerial vehicle 2Step 3 Step 5Step 101Control unit 102Motor 103Rotor 104Arm 105Landing leg 106Base 107Support member 108First camera 109Second camera 110Mount 111 Crosssection measuring device 112 Longitudinalsection measuring device 117Antenna 120Information processing unit 121Communication circuit 122 Controlsignal generating unit 123Speed controller 125Interface 130 Cross section shapedata storage unit 131 Flight pathdata storage unit 132 Image lateralposition estimating unit 133 Optical longitudinal sectionposition estimating unit 134 Optical transverse section position/attitude estimating unit 135 Self-positiondata generating unit 136Flight control unit 140 Self-position estimation system 200 Flight control system

Claims (15)

Translated fromJapanese

水平方向に延びるトンネル内における無人航空機の自己位置を推定するための自己位置推定システムであって、
前記無人航空機は、前記無人航空機の飛行経路を横切る方向の縦断面内の空間形状を測定し、縦断面測定データを生成する縦断面測定装置を含み、
前記無人航空機が、横方向に所定の経路に沿って延びる構造物の内部空間を飛行するときに、前記縦断面測定装置により生成された前記縦断面測定データを取得する縦断面測定データ取得部と、
前記縦断面測定データ取得部が取得した前記縦断面測定データに、前記構造物の内壁面に対応する第１の所定形状をマッチングし、当該マッチングした所定形状に対する自己位置に基づき、前記縦断面内における前記無人航空機の縦断面内位置を推定する縦断面内位置推定部と、
前記無人航空機は、前記無人航空機の所定の方向を基準とした横断面内の空間形状を測定し、横断面測定データを生成するための横断面測定装置をさらに含み、
前記無人航空機が、前記横方向に所定の経路に沿って延びる構造物の内部空間を飛行するときに、前記横断面測定装置が生成した前記横断面測定データを取得する横断面測定データ取得部と、
前記横断面測定データ取得部が取得した前記横断面測定データに第２の所定形状をマッチングし、当該マッチングした第２の所定形状に対する自己位置及び／又は姿勢に基づき、前記無人航空機の横断面内位置及び／又は姿勢を推定する光学断面内位置／姿勢推定部と、
を含む、自己位置推定システム。A self-position estimation system for estimating a self-position of an unmanned aerial vehiclein a horizontally extending tunnel , comprising:
The unmanned aerial vehicle includes a longitudinal section measurement device that measures a spatial shape within a longitudinal section in a direction intersecting a flight path of the unmanned aerial vehicle and generates longitudinal section measurement data;
a longitudinal section measurement data acquisition unit that acquires the longitudinal section measurement data generated by the longitudinal section measurement device when the unmanned aerial vehicle flies through an interior space of a structure extending laterally along a predetermined path;
a longitudinal section position estimation unit that matches a first predetermined shape corresponding to an inner wall surface of the structure to the longitudinal section measurement data acquired by the longitudinal section measurement data acquisition unit, and estimates a position of the unmanned aerial vehicle in the longitudinal section based on its own position relative to the matched predetermined shape;
The unmanned aerial vehicle further includes a cross section measurement device for measuring a spatial shape within a cross section based on a predetermined direction of the unmanned aerial vehicle and generating cross section measurement data;
a cross-section measurement data acquisition unit that acquires the cross-section measurement data generated by the cross-section measurement device when the unmanned aerial vehicle flies through an interior space of a structure extending along a predetermined path in the lateral direction;
an optical cross-sectional position/attitude estimation unit that matches a second predetermined shape to the cross-sectional measurement data acquired by the cross-sectional measurement data acquisition unit and estimates a cross-sectional position and/or attitude of the unmanned aerial vehicle based on its own position and/or attitude with respect to the matched second predetermined shape;
A self-location estimation system comprising: 前記第１の所定形状は、少なくとも一部が幾何学的形状と対応しており、
前記縦断面内位置推定部は、前記縦断面測定データに対して前記幾何学的形状をマッチングし、前記マッチングした幾何学的形状に対する自己位置に基づき、前記縦断面内位置を推定する、
請求項１に記載の自己位置推定システム。 the first predetermined shape corresponds at least in part to a geometric shape;
the longitudinal section position estimation unit matches the geometric shape to the longitudinal section measurement data, and estimates the position in the longitudinal section based on a self-position with respect to the matched geometric shape;
The self-location estimation system according to claim 1 . 前記幾何学的形状は、凸な曲線で構成される形状である、
請求項２に記載の自己位置推定システム。 The geometric shape is a shape formed by a convex curve.
The self-location estimation system according to claim 2 . 前記幾何学的形状は、円形の一部又は全部、及び、楕円形の一部又は全部の少なくとも一つである、
請求項３に記載の自己位置推定システム。 The geometric shape is at least one of a partial or complete circle and a partial or complete ellipse.
The self-location estimation system according to claim 3 . 前記縦断面内位置推定部は、前記縦断面測定データに対して前記構造物の底面に対応する第３の所定形状をマッチングし、
前記マッチングした第３の所定形状に対して所定の高さ範囲内に位置するように前記第１の所定形状をマッチングする、
請求項１～４の何れか１項に記載の自己位置推定システム。 the longitudinal section position estimation unit matches a third predetermined shape corresponding to a bottom surface of the structure to the longitudinal section measurement data;
matching the first predetermined shape to be located within a predetermined height range with respect to the matched third predetermined shape;
The self-location estimation system according to any one of claims 1 to 4. 前記縦断面測定データは、離散データであり、
前記縦断面内位置推定部は、前記離散データにおける外れ値を除去し、マッチングを行う、
請求項１～５の何れか１項に記載の自己位置推定システム。 The longitudinal section measurement data is discrete data;
The longitudinal section position estimation unit removes outliers in the discrete data and performs matching.
A self-location estimation system according to any one of claims 1 to 5. 前記無人航空機は、前記無人航空機の下方を撮像可能な撮像装置をさらに含み、
前記無人航空機の飛行中に前記撮像装置により連続的に撮像された画像から前記無人航空機の横方向自己位置を推定する画像横方向位置推定部をさらに含む、
請求項１～６の何れか１項に記載の自己位置推定システム。 The unmanned aerial vehicle further includes an imaging device capable of imaging an area below the unmanned aerial vehicle,
The image lateral position estimation unit estimates a lateral position of the unmanned aerial vehicle from images continuously captured by the imaging device during flight of the unmanned aerial vehicle.
A self-location estimation system according to any one of claims 1 to 6. 前記第２の所定形状は、少なくとも一部が線分状又は円弧状である、
請求項１に記載の自己位置推定システム。 The second predetermined shape is at least partially in the shape of a line segment or an arc.
The self-location estimation system according to claim 1 . 前記第２の所定形状は、線分状である、
請求項１に記載の自己位置推定システム。 The second predetermined shape is a line segment.
The self-location estimation system according to claim1 . 請求項１～９の何れか１項に記載の自己位置推定システムと、
前記自己位置推定システムにより推定された自己位置に基づき、設定された飛行計画経路に沿って無人航空機を飛行させる飛行制御部と、を含む、
無人航空機の飛行制御システム。 A self-location estimation system according to any one of claims 1 to 9,
A flight control unit that flies the unmanned aircraft along a set flight plan route based on the self-position estimated by the self-position estimation system.
Unmanned aerial vehicle flight control system. 請求項１～９の何れか１項に記載の自己位置推定システムを有する、無人航空機。 An unmanned aerial vehicle comprising the self-location estimation system according to any one of claims 1 to9 . 請求項１１に記載の飛行制御システムを有する、無人航空機。 An unmanned aerial vehicle comprising the flight control system of claim11 .水平方向に延びるトンネル内における無人航空機の自己位置をコンピュータにより推定する方法であって、
前記無人航空機の飛行経路を横切る方向の縦断面内の空間形状を測定し、縦断面測定データを生成する縦断面測定装置から、前記無人航空機が横方向に所定の経路に沿って延びる構造物の内部空間を飛行するときに、前記縦断面測定データを取得する縦断面測定データ取得ステップと、
前記縦断面測定データ取得ステップにおいて取得した前記縦断面測定データに、第１の所定形状をマッチングし、当該マッチングした所定形状に対する自己位置に基づき、前記縦断面内における前記無人航空機の縦断面内位置を推定する縦断面内位置推定ステップと、
無人航空機の所定の方向を基準とした横断面内の空間形状を測定し、横断面測定データを生成する横断面測定装置から、前記無人航空機が、横方向に所定の経路に沿って延びる構造物の内部空間を飛行するときに、前記横断面測定データを取得する横断面測定データ取得ステップと、
前記横断面測定データ取得ステップにおいて取得した前記横断面測定データに、第２の所定形状をマッチングし、当該マッチングした第２の所定形状に対する自己位置及び／又は姿勢に基づき、前記無人航空機の横方向位置及び／又は姿勢を推定する横断面内位置／姿勢推定ステップと、
を含む、自己位置推定方法。A method for estimating a self-position of an unmanned aerial vehiclein a horizontally extending tunnel by a computer, comprising:
a longitudinal section measurement data acquisition step of acquiring the longitudinal section measurement data from a longitudinal section measurement device that measures a spatial shape within a longitudinal section in a direction transverse to the flight path of the unmanned aerial vehicle and generates the longitudinal section measurement data when the unmanned aerial vehicle flies through an internal space of a structure extending along a predetermined path in a lateral direction;
a longitudinal section position estimation step of matching a first predetermined shape to the longitudinal section measurement data acquired in the longitudinal section measurement data acquisition step, and estimating a position of the unmanned aerial vehicle in the longitudinal section based on its own position with respect to the matched predetermined shape;
a cross-sectional measurement data acquisition step of acquiring, from a cross-sectional measurement device that measures a spatial shape within a cross-section based on a predetermined direction of the unmanned aerial vehicle and generates cross-sectional measurement data, the cross-sectional measurement data when the unmanned aerial vehicle flies through an interior space of a structure extending laterally along a predetermined path;
a transverse plane position/attitude estimation step of matching a second predetermined shape to the transverse plane measurement data acquired in the transverse plane measurement data acquisition step, and estimating a lateral position and/or attitude of the unmanned aerial vehicle based on its own position and/or attitude relative to the matched second predetermined shape;
A self-location estimation method comprising: 請求項１３に記載の方法をコンピュータに実行させるためのプログラム。 A program for causing a computer to execute the method according to claim13 . 請求項１４に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium having the program according to claim14 recorded thereon.

Images