本発明は、制御システム、制御方法および制御プログラムに関する。The present invention relates to a control system, a control method, and a control program.
近年、航空機を利用して上空から地上の対象エリアの画像や空間データを取得する航空センシングシステムの実用化の検討が進められている。航空センシングを行う場合には、航空センシングデータを所望の用途に利用できるように、予め設定された飛行条件や計測条件に従ってセンシングを行う必要がある。しかし、天候の状態や機器の状態などの影響により航空センシング中に一時的に上記した条件を満たす航空センシングデータを取得できない場合がある。航空センシングデータは、一般的にデータ量が膨大であり、膨大な航空センシングデータの中から上記した条件を満たさない航空センシングデータを見つけ出す作業には多大な時間を要していた。そのため、航空センシングデータの中から所定条件を満たさないデータを判定する機能が求められていた。In recent years, there has been progress in the practical application of aerial sensing systems that use aircraft to acquire images and spatial data of target areas on the ground from the sky. When performing aerial sensing, sensing must be performed according to preset flight and measurement conditions so that the aerial sensing data can be used for the desired purpose. However, there are cases where aerial sensing data that meets the above conditions cannot be temporarily acquired during aerial sensing due to weather conditions, equipment conditions, and other factors. Aerial sensing data generally involves a huge amount of data, and the task of finding aerial sensing data that does not meet the above conditions from among the huge amount of aerial sensing data has taken a lot of time. For this reason, there has been a demand for a function that can determine data from aerial sensing data that does not meet specified conditions.
特許文献１には、空撮を行う無人航空機が飛行予定ルートから所定距離離れた場合に空撮映像のデータにフラグを組み込んで、フラグが組み込まれている時点の空撮映像を編集の必要性があることを報知する技術が開示されている。Patent Document 1 discloses a technology that embeds a flag in the data of aerial footage when an unmanned aircraft taking aerial photographs moves a specified distance away from the planned flight route, and notifies the user that the aerial footage at the time the flag was embedded needs to be edited.
特許文献１には、航空機の実際の飛行位置に応じて撮影失敗か否かを判断し、撮影失敗の情報を空撮映像データに組み込むことが開示されているが、撮影失敗であれば撮影データを利用せず、撮影失敗でなければ撮影データを利用する、という二者択一の判断しか行われていなかった。そのため、データの利用用途やデータ処理内容によっては問題なく利用できるデータであっても、撮影失敗と判定されたデータは利用されないため、航空センシングデータを効率よく利用して、迅速にユーザへ航空センシングデータまたは処理後データを提供することができなかった。Patent Document 1 discloses determining whether or not shooting has failed based on the actual flight position of the aircraft, and incorporating information about the shooting failure into the aerial video data, but only a binary decision is made; if shooting has failed, the shooting data is not used, and if shooting has not failed, the shooting data is used. As a result, even if the data can be used without problems depending on the data's intended use and the data processing content, data determined to be a shooting failure is not used, making it impossible to efficiently use aerial sensing data and quickly provide aerial sensing data or processed data to users.
そこで、本発明は、航空機により取得される取得データをより効率よく利用できるシステムを提供することを一つの目的とする。Therefore, one objective of the present invention is to provide a system that can more efficiently utilize data acquired by aircraft.
本発明によれば、飛行体に搭載されたセンサを利用して取得された対象地域の画像又は点群情報を含むセンシングデータ、当該センシングデータのデータ処理の過程で生成される処理中データ、前記センシングデータのデータ処理により生成される処理後データの少なくともいずれかの判定対象データを取得するデータ取得部と、前記データ取得部で取得した前記判定対象データに対する適否判定を行うデータ適否判定部と、 前記データ適否判定部により不適切と判定された場合に、前記適否判定の内容に関する情報を含む付随情報を生成する付随情報生成部と、を備え、不適切と判定された不適切データ、又は不適切判定に関連する前記対象地域の地上位置、若しくは前記飛行体の位置、若しくは前記飛行体の制御目標位置、若しくは前記飛行体の制御目標経路を前記付随情報と関連付けて、記録部に記録する又は表示部に表示する、制御システムが得られる。According to the present invention, a control system is obtained that includes a data acquisition unit that acquires data to be judged, which is at least any of sensing data including an image or point cloud information of a target area acquired using a sensor mounted on an aircraft, in-process data generated in the course of data processing of the sensing data, and processed data generated by data processing of the sensing data, a data suitability judgment unit that judges the suitability of the target data acquired by the data acquisition unit, and an associated information generation unit that generates associated information including information regarding the suitability judgment when the data is judged to be inappropriate by the data suitability judgment unit, and that associates the inappropriate data judged to be inappropriate, or the ground position of the target area related to the inappropriate judgment, or the position of the aircraft, or the control target position of the aircraft, or the control target route of the aircraft, with the associated information and records it in a recording unit or displays it on a display unit.
本発明によれば、航空機により取得される取得データをより効率よく利用することで、ユーザへ迅速にデータを提供できる。According to the present invention, data acquired by aircraft can be used more efficiently, allowing data to be provided to users quickly.
本発明の実施形態の内容を列記して説明する。本発明は、以下のような構成を備える。
［項目１］
飛行体に搭載されたセンサを利用して取得された対象地域の画像又は点群情報を含むセンシングデータ、当該センシングデータのデータ処理の過程で生成される処理中データ、前記センシングデータのデータ処理により生成される処理後データの少なくともいずれかの判定対象データを取得するデータ取得部と、
前記データ取得部で取得した前記判定対象データに対する適否判定を行うデータ適否判定部と、
前記データ適否判定部により不適切と判定された場合に、前記適否判定の内容に関する情報を含む付随情報を生成する付随情報生成部と、を備え、
不適切と判定された不適切データ、又は不適切判定に関連する前記対象地域の地上位置、若しくは前記飛行体の位置、若しくは前記飛行体の制御目標位置、若しくは前記飛行体の制御目標経路を前記付随情報と関連付けて、記録部に記録する又は表示部に表示する、制御システム。
［項目２］
項目１に記載の制御システムにおいて、
前記付随情報は、前記適否判定により不適切と判定された理由に関する情報を含む、制御システム。
［項目３］
項目１又は２に記載の制御システムにおいて、
マップ形式、三次元モデル、三次元空間の少なくともいずれかの画面上において、前記不適切データ、又は前記不適切判定に関連する前記対象地位の地上位置、若しくは前記飛行体の位置、若しくは前記飛行体の制御目標位置、若しくは前記飛行体の制御目標経路と関連付けて前記付随情報が表示される、制御システム。
［項目４］
項目１乃至３のいずれかに記載の制御システムにおいて、
前記付随情報は、前記適否判定により不適切判定された場合に、不適切データが適否判定の基準値を超過した度合いの情報を含む、制御システム。
［項目５］
項目１乃至４のいずれかに記載の制御システムにおいて、
前記付随情報は、前記センシングデータの取得に関するセンシング実施日時、前記飛行体識別情報、前記センサ識別情報、前記飛行体制御情報、前記センサ制御情報、前記センシングデータの状態情報、の少なくともいずれかを含む、制御システム。
［項目６］
項目１乃至５のいずれかに記載の制御システムにおいて、
前記データ適否判定部は、予め設定された判定条件又は人工知能を利用して、前記判定対象データに対する適否判定を行う、又は不適切データの候補を表示する、制御システム。
［項目７］
項目１乃至６のいずれかに記載の制御システムにおいて、
前記データ適否判定部は、ユーザから受け付けた前記判定対象データに対する適否判定入力情報に基づいて前記判定対象データに対する適否判定を行う、制御システム。
［項目８］
項目１乃至７のいずれかに記載の制御システムにおいて、
前記データ適否判定部が前記センシングデータの適否判定を行う場合、前記判定条件は、前記センシングデータの状態、前記飛行体の状態、前記センサの状態の少なくともいずれかを含み、
又は、前記データ適否判定部が前記処理後データの適否判定を行う場合、前記判定条件は、前記処理後データの状態を含む、制御システム。
［項目９］
項目１乃至８のいずれかに記載の制御システムにおいて、
前記データ適否判定部が前記センシングデータの適否判定を行う場合であって、前記判定条件に前記飛行体の状態が含まれる場合の前記判定条件は、前記飛行体に関する状態量の基準値との比較、若しくは過去の実績値との比較、又は前記飛行体に関する制御対象状態量の制御目標値との比較により設定される、制御システム。
［項目１０］
項目１乃至９のいずれかに記載の制御システムにおいて、
前記データ適否判定部が前記センシングデータの適否判定を行う場合であって、前記判定条件に前記センシングデータの状態が含まれる場合の前記判定条件は、前記センシングデータに関する状態量と基準値の比較、若しくは過去のセンシングデータの状態量との比較、若しくは目標値との比較、又はセンシング対象の目標エリアに対するセンシングデータの取得率、により設定される、制御システム。
［項目１１］
項目１乃至１０のいずれかに記載の制御システムにおいて、
前記データ適否判定部が前記処理中データまたは前記処理後データの適否判定を行う場合における前記判定基準は、前記処理中データまたは前記処理後データに関する状態量と基準値の比較、若しくは過去の処理後データの状態量との比較、若しくは目標値との比較により設定される、制御システム。
［項目１２］
項目１乃至１１のいずれかに記載の制御システムにおいて、
前記データ適否判定部により前記判定対象データが不適切であると判定した場合の対応アクションを判定する対応アクション判定部を備え、
前記対応アクションの情報を前記付随情報に含む、または前記対応アクションを実行させる、制御システム。
［項目１３］
項目１乃至１２のいずれかに記載の制御システムにおいて、
前記対応アクション判定部は、前記判定対象データの内容、前記飛行体の状態、前記センサの状態、前記適否判定の結果、の少なくともいずれかに応じて、前記対応アクションを判定する、制御システム。
［項目１４］
項目１乃至１３のいずれかに記載の制御システムにおいて、
前記対応アクション判定部は、ユーザから受け付けた対応アクションの指定入力情報に応じて、前記対応アクションを判定する、制御システム。
［項目１５］
項目１乃至１４のいずれかに記載の制御システムにおいて、
前記対応アクションは、前記不適切データの不使用、前記不適切データに替えて他データの代用、前記処理後データの利用用途制限の通知、前記不適切データを含むことの通知、データ処理方法の指定、飛行体によるセンシングの再実施、ユーザ指定の利用用途に応じたデータ処理方法の指定、ユーザ指定の利用用途に応じた処理後データの表示方法の指定、の少なくともいずれかを含む、制御システム。
［項目１６］
項目１乃至１５のいずれかに記載の制御システムにおいて、
前記付随情報には、前記対応アクションに関する情報が含まれる、制御システム。
［項目１７］
項目１乃至１６のいずれかに記載の制御システムにおいて、
前記付随情報に含まれる前記対応アクションの情報が、前記不適切データの不使用である場合に、前記不適切データに関連する対象地域の情報が、前記付随情報に含まれる、制御システム。
［項目１８］
項目１乃至１７のいずれかに記載の制御システムにおいて、
前記付随情報に含まれる前記対応アクションの情報が、前記不適切データに替えて他データの代用である場合に、代用される前記他データに関する情報が、前記付随情報に含まれる、制御システム。
［項目１９］
項目１乃至１８のいずれかに記載の制御システムにおいて、
前記付随情報に含まれる前記対応アクションの情報が、前記処理後データの利用用途制限の通知である場合に、利用用途の制限に関する情報が、前記付随情報に含まれる、制御システム。
［項目２０］
項目１乃至１９のいずれかに記載の制御システムにおいて、
前記付随情報に含まれる前記対応アクションの情報が、前記データ処理方法の指定である場合に、指定される前記データ処理方法に関する情報が、前記付随情報に含まれる、制御システム。
［項目２１］
項目１乃至２０のいずれかに記載の制御システムにおいて、
前記付随情報に含まれる前記対応アクションの情報が、前記飛行体によるセンシングの再実施である場合に、センシング再実施の予定位置、予定エリア、予定時刻の少なくともいずれかを含むセンシング再実施予定情報が、前記付随情報に含まれる、制御システム。
［項目２２］
項目１乃至２１のいずれかに記載の制御システムにおいて、
前記処理後データの利用用途制限の通知、前記不適切データを含むことの通知、データ処理方法の指定、の少なくともいずれかの前記対応アクションにより、前記不適切データを利用可能と判定するための利用可否判定条件をユーザから受け付け、前記適否判定により不適切判定された場合に、前記利用可否判定条件に従って、利用可能な前記不適切データを判定する、又は利用可能な前記不適切データを表示する、制御システム。
［項目２３］
項目１乃至２２のいずれかに記載の制御システムにおいて、
前記処理後データの利用用途制限の通知、前記不適切データを含むことの通知、データ処理方法の指定、の少なくともいずれかを前記対応アクションにより、前記不適切データを利用可能と判定するための利用判定条件をユーザから受け付け、前記適否判定により不適切判定された場合に、前記利用判定条件に従って前記不適切データを利用する対応アクションを判定する、又は前記不適切データを利用する対応アクション候補を表示する、制御システム。
［項目２４］
項目１乃至２３のいずれかに記載の制御システムにおいて、
前記適否判定により不適切判定された場合に、ユーザから受け付けた対応アクションの判定条件に応じて、又は人工知能を利用して、対応アクションを判定する、又は対応アクションを表示する、制御システム。
［項目２５］
コンピュータが、
飛行体に搭載されたセンサを利用して取得された対象地域の画像又は点群情報を含むセンシングデータ、当該センシングデータのデータ処理の過程で生成される処理中データ、前記センシングデータのデータ処理により生成される処理後データの少なくともいずれかの判定対象データを取得するデータ取得ステップと、
前記データ取得部で取得した前記判定対象データに対する適否判定を行うデータ適否判定ステップと、
不適切と判定された不適切データに対して、前記適否判定の内容に関する情報を含む付随情報を生成する付随情報生成ステップと、
前記不適切データ、又は前記不適切データに対応する前記対象地域の地表位置、若しくは前記飛行体の位置、若しくは前記飛行体の制御目標位置、若しくは前記飛行体の制御目標経路を前記付随情報と関連付けて、記録部に記録する又は表示部に表示するステップと、
を実行する制御方法。
［項目２６］
コンピュータに、
飛行体に搭載されたセンサを利用して取得された対象地域の画像又は点群情報を含むセンシングデータ、当該センシングデータのデータ処理の過程で生成される処理中データ、前記センシングデータのデータ処理により生成される処理後データの少なくともいずれかの判定対象データを取得するデータ取得ステップと、
前記データ取得部で取得した前記判定対象データに対する適否判定を行うデータ適否判定ステップと、
不適切と判定された不適切データに対して、前記適否判定の内容に関する情報を含む付随情報を生成する付随情報生成ステップと、
前記不適切データ、又は前記不適切データに対応する前記対象地域の地表位置、若しくは前記飛行体の位置、若しくは前記飛行体の制御目標位置、若しくは前記飛行体の制御目標経路を前記付随情報と関連付けて、記録部に記録する又は表示部に表示するステップと、
を実行させる、制御プログラム。The present invention will be described below with reference to the preferred embodiments.
[Item 1]
a data acquisition unit that acquires at least any one of the following data to be determined: sensing data including an image or point cloud information of a target area acquired using a sensor mounted on an aircraft, processing data generated in the process of data processing of the sensing data, and processed data generated by the data processing of the sensing data;
a data suitability determination unit that determines suitability of the judgment target data acquired by the data acquisition unit;
an associated information generating unit that generates associated information including information regarding the content of the suitability judgment when the data is judged to be inappropriate by the data suitability judging unit;
A control system that associates inappropriate data determined to be inappropriate, or the ground position of the target area related to the inappropriate determination, or the position of the aircraft, or the control target position of the aircraft, or the control target route of the aircraft, with the accompanying information and records it in a recording unit or displays it on a display unit.
[Item 2]
In the control system according to item 1,
A control system, wherein the associated information includes information regarding the reason why the suitability judgment determined the device to be inappropriate.
[Item 3]
In the control system according to item 1 or 2,
A control system in which the associated information is displayed on at least one of a screen in the form of a map, a three-dimensional model, or three-dimensional space in association with the inappropriate data, or the ground position of the target status related to the inappropriate judgment, or the position of the aircraft, or the control target position of the aircraft, or the control target route of the aircraft.
[Item 4]
In the control system according to any one of items 1 to 3,
A control system, wherein the associated information includes information on the degree to which the inappropriate data exceeds a standard value for suitability judgment when the inappropriate data is judged to be inappropriate by the suitability judgment.
[Item 5]
In the control system according to any one of items 1 to 4,
A control system in which the associated information includes at least one of the sensing date and time regarding the acquisition of the sensing data, the aircraft identification information, the sensor identification information, the aircraft control information, the sensor control information, and status information of the sensing data.
[Item 6]
In the control system according to any one of items 1 to 5,
A control system in which the data suitability judgment unit uses preset judgment conditions or artificial intelligence to judge the suitability of the data to be judged, or displays candidates for inappropriate data.
[Item 7]
In the control system according to any one of items 1 to 6,
The data suitability judgment unit judges the suitability of the judgment target data based on suitability judgment input information for the judgment target data received from a user.
[Item 8]
In the control system according to any one of items 1 to 7,
When the data suitability determination unit determines the suitability of the sensing data, the determination condition includes at least one of a state of the sensing data, a state of the aircraft, and a state of the sensor,
Alternatively, in a case where the data suitability determination unit determines the suitability of the processed data, the determination condition includes a state of the processed data.
[Item 9]
In the control system according to any one of items 1 to 8,
A control system in which, when the data suitability judgment unit judges the suitability of the sensing data, the judgment condition when the judgment condition includes the state of the aircraft is set by comparing the state quantity related to the aircraft with a reference value, or a comparison with a past actual value, or a comparison with a control target value of the state quantity to be controlled related to the aircraft.
[Item 10]
In the control system according to any one of items 1 to 9,
A control system in which, when the data suitability judgment unit judges the suitability of the sensing data and when the judgment conditions include the state of the sensing data, the judgment conditions are set by comparing a state quantity related to the sensing data with a reference value, or a comparison with a state quantity of past sensing data, or a comparison with a target value, or the acquisition rate of sensing data for a target area to be sensed.
[Item 11]
In the control system according to any one of items 1 to 10,
a control system in which the judgment criteria when the data suitability judgment unit judges the suitability of the data being processed or the processed data are set by comparing a state quantity related to the data being processed or the processed data with a reference value, or a comparison with a state quantity of past processed data, or a comparison with a target value.
[Item 12]
In the control system according to any one of items 1 to 11,
a response action determination unit that determines a response action to be taken when the data suitability determination unit determines that the data to be judged is inappropriate;
A control system that includes information on the corresponding action in the accompanying information, or that causes the corresponding action to be executed.
[Item 13]
In the control system according to any one of items 1 to 12,
A control system in which the response action determination unit determines the response action based on at least one of the content of the data to be determined, the state of the aircraft, the state of the sensor, and the result of the suitability determination.
[Item 14]
In the control system according to any one of items 1 to 13,
The response action determination unit determines the response action according to designated input information of the response action received from a user.
[Item 15]
In the control system according to any one of items 1 to 14,
A control system in which the response action includes at least one of: not using the inappropriate data, substituting other data for the inappropriate data, notifying restrictions on use of the processed data, notifying that the processed data contains inappropriate data, specifying a data processing method, re-performing sensing using an aircraft, specifying a data processing method according to a user-specified use, and specifying a display method for the processed data according to a user-specified use.
[Item 16]
In the control system according to any one of items 1 to 15,
A control system, wherein the associated information includes information regarding the corresponding action.
[Item 17]
In the control system according to any one of items 1 to 16,
A control system, wherein when the information on the response action included in the associated information is non-use of the inappropriate data, information on a target area related to the inappropriate data is included in the associated information.
[Item 18]
In the control system according to any one of items 1 to 17,
A control system, wherein when the information on the response action included in the associated information is a substitution of other data in place of the inappropriate data, information on the other data to be substituted is included in the associated information.
[Item 19]
In the control system according to any one of items 1 to 18,
A control system, wherein when the information on the response action included in the associated information is a notification of a restriction on the use of the processed data, information on the restriction on the use is included in the associated information.
[Item 20]
In the control system according to any one of items 1 to 19,
A control system, wherein when the information on the corresponding action included in the associated information is a designation of the data processing method, information on the designated data processing method is included in the associated information.
[Item 21]
In the control system according to any one of items 1 to 20,
A control system in which, when the information on the response action included in the associated information is a re-execution of sensing by the aircraft, the associated information includes sensing re-execution schedule information including at least one of the planned location, planned area, and planned time for the sensing re-execution.
[Item 22]
In the control system according to any one of items 1 to 21,
A control system that receives from a user a usability determination condition for determining whether the inappropriate data is usable by at least one of the response actions of notifying the user of restrictions on the use of the processed data, notifying the user that the processed data contains inappropriate data, and specifying a data processing method, and if the inappropriate data is determined to be inappropriate by the suitability determination, determines whether the inappropriate data is usable or displays the usable inappropriate data in accordance with the usability determination condition.
[Item 23]
In the control system according to any one of items 1 to 22,
The control system receives from a user usage judgment conditions for determining that the inappropriate data can be used by the response action, at least one of notifying the user of restrictions on the use of the processed data, notifying the user that the processed data contains inappropriate data, and specifying a data processing method, and if the inappropriate data is judged to be inappropriate by the suitability judgment, determines a response action using the inappropriate data in accordance with the usage judgment conditions, or displays candidate response actions using the inappropriate data.
[Item 24]
In the control system according to any one of items 1 to 23,
When the suitability judgment results in an inappropriate response, the control system judges a response action or displays a response action according to judgment conditions for the response action received from a user or by utilizing artificial intelligence.
[Item 25]
The computer
a data acquisition step of acquiring at least any one of the following data to be determined: sensing data including an image or point cloud information of a target area acquired using a sensor mounted on an aircraft, processing data generated in the process of data processing of the sensing data, and processed data generated by the data processing of the sensing data;
a data suitability determination step of determining suitability of the judgment target data acquired by the data acquisition unit;
an associated information generating step of generating associated information including information regarding the content of the suitability determination for the inappropriate data determined to be inappropriate;
a step of associating the inappropriate data, or a ground position of the target area corresponding to the inappropriate data, or a position of the aircraft, or a control target position of the aircraft, or a control target route of the aircraft, with the associated information, and recording the associated information in a recording unit or displaying the associated information on a display unit;
A control method for performing the above.
[Item 26]
On the computer,
a data acquisition step of acquiring at least any one of the following data to be determined: sensing data including an image or point cloud information of a target area acquired using a sensor mounted on an aircraft, processing data generated in the process of data processing of the sensing data, and processed data generated by the data processing of the sensing data;
a data suitability determination step of determining suitability of the judgment target data acquired by the data acquisition unit;
an associated information generating step of generating associated information including information regarding the content of the suitability determination for the inappropriate data determined to be inappropriate;
a step of associating the inappropriate data, or a ground position of the target area corresponding to the inappropriate data, or a position of the aircraft, or a control target position of the aircraft, or a control target route of the aircraft, with the associated information, and recording the inappropriate data in a recording unit or displaying the inappropriate data in a display unit;
A control program that executes the above.
＜Ａ．第１の実施形態＞
以下、本発明の実施の形態について、図面を参照しながら説明する。本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、以下に示す実施形態は、例を表すに過ぎず、その用途、目的又は規模等に応じて、他の既知の要素や代替手段を採用可能である。<A. First embodiment>
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. In this specification and the drawings, components having substantially the same functional configurations are denoted by the same reference numerals, and duplicated explanations will be omitted. In addition, the embodiments shown below are merely examples, and other known elements or alternative means can be adopted depending on the application, purpose, scale, etc.
［Ａ－１．構成］
（Ａ－１－１．概要）
図１は、本発明の一実施形態に係る航空データ処理システム１（以下、「本システム１」ともいう。）の全体構成図である。図１に示されるように、本システムは、航空機１０００、データ取得拠点システム２０００、データ処理拠点システム３０００、配信システム４０００、衛星システム６０００を備えている。[A-1. composition]
(A-1-1. Overview)
Fig. 1 is a diagram showing the overall configuration of an aviation data processing system 1 (hereinafter, also referred to as "this system 1") according to an embodiment of the present invention. As shown in Fig. 1, this system includes an aircraft 1000, a data acquisition base system 2000, a data processing base system 3000, a distribution system 4000, and a satellite system 6000.
航空機１０００は、光学カメラ、赤外線カメラ、LiDARなどのレーザーセンサなどを含むセンサを用いて上空から対象地域の情報をセンシングした取得データを取得する。データ取得拠点システム2000は、航空機が無人航空機である場合に、航空機と制御情報のやり取りを行って遠隔操縦装置を備えた拠点であり、移動可能な車両型または移動しない不動の固定型の拠点として構成される。データ処理拠点システム3000は、航空機が取得した取得データを取得して、データ処理を行い、処理後データを生成するシステムである。配信システム4000は、処理後データを取得して、ユーザ端末装置5000に対して、インターネット回線を介して処理後データを配信する。The aircraft 1000 acquires acquired data by sensing information on a target area from the sky using sensors including optical cameras, infrared cameras, and laser sensors such as LiDAR. If the aircraft is an unmanned aircraft, the data acquisition base system 2000 is a base equipped with a remote control device that exchanges control information with the aircraft, and is configured as a mobile vehicle-type or a stationary, immovable base. The data processing base system 3000 is a system that acquires the acquired data acquired by the aircraft, processes the data, and generates processed data. The distribution system 4000 acquires the processed data and distributes it to the user terminal device 5000 via an Internet line.
ユーザ端末装置の一例である危機対策本部端末は、危機対策本部の責任者などのユーザが利用する端末装置であり、危機対策本部端末から配信システムにアクセスすることで、処理後データを閲覧することができる。また、データ取得拠点システム2000、データ処理拠点システム3000には、これらのシステムを管理または操作するユーザへの表示装置やユーザ入力装置が設けられる。The crisis management headquarters terminal, which is an example of a user terminal device, is a terminal device used by users such as the person in charge of the crisis management headquarters, and processed data can be viewed by accessing the distribution system from the crisis management headquarters terminal. In addition, the data acquisition base system 2000 and the data processing base system 3000 are provided with display devices and user input devices for users who manage or operate these systems.
（Ａ－１－２．航空機１０００）
図２は、本発明の一実施形態に係る航空機の機能構成図である。航空機1000は、航空機を構成するシステムであり、飛行機能を有する飛行部1100、センサによりセンシングを行うセンシング部1200、航空データ処理システム１内の衛星システム6000や携帯電話通信網などを介してデータ取得拠点システムと通信を行う通信部1300、飛行・センシング・測位の各状態を判定する状態判定部1400、取得データ等を記録するセンシングデータ記録部1500、飛行制御や計測制御に関する情報や状態判定結果を記録する状態判定結果記録部1630を備えている。(A-1-2. Aircraft 1000)
2 is a functional configuration diagram of an aircraft according to an embodiment of the present invention. The aircraft 1000 is a system that constitutes an aircraft, and includes a flight unit 1100 having a flight function, a sensing unit 1200 that performs sensing using a sensor, a communication unit 1300 that communicates with a data acquisition base system via a satellite system 6000 in the aircraft data processing system 1 or a mobile phone communication network, a state determination unit 1400 that determines each state of flight, sensing, and positioning, a sensing data recording unit 1500 that records acquired data, and a state determination result recording unit 1630 that records information related to flight control and measurement control and state determination results.
本明細書において、「航空機」とは、動力手段（電力、原動機等）、操縦方式（無線であるか有線であるか、及び、完全自律飛行型であるか部分手動操縦型であるか等）を問わず、また、有人か無人かを問わず、自律的に姿勢制御を行う機能を有する飛行体全般を指すこととする。また、航空機は、無人航空機（Unmanned Aerial Vehicle：ＵＡＶ）、飛行体、マルチコプター（Multi Copter）、ＲＰＡＳ（Remote Piloted Aircraft Systems）、又はＵＡＳ（Unmanned Aircraft Systems）等と称呼されることがある。また、航空機は、固定翼を有する固定翼型、複数のプロペラを有するマルチコプター型、固定翼と複数プロペラの両方を有するＶＴＯＬ型のいずれであっても良い。In this specification, "aircraft" refers to any flying object that has the ability to autonomously control its attitude, regardless of the power source (electricity, prime mover, etc.), the control method (wireless or wired, and whether fully autonomous or partially manually controlled, etc.), and whether it is manned or unmanned. Aircraft may also be referred to as unmanned aerial vehicles (UAVs), flying objects, multicopters, RPASs (Remote Piloted Aircraft Systems), or UASs (Unmanned Aircraft Systems). Aircraft may be fixed-wing types with fixed wings, multicopters with multiple propellers, or VTOL types with both fixed wings and multiple propellers.
（Ａ－１－２―１．飛行部１１００）
飛行部1100は、自己位置・速度判定部1110、姿勢判定部1120、飛行制御部1130を備えている。(A-1-2-1. Flying Section 1100)
The flight unit 1100 includes a self-position/velocity determination unit 1110, an attitude determination unit 1120, and a flight control unit 1130.
自己位置・速度判定部1110は、航空機1000の位置と速度を判定する機能を有する。例えば、GPS（Global Positioning System）やGNSS（Global Navigation Satellite System）等を用いて、航空機に搭載された衛星信号アンテナにより人工衛星から受信する衛星信号に基づいて、機体の位置（絶対位置）を計測する。また、自己位置と速度の判定は、例えば、ＲＴＫ－ＧＮＳＳ（Real Time Kinematic - Global Navigation Satellite System）を用いることもできる。位置情報は、少なくとも平面視での２次元での座標情報（例えば緯度、経度）を含み、好ましくは高度情報を含む３次元での座標情報を含む。The self-position/speed determination unit 1110 has a function of determining the position and speed of the aircraft 1000. For example, the aircraft's position (absolute position) is measured based on satellite signals received from artificial satellites by a satellite signal antenna mounted on the aircraft using GPS (Global Positioning System) or GNSS (Global Navigation Satellite System). The self-position and speed can also be determined using, for example, RTK-GNSS (Real Time Kinematic - Global Navigation Satellite System). The position information includes at least two-dimensional coordinate information in a planar view (e.g., latitude, longitude), and preferably includes three-dimensional coordinate information including altitude information.
次に、姿勢判定部1120は、航空機1000の姿勢（方位）を判定する機能を有する。具体的には、航空機に搭載された一対の衛星アンテナで構成されるGPSコンパス、または地磁気センサなどにより、機体の姿勢を判定する。Next, the attitude determination unit 1120 has a function of determining the attitude (direction) of the aircraft 1000. Specifically, the attitude of the aircraft is determined by a GPS compass consisting of a pair of satellite antennas mounted on the aircraft, a geomagnetic sensor, or the like.
次に、飛行制御部1130は、フライトコントローラとも呼ばれる処理ユニットを有する。処理ユニットは、プログラマブルプロセッサ（例えば、中央処理ユニット（ＣＰＵ）、ＭＰＵ又はＤＳＰ）等の１つ以上のプロセッサを有することができる。処理ユニットは、メモリ（記憶部）にアクセス可能である。メモリは、１つ以上のステップを行うために処理ユニットが実行可能であるロジック、コード、及び／又はプログラム命令を記憶している。Flight control unit 1130, in turn, includes a processing unit, also referred to as a flight controller. The processing unit may include one or more processors, such as a programmable processor (e.g., a central processing unit (CPU), MPU, or DSP). The processing unit has access to a memory. The memory stores logic, code, and/or program instructions that the processing unit can execute to perform one or more steps.
処理ユニットは、推力発生装置の出力を制御することで航空機の飛行状態を制御する機能を有する。具体的には、プロペラと、プロペラを駆動するモーターと、モーター出力を制御するモーター制御部により、プロペラから発生される推力を制御して、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θｘ、θｙ及びθｚ）を有する航空機の空間的配置、姿勢角角度、角速度、角加速度、角躍度速度及び／又は加速度を調整する。すなわち、飛行制御部1130は、航空機に浮上、前進、旋回、着陸等の各動作を行わせ、離陸から飛行中、着陸までの航空機の姿勢角制御及び飛行動作を制御して、航空機の飛行状態を制御する。The processing unit has a function of controlling the flight state of the aircraft by controlling the output of the thrust generating device. Specifically, the processing unit controls the thrust generated by the propeller using a propeller, a motor that drives the propeller, and a motor control unit that controls the motor output, and adjusts the spatial arrangement, attitude angle, angular velocity, angular acceleration, angular jerk rate, and/or acceleration of the aircraft, which has six degrees of freedom (translational motion x, y, and z, and rotational motion θx, θy, and θz). In other words, the flight control unit 1130 controls the flight state of the aircraft by causing the aircraft to perform various operations such as takeoff, forward movement, turning, landing, etc., and controlling the attitude angle control and flight operations of the aircraft from takeoff to flight and landing.
（Ａ－１－２―２．センシング部１２００）
センシング部1200は、センサ1210、センサ姿勢制御部1220、センサ制御部1230を備える。(A-1-2-2. Sensing unit 1200)
The sensing unit 1200 includes a sensor 1210 , a sensor attitude control unit 1220 , and a sensor control unit 1230 .
センサ1210は、例えば、光学画像を取得する光学カメラ、赤外線画像を取得する赤外線カメラ、点群データを取得するLiDARなどのレーザーセンサなどで構成される。センサは、被災地などのセンシング対象地域の上空から対象地域の地表面の光学画像、赤外線画像、点群データなどを取得データとして取得する。The sensor 1210 is composed of, for example, an optical camera that acquires optical images, an infrared camera that acquires infrared images, and a laser sensor such as LiDAR that acquires point cloud data. The sensor acquires optical images, infrared images, point cloud data, and the like of the ground surface of a sensing target area such as a disaster area from the sky above the target area.
センサ姿勢制御部1220は、航空機の機体に対するセンサの相対角度を制御する。例えば、センサと機体の間に設けられてセンサを支持するジンバルの３軸周りの少なくともいずれかの角度を制御して、機体に対するセンサの相対角度を制御する。The sensor attitude control unit 1220 controls the relative angle of the sensor with respect to the aircraft body. For example, it controls the relative angle of the sensor with respect to the aircraft body by controlling at least one of the angles around the three axes of a gimbal that is provided between the sensor and the aircraft and supports the sensor.
センサ制御部1230は、センサ1210によるセンシング実行のタイミングや計測パラメータを変更する機能を有する。例えば、センサが光学カメラである場合には、画像取得タイミング、露出、シャッタースピード、絞り（F値）、ズーム量、ISO、解像度などを制御する。The sensor control unit 1230 has a function of changing the timing and measurement parameters of sensing performed by the sensor 1210. For example, if the sensor is an optical camera, it controls the image acquisition timing, exposure, shutter speed, aperture (F-number), zoom amount, ISO, resolution, etc.
（Ａ－１－２―３．通信部１３００）
通信部1300は、制御通信部1310、データ通信部1320、状態データ通信部1330を備えている。また、通信部1300は、直接通信、衛星システムを介した電波通信、または通信ネットワークＮＷを介しての電波通信が可能であり、例えば、電波通信モジュールを含む。通信部1300は、データ取得拠点システム等との通信が可能である。通信部1300は、例えばＷｉ－Ｆｉ、２．４ＧＨｚ、５．６～５．８ＧＨｚの周波数帯域を用いた無線通信によりデータ取得拠点システム等と無線通信を行う通信機能を備えている。また、通信部1300は、ＬＴＥ（Long Term Evolution）等の通信規格を利用して通信ネットワークＮＷを介してデータ取得拠点システム等と通信を行うことができる無線通信機能を備えている。(A-1-2-3. Communication unit 1300)
The communication unit 1300 includes a control communication unit 1310, a data communication unit 1320, and a status data communication unit 1330. The communication unit 1300 can communicate with a data acquisition site system or the like by direct communication, radio communication via a satellite system, or radio communication via a communication network NW, and includes, for example, a radio communication module. The communication unit 1300 can communicate with a data acquisition site system or the like. The communication unit 1300 includes a communication function for wirelessly communicating with the data acquisition site system or the like by wireless communication using, for example, Wi-Fi, 2.4 GHz, or a frequency band of 5.6 to 5.8 GHz. The communication unit 1300 also includes a wireless communication function for communicating with the data acquisition site system or the like via a communication network NW using a communication standard such as LTE (Long Term Evolution).
制御通信部1310は、航空機1000とデータ取得拠点システム2000の間でやり取りされる航空機の飛行制御に関する通信を行う。例えば、航空機が無人航空機であり、データ取得拠点システムから遠隔操縦される場合には、制御通信部1310は、データ取得拠点システムから航空機に対して送信される飛行制御指令を受信する。また、制御通信部1310は、航空機からデータ取得拠点システムに対して飛行部1100で判定した機体の位置、速度、姿勢を含む航空機の飛行状態に関する情報を送信する。The control communication unit 1310 performs communication related to the flight control of the aircraft exchanged between the aircraft 1000 and the data acquisition base system 2000. For example, if the aircraft is an unmanned aircraft and is remotely controlled from the data acquisition base system, the control communication unit 1310 receives flight control commands transmitted from the data acquisition base system to the aircraft. The control communication unit 1310 also transmits information related to the flight status of the aircraft, including the aircraft's position, speed, and attitude determined by the flight unit 1100, from the aircraft to the data acquisition base system.
データ通信部1320は、センシング部1200により取得した取得データを、データ取得拠点システム等に伝送する。状態データ通信部1330は、後述する状態判定部1400により判定した飛行状態、センシング状態、及び通信状態の判定結果をデータ取得拠点システムに伝送する。The data communication unit 1320 transmits the acquired data acquired by the sensing unit 1200 to a data acquisition base system or the like. The status data communication unit 1330 transmits the flight status, sensing status, and communication status determined by the status determination unit 1400 (described later) to the data acquisition base system.
（Ａ－１－２―４．状態判定部１４００）
状態判定部1400は、飛行状態判定部1410、センシング状態判定部1420、通信状態判定部1430を備えている。(A-1-2-4. State Determination Unit 1400)
The state determination unit 1400 includes a flight state determination unit 1410, a sensing state determination unit 1420, and a communication state determination unit 1430.
飛行状態判定部1410は、自己位置・速度判定部1110で判定した航空機の位置、速度、または姿勢判定部1120で判定した航空機の姿勢が予め設定した正常範囲を逸脱した場合に飛行異常と判定する。また、位置、速度、姿勢が前記正常範囲を逸脱しない場合であっても、飛行制御部1130による制御指令値に対して、位置、速度、姿勢の少なくともいずれかが正常に追従していない場合にも飛行異常と判定する。The flight state determination unit 1410 determines that a flight abnormality has occurred if the aircraft's position or speed determined by the self-position/speed determination unit 1110, or the aircraft's attitude determined by the attitude determination unit 1120, deviates from a preset normal range. In addition, even if the position, speed, or attitude does not deviate from the normal range, it also determines that a flight abnormality has occurred if at least one of the position, speed, or attitude does not normally follow the control command value from the flight control unit 1130.
センシング状態判定部1420は、センシング部1200のセンサ1210により取得データが取得されていない場合や取得データに異常が見つかった場合にセンシング異常と判定する。また、センサ姿勢制御部1220が制御指令値に対して正しく動作していない場合にセンシング異常と判断しても良い。The sensing state determination unit 1420 determines that a sensing abnormality has occurred when no data has been acquired by the sensor 1210 of the sensing unit 1200 or when an abnormality has been found in the acquired data. In addition, a sensing abnormality may also be determined to have occurred when the sensor orientation control unit 1220 does not operate correctly in response to a control command value.
通信状態判定部1430は、通信部1300による航空機と外部（データ取得拠点システム、衛星システム等）との間の通信状態を判定する。判定対象の通信状態は、具体的には、通信速度（ｂｐｓなど）であり、通信速度に加えて通信強度（ｄＢなど）を含んでいても良い。通信状態判定部1430は、特に、データ通信部1320による取得データのデータ通信速度を判定する。また、通信状態判定部1430は、自己位置・速度判定部1110がGPSやGNSSを利用する場合、または姿勢判定部1120 がGPSコンパスを利用する場合に、GPSやGNSSにおいて人工衛星から受信する衛星信号の受信強度、測位精度、計測精度を判定しても良い。ここで、測位精度は、衛星信号の強度、衛星信号を受信可能な衛星数、衛星の仰角に基づいて判定することができる。The communication status determination unit 1430 determines the communication status between the aircraft and the outside (data acquisition base system, satellite system, etc.) by the communication unit 1300. The communication status to be determined is specifically the communication speed (bps, etc.), and may include communication strength (dB, etc.) in addition to the communication speed. The communication status determination unit 1430 particularly determines the data communication speed of the data acquired by the data communication unit 1320. In addition, when the self-position/velocity determination unit 1110 uses GPS or GNSS, or when the attitude determination unit 1120 uses a GPS compass, the communication status determination unit 1430 may determine the reception strength, positioning accuracy, and measurement accuracy of satellite signals received from artificial satellites in GPS or GNSS. Here, the positioning accuracy can be determined based on the strength of the satellite signal, the number of satellites that can receive satellite signals, and the elevation angle of the satellite.
（Ａ－１－２―５．センシングデータ記録部１５００）
センシングデータ記録部1500は、センシング部1200により取得した取得データを記録する。記録された取得データは、データ通信部1320により、データ取得拠点システム等に伝送される。センシングデータ記録部1500は、ＲＡＭやＲＯＭなどの記憶装置により構成される。(A-1-2-5. Sensing data recording unit 1500)
The sensing data recording unit 1500 records the acquired data acquired by the sensing unit 1200. The recorded acquired data is transmitted to a data acquisition site system or the like by the data communication unit 1320. The sensing data recording unit 1500 is configured by a storage device such as a RAM or a ROM.
（Ａ－１－２―６．状態データ記録部１６００）
状態データ記録部1600は、飛行制御情報記録部1610、計測制御情報記録部1620、状態判定結果記録部1630を備えている。状態データ記録部1600は、ＲＡＭやＲＯＭなどの記憶装置により構成される。(A-1-2-6. Status data recording unit 1600)
The status data recording unit 1600 includes a flight control information recording unit 1610, a measurement control information recording unit 1620, and a status determination result recording unit 1630. The status data recording unit 1600 is configured from a storage device such as a RAM or ROM.
飛行制御情報記録部1610は、自己位置・速度判定部1110で判定した航空機の位置、速度、および姿勢判定部1120で判定した航空機の姿勢の情報を記録する。また、航空機の位置、速度、姿勢に限らず、飛行部1100で計測された他の状態量である、加速度、角速度、角加速度などの状態量を記録しても良い。The flight control information recording unit 1610 records information on the aircraft's position and speed determined by the self-position/speed determination unit 1110, and the aircraft's attitude determined by the attitude determination unit 1120. In addition to the aircraft's position, speed, and attitude, other state quantities measured by the flight unit 1100, such as acceleration, angular velocity, and angular acceleration, may also be recorded.
計測制御情報記録部1620は、センサ姿勢制御部1220で取得された航空機の機体に対するセンサの相対角度の状態情報を記録する。また、センサ制御部1230で制御されるセンサ1210によるセンシング実行のタイミングや計測パラメータ（画像取得タイミング、露出、シャッタースピード、絞り（F値）、ズーム量、ISO、解像度）の情報を記録する。また、センサ制御部1230からセンサ1210によるセンシング実行の有無の情報を取得、またはセンシングデータ記録部1500からセンシングデータが記録されているか否かの情報を取得して、センシングデータ有無情報として記録する。The measurement control information recording unit 1620 records status information on the relative angle of the sensor with respect to the aircraft body, obtained by the sensor attitude control unit 1220. It also records information on the timing of sensing execution by the sensor 1210 controlled by the sensor control unit 1230 and measurement parameters (image acquisition timing, exposure, shutter speed, aperture (F-number), zoom amount, ISO, resolution). It also obtains information on whether sensing is being executed by the sensor 1210 from the sensor control unit 1230, or obtains information on whether sensing data has been recorded from the sensing data recording unit 1500, and records this as sensing data presence/absence information.
状態判定結果記録部1630は、状態判定部1400の飛行状態判定部1410、センシング状態判定部1420、通信状態判定部1430で判定された判定結果を記録する。The state determination result recording unit 1630 records the determination results determined by the flight state determination unit 1410, the sensing state determination unit 1420, and the communication state determination unit 1430 of the state determination unit 1400.
（Ａ－１－３．データ取得拠点システム２０００）
図３は、本発明の一実施形態に係るデータ取得拠点システムの構成図である。データ取得拠点システム2000は、通信インフラマネジメントシステム2100、機体運航オペレートシステム2200、データ管理システム2300、運航マネジメントシステム2500、空域監視システム2600を備えている。(A-1-3. Data Acquisition Site System 2000)
3 is a configuration diagram of a data acquisition base system according to an embodiment of the present invention. The data acquisition base system 2000 includes a communication infrastructure management system 2100, an aircraft flight operation system 2200, a data management system 2300, a flight management system 2500, and an airspace monitoring system 2600.
データ取得拠点システム2000は、航空機が無人航空機である場合には、航空機と飛行部やセンシング部に関する制御情報のやり取りを行って、データ取得拠点システムを利用する操縦者（ユーザ）による遠隔操縦又はデータ取得作業を可能とするシステムである。他方、航空機が有人航空機である場合には、航空機と飛行部やセンシング部に関する制御情報や機体状態情報のやり取りを行って、航空機によるデータ取得作業を支援するシステムである。また、データ取得拠点システムは、移動可能な車両、船舶、飛行体などで構成されていても良く、または移動しない不動の建物（固定型）で構成されていても良い。When the aircraft is an unmanned aircraft, the data acquisition base system 2000 is a system that exchanges control information regarding the aircraft's flight section and sensing section with the aircraft, enabling remote control or data acquisition work by a pilot (user) using the data acquisition base system. On the other hand, when the aircraft is a manned aircraft, the system exchanges control information and aircraft status information regarding the aircraft's flight section and sensing section with the aircraft, supporting data acquisition work by the aircraft. In addition, the data acquisition base system may be composed of a mobile vehicle, ship, aircraft, etc., or may be composed of a non-moving, immovable building (fixed type).
通信インフラマネジメントシステム2100は、データ取得拠点システム2000と、航空機1000、データ処理拠点システム3000との間で送受信されるデータ（航空機のセンシング動作により取得された取得データ、データ管理システムで生成された付随情報など）や制御通信情報の通信手段を管理するシステムである。通信インフラマネジメントシステム2100は、例えば、後述する機体運航オペレートシステム2200およびデータ管理システム2300により生成される情報を、航空機1000に送信する。The communication infrastructure management system 2100 is a system that manages the communication means of data (acquired data acquired by sensing operations of the aircraft, associated information generated by the data management system, etc.) and control communication information transmitted and received between the data acquisition base system 2000, the aircraft 1000, and the data processing base system 3000. The communication infrastructure management system 2100 transmits, for example, information generated by the aircraft flight operating system 2200 and the data management system 2300 described below to the aircraft 1000.
また、航空機1000との通信手段としては、データ取得拠点システム2000内のアンテナ設備を用いて航空機1000と直接通信を行う通信手段、携帯電話通信網（ＬＴＥなど）を介した通信手段、衛星システム6000を介した衛星中継により通信を行う通信手段など複数の通信手段があるため、通信インフラマネジメントシステム2100は、これらの通信手段の通信速度や通信強度を監視し、通信手段の切替などを行う。送信処理は、例えばパラレル送信・又は切替送信であってよい。また、通信インフラマネジメントシステム2100は、後述するデータ管理システム2300により、人によりメモリを物理的に運送することでデータを送信するとよい旨の判断をした場合には、その旨を適宜の表示部に表示させ、管理者にメモリの物理的な運送を要請してもよい。Furthermore, since there are multiple communication means for communicating with the aircraft 1000, such as a communication means for directly communicating with the aircraft 1000 using antenna equipment in the data acquisition base system 2000, a communication means via a mobile phone communication network (such as LTE), and a communication means for communicating by satellite relay via the satellite system 6000, the communication infrastructure management system 2100 monitors the communication speed and communication strength of these communication means and switches the communication means. The transmission process may be, for example, parallel transmission or switched transmission. Furthermore, when the communication infrastructure management system 2100 determines through the data management system 2300 described later that it is appropriate to transmit the data by physically transporting the memory by a person, it may display this on an appropriate display unit and request the administrator to physically transport the memory.
機体運航オペレートシステム2200は、操縦対象の航空機のミッションを生成し、航空機の移動を制御するシステムである。ミッションは、例えば航空機1000の移動経路および移動速度を含む移動計画であり、移動経路は、例えば、旅客機等との干渉を予め避けるために高度150m以下の空域に生成される。機体運航オペレートシステム2200は、航空機を自動運転させるために、通信インフラマネジメントシステム2100を介して航空機1000に制御信号を送信する。Aircraft operation operating system 2200 is a system that generates a mission for the aircraft to be operated and controls the movement of the aircraft. The mission is, for example, a movement plan including the movement route and movement speed of aircraft 1000, and the movement route is generated, for example, in an airspace at an altitude of 150 m or less to avoid interference with passenger aircraft, etc. Aircraft operation operating system 2200 transmits a control signal to aircraft 1000 via communication infrastructure management system 2100 to operate the aircraft automatically.
データ管理システム2300は、通信インフラマネジメントを介して航空機によりセンシングされた対象地域の取得データや状態データを取得し、取得データの内容やセンシング時の状態データの適否を判定した上で、付随情報を生成する。データ管理システム2300の詳細な機能は後述する。The data management system 2300 acquires acquired data and status data of the target area sensed by aircraft via communication infrastructure management, and generates associated information after determining the suitability of the content of the acquired data and the status data at the time of sensing. The detailed functions of the data management system 2300 will be described later.
運航マネジメントシステム2500は、航空機1000の運航の意思決定と指示を行うシステムである。運航マネジメントシステム2500は、例えばセンシングおよび飛行を含む航空機1000の作業に関する計画を立案し、通信インフラマネジメントシステム2100を介して航空機1000に送信する。また、運航マネジメントシステム2500は、処理を要する作業の優先順位を決定し、航空機1000に送信してもよい。運航マネジメントシステム2500は、複数の航空機1000の計画を立案し、それぞれの航空機1000に当該計画の情報を送信してよい。The flight operations management system 2500 is a system that makes decisions and gives instructions regarding the operation of the aircraft 1000. The flight operations management system 2500 prepares plans for operations of the aircraft 1000, including sensing and flight, for example, and transmits the plans to the aircraft 1000 via the communication infrastructure management system 2100. The flight operations management system 2500 may also determine the priority of operations that require processing and transmit the priorities to the aircraft 1000. The flight operations management system 2500 may prepare plans for multiple aircraft 1000 and transmit information on the plans to each of the aircraft 1000.
空域監視システム2600は、操縦対象の航空機1000が飛行している空域を監視するシステムである。空域監視システム2600は、既存の航空管制システムからの情報を取得する。航空管制システムは、例えばドローン運航管理システム（ＵＴＭ）、運航管理サブシステム(ＵＡＳＳＰ)、又は航空交通管理システム（ＡＴＭ）であってよい。すなわち、空域監視システム2600は、航空機1000が飛行している空域における環境や他機等の情報を計測又は取得し、運航マネジメントシステム2500に情報を送信する。運航マネジメントシステム2500は、空域監視システム2600からの情報に基づいて、航空機1000の作業計画に問題がある場合には、作業計画を変更する。The airspace monitoring system 2600 is a system that monitors the airspace in which the aircraft 1000 to be piloted is flying. The airspace monitoring system 2600 acquires information from an existing air traffic control system. The air traffic control system may be, for example, a drone traffic management system (UTM), a traffic management subsystem (UASSP), or an air traffic management system (ATM). That is, the airspace monitoring system 2600 measures or acquires information on the environment and other aircraft in the airspace in which the aircraft 1000 is flying, and transmits the information to the traffic management system 2500. If there is a problem with the work plan for the aircraft 1000 based on the information from the airspace monitoring system 2600, the traffic management system 2500 changes the work plan.
（Ａ－１－４．データ処理拠点システム３０００）
図４は、本発明の一実施形態に係るデータ処理拠点システムの構成図である。データ処理拠点システムは、通信部3100、データ処理部3200、データ処理マネジメント部3300を備えている。(A-1-4. Data processing base system 3000)
4 is a configuration diagram of a data processing base system according to an embodiment of the present invention. The data processing base system comprises a communication unit 3100, a data processing unit 3200, and a data processing management unit 3300.
通信部3100は、データ処理拠点システム3000と、外部システム（データ取得拠点システム2000、及び配信システム4000）との間でデータ（取得データ、および付随情報）を送受信する。通信部3100は、例えば、データ取得拠点システム2000から取得データおよび付随情報を受信する。また、データ処理拠点システム3000で生成された処理後データを配信システム4000へ送信する。The communication unit 3100 transmits and receives data (acquired data and associated information) between the data processing base system 3000 and external systems (data acquisition base system 2000 and distribution system 4000). The communication unit 3100 receives acquired data and associated information from the data acquisition base system 2000, for example. It also transmits processed data generated by the data processing base system 3000 to the distribution system 4000.
データ処理部3200は、航空機1000により取得された取得データとデータ管理システムにより生成された付随情報に基づいて、データ処理を実行する。The data processing unit 3200 performs data processing based on the acquired data acquired by the aircraft 1000 and associated information generated by the data management system.
データ処理マネジメント部3300は、データ処理部3200により生成される処理後データ、または処理中のデータの内容に基づいて、処理後データの適否と対応アクションを判定した上で、付随情報を生成し、処理後データと付随情報を配信システムへ提供する。データ処理マネジメント部3300の詳細は後述する。The data processing management unit 3300 determines the suitability of the post-processing data generated by the data processing unit 3200 or the content of the data being processed, and the corresponding action, then generates associated information and provides the post-processing data and the associated information to the distribution system. Details of the data processing management unit 3300 will be described later.
（Ａ－１－５．配信システム４０００）
図５は、本発明の一実施形態に係る配信システムの構成図である。配信システム4000は、通信部4100、配信データ管理部4200を備えている。(A-1-5. Distribution system 4000)
5 is a diagram showing the configuration of a distribution system according to an embodiment of the present invention. The distribution system 4000 includes a communication unit 4100 and a distribution data management unit 4200.
通信部4100は、データ処理拠点システム3000から処理後データと付随情報を受信する。受信する処理後データと付随情報は、データ処理拠点システム3000のデータ処理部3200においてWeb最適化処理が実施された後のデータであっても良い。また、通信部4100は、インターネット回線を介して、危機対策本部端末などを含むユーザ端末装置5000に対して処理後データの配信を行う。The communication unit 4100 receives the processed data and associated information from the data processing base system 3000. The received processed data and associated information may be data after web optimization processing has been performed in the data processing unit 3200 of the data processing base system 3000. The communication unit 4100 also distributes the processed data to user terminal devices 5000, including crisis management headquarters terminals, via an Internet line.
配信データ管理部4200は、通信部4100を介して受信した処理後データを記録すると共に、インターネット回線を介してアクセスする機対策本部端末などを含むユーザ端末装置に対して配信データ管理部4200に記録されている最新の処理後データを配信する。The distribution data management unit 4200 records the processed data received via the communication unit 4100, and distributes the latest processed data recorded in the distribution data management unit 4200 to user terminal devices, including the device countermeasure headquarters terminal, accessed via an Internet line.
（Ａ－１－６．データ管理システム２３００）
図６は、本発明の一実施形態に係るデータ管理システムの機能構成図である。データ管理システム2300は、ユーザ要望取得部2310、センシングデータ取得部2320、状態情報取得部2330、データ適否判定部2340、対応アクション判定部2350、付随情報付与部2360、ユーザ入力受付部2370を備えている。(A-1-6. Data Management System 2300)
6 is a functional block diagram of a data management system according to an embodiment of the present invention. A data management system 2300 includes a user request acquisition unit 2310, a sensing data acquisition unit 2320, a status information acquisition unit 2330, a data suitability determination unit 2340, a corresponding action determination unit 2350, an associated information assignment unit 2360, and a user input reception unit 2370.
（Ａ－１－６―１．ユーザ要望取得部2310）
ユーザ要望取得部2310は、予めユーザからの要望情報を取得する。ユーザ要望取得部2310で取得する要望情報には、後述するデータ適否判定部2340で実行されるセンシングデータに対する適否判定における適否判定基準が含まれる。この場合、例えば、適否判定基準には、航空機によるセンシングデータの状態、航空機の状態、センサの状態などに関する判定基準が含まれる。例えば、後述する図８の表T101に示すユーザ要望情報に記載したような各不適切判定基準が含まれる。(A-1-6-1. User request acquisition unit 2310)
The user request acquisition unit 2310 acquires request information from a user in advance. The request information acquired by the user request acquisition unit 2310 includes suitability judgment criteria in suitability judgment of sensing data executed by the data suitability judgment unit 2340 described later. In this case, for example, the suitability judgment criteria include judgment criteria related to the state of sensing data by an aircraft, the state of the aircraft, the state of a sensor, etc. For example, each inappropriateness judgment criterion such as that described in the user request information shown in Table T101 in Fig. 8 described later is included.
ここで、センシングデータがカメラにより撮影された画像である場合に、センサの状態に関する不適切判定の基準として、例えば、カメラ画像の解像度ｒが基準値Ｐ１以下であること、またはカメラ画像の輝度Ｙが基準値Ｌ１以下であること、またはカメラ画像のピント（フォーカス）がずれていることなど、センサの設定パラメータに起因する判定基準をユーザ要望情報として取得することができる。Here, when the sensing data is an image captured by a camera, the criteria for determining whether the sensor state is inappropriate can be obtained as user desired information, such as the resolution r of the camera image being equal to or lower than a reference value P1, or the brightness Y of the camera image being equal to or lower than a reference value L1, or the camera image being out of focus.
また、航空機の状態に関する不適切判定の基準として、例えば、航空機の位置Ｘと目標位置Ｘ１との差分の絶対値が基準値以上となっていること、航空機の飛行速度Ｖと目標速度Ｖ１との差分の絶対値が基準値以上になっていること、航空機の飛行高度ｈと目標高度ｈ１との差分の絶対値が基準値以上になっていること、航空機の姿勢角（Yaw・Roll・Pitch）と目標角度からの角度差が基準値（例えば１５度）以上になっていることなど、航空機の飛行状態に関する判定基準をユーザ要望情報として取得することができる。In addition, as criteria for determining whether an aircraft state is inappropriate, criteria for determining whether an aircraft state is inappropriate can be acquired as user request information, such as the absolute value of the difference between the aircraft position X and the target position X1 being equal to or greater than a reference value, the absolute value of the difference between the aircraft flight speed V and the target speed V1 being equal to or greater than a reference value, the absolute value of the difference between the aircraft flight altitude h and the target altitude h1 being equal to or greater than a reference value, and the angular difference between the aircraft's attitude angle (Yaw, Roll, Pitch) and the target angle being equal to or greater than a reference value (e.g., 15 degrees).
また、センシングデータの状態に関する不適切判定の基準として、例えば、センシング動作が適切に実行されておらずカメラ画像にデータ欠損があること、カメラ画像取得時のレンズに水滴、結露、汚れがあること、または雲や霧などに起因してカメラ画像の欠陥があること、カメラ画像のレンズ蓋が閉まっていることに起因して対象地域の画像が取得できていないことなど、センシングデータの内容に関する判定基準をユーザ要望情報として取得することができる。In addition, as criteria for determining whether the state of sensing data is inappropriate, judgment criteria regarding the content of sensing data can be obtained as user request information, such as, for example, the sensing operation was not performed properly and there is missing data in the camera image, there are water droplets, condensation, or dirt on the lens when the camera image was captured, or there is a defect in the camera image due to clouds or fog, or an image of the target area cannot be captured because the lens cover of the camera image is closed.
ユーザ要望取得部2310で取得する要望情報には、後述する処理後データのデータ適否判定部3330で実行される処理後データに対する適否判定における適否判定基準が含まれていても良い。この場合、例えば、適否判定基準には、処理後データの状態に関する不適切判定基準などが含まれる。The request information acquired by the user request acquisition unit 2310 may include suitability judgment criteria for the suitability judgment of the processed data executed by the processed data suitability judgment unit 3330 described below. In this case, for example, the suitability judgment criteria include inappropriateness judgment criteria regarding the state of the processed data.
ユーザ要望取得部2310で取得する要望情報には、後述する対応アクション判定部2350で実行される対応アクション判定の判定基準が含まれる。この場合、例えば、対応アクションの判定基準には、航空機によるセンシングデータの状態、航空機の状態、センサの状態などに関する複数の判定基準と各判定基準に対応する対応アクションが含まれる。例えば、後述する図９の表T102に示す対応アクション判定基準に記載したような各判定基準が含まれる。The request information acquired by the user request acquisition unit 2310 includes criteria for determining a response action to be executed by the response action determination unit 2350, which will be described later. In this case, for example, the response action determination criteria include multiple criteria related to the state of the sensing data from the aircraft, the state of the aircraft, the state of the sensors, etc., and the response action corresponding to each criterion. For example, each determination criterion such as those described in the response action determination criteria shown in Table T102 in FIG. 9, which will be described later, is included.
ここで、センシングデータがカメラにより撮影された画像である場合に、センサの状態に応じた対応アクション判定の基準として、例えば、カメラ画像の解像度ｒ、カメラ画像の輝度Ｙ、カメラ画像のピントずれなど、センサの設定パラメータに起因したセンサ状態に応じた対応アクションをユーザ要望情報として取得することができる。Here, when the sensing data is an image captured by a camera, the corresponding action according to the sensor state caused by the sensor setting parameters, such as the resolution r of the camera image, the brightness Y of the camera image, and the focus deviation of the camera image, can be obtained as user request information as a criterion for determining the corresponding action according to the sensor state.
また、航空機の状態に応じた対応アクション判定の基準として、例えば、航空機の位置Ｘと目標位置との差分、航空機の飛行速度Ｖと目標速度との差分、航空機の飛行高度ｈと目標高度との差分、航空機の姿勢角（Yaw・Roll・Pitch）と目標角度との角度差など、航空機の飛行状態に応じた対応アクションをユーザ要望情報として取得することができる。In addition, as a criterion for determining a corresponding action according to the state of the aircraft, a corresponding action according to the flight state of the aircraft can be acquired as user request information, such as the difference between the aircraft's position X and the target position, the difference between the aircraft's flight speed V and the target speed, the difference between the aircraft's flight altitude h and the target altitude, and the angle difference between the aircraft's attitude angle (Yaw, Roll, Pitch) and the target angle.
また、センシングデータの状態に応じた対応アクション判定の基準として、例えば、雲や霧などの影響でカメラ画像にデータ欠損、カメラ画像取得時のレンズに水滴、結露、汚れがあることに起因してカメラ画像の欠陥、カメラ画像のレンズ蓋が閉まっていることに起因して対象地域の画像が取得できていないなど、センシングデータの内容の欠陥に応じた対応アクションをユーザ要望情報として取得することができる。In addition, as a criterion for determining response actions according to the state of the sensing data, response actions according to defects in the content of the sensing data, such as missing data in the camera image due to the influence of clouds or fog, defects in the camera image due to water droplets, condensation, or dirt on the lens when the camera image was captured, or the image of the target area not being captured because the lens cover of the camera image was closed, can be obtained as user request information.
なお、上述した対応アクションには、不適切と判定された不適切データの利用を許容する対応アクション（例えば、「処理後データの利用用途制限の通知」、「不適切データを含むことの通知」、「データ処理方法の指定」、「処理後データの表示方法の指定」など）が含まれており、他方、不適切と判定された不適切データの利用を禁止する対応アクション（例えば、「不適切データの不使用」、「不適切データに替えて他データの代用」、「航空機によるセンシングの再実施」）が含まれていても良い。つまり、ユーザ要望取得部2310で取得する要望情報に、不適切と判定された不適切データの利用を許容するか否かの判定基準が含まれていても良い。The above-mentioned response actions include response actions that allow the use of inappropriate data determined to be inappropriate (e.g., "notification of restrictions on use of processed data," "notification that inappropriate data is included," "designation of data processing method," "designation of display method of processed data," etc.), and may also include response actions that prohibit the use of inappropriate data determined to be inappropriate (e.g., "not using inappropriate data," "substituting other data for inappropriate data," "re-performing sensing by aircraft"). In other words, the request information acquired by the user request acquisition unit 2310 may include criteria for whether or not to allow the use of inappropriate data determined to be inappropriate.
（Ａ－１－６―２．センシングデータ取得部2320）
センシングデータ取得部2320は、通信インフラマネジメントシステム2100を介して、航空機に搭載したセンシング部1200によりセンシングされたセンシングデータを取得する。ここで取得するセンシングデータは、例えば、光学画像データやLiDARなどのレーザセンサにより取得した点群データなどである。(A-1-6-2. Sensing data acquisition unit 2320)
The sensing data acquisition unit 2320 acquires sensing data sensed by the sensing unit 1200 mounted on the aircraft via the communication infrastructure management system 2100. The sensing data acquired here is, for example, optical image data or point cloud data acquired by a laser sensor such as LiDAR.
（Ａ－１－６―３．状態情報取得部2330）
状態情報取得部2330は、通信インフラマネジメントシステム2100を介して、航空機の飛行制御情報記録部1610、計測制御情報記録部1620、状態判定結果記録部1630に記録された各情報を取得する。(A-1-6-3. Status information acquisition unit 2330)
The status information acquisition unit 2330 acquires the various pieces of information recorded in the aircraft's flight control information recording unit 1610, the measurement control information recording unit 1620, and the status determination result recording unit 1630 via the communication infrastructure management system 2100.
図１０は、本発明の一実施形態に係る状態情報取得部が取得する情報の一例を示す表である。飛行制御情報記録部1610から取得する情報は、例えば、図１０の表T103に示すような航空機の位置、飛行速度、飛行高度、姿勢角（Yaw・Roll・Pitch）に加えて、加速度、角速度、角加速度などの状態量である。計測制御情報記録部1620から取得する情報は、例えば、図１０の表T103に示すようなセンサの画像取得タイミング、露出、シャッタースピード、絞り（F値）、ズーム量（ピントに影響）、ISO、解像度、輝度の他、他の計測パラメータ（コントラスト、ヒストグラムなど）や、センシング実行のタイミング、航空機の機体に対するセンサの相対角度（Yaw・Roll・Pitch）の状態情報の情報である。また、計測制御情報記録部1620から、センシングデータの有り無しに関するセンシングデータ有無情報を取得しても良い。FIG. 10 is a table showing an example of information acquired by the status information acquisition unit according to one embodiment of the present invention. The information acquired from the flight control information recording unit 1610 is, for example, the aircraft's position, flight speed, flight altitude, and attitude angle (Yaw, Roll, Pitch) as shown in Table T103 of FIG. 10, as well as state quantities such as acceleration, angular velocity, and angular acceleration. The information acquired from the measurement control information recording unit 1620 is, for example, the sensor's image acquisition timing, exposure, shutter speed, aperture (F-number), zoom amount (affects focus), ISO, resolution, and brightness as shown in Table T103 of FIG. 10, as well as other measurement parameters (contrast, histogram, etc.), timing of sensing execution, and status information regarding the relative angle of the sensor to the aircraft body (Yaw, Roll, Pitch). Sensing data presence/absence information regarding the presence or absence of sensing data may also be acquired from the measurement control information recording unit 1620.
また、状態判定結果記録部1630から取得する情報は、状態判定部1400の飛行状態判定部1410、センシング状態判定部1420、通信状態判定部1430で判定された判定結果の情報である。特に、衛星信号の受信強度、測位精度、計測精度などの判定結果を取得する。In addition, the information obtained from the state determination result recording unit 1630 is information on the determination results determined by the flight state determination unit 1410, the sensing state determination unit 1420, and the communication state determination unit 1430 of the state determination unit 1400. In particular, the determination results obtained include the reception strength of the satellite signal, the positioning accuracy, and the measurement accuracy.
（Ａ－１－６―４．データ適否判定部2340）
データ適否判定部2340は、センシングデータ取得部2320で取得したセンシングデータの内容、または状態情報取得部2330で取得した各種状態情報（航空機の状態とセンサの状態を含む）、またはこれらの組合せに基づいて、センシングデータの適否を判定し、判定結果を表示する。また、図８に示したような適否判定基準に基づいて判定しても良いし、人工知能を利用した適否判定を行っても良い。または、ユーザが不適切と判定した判定結果の入力情報に基づいた判定であっても良い。データ適否判定部2340は、データ分析部2341と、状態情報分析部2342と、適否判定結果表示部2343を備える。(A-1-6-4. Data suitability determination unit 2340)
The data suitability determination unit 2340 determines the suitability of the sensing data based on the contents of the sensing data acquired by the sensing data acquisition unit 2320, or various status information (including the status of the aircraft and the status of the sensor) acquired by the status information acquisition unit 2330, or a combination of these, and displays the determination result. The determination may be based on suitability determination criteria such as those shown in FIG. 8, or suitability determination may be performed using artificial intelligence. Alternatively, the determination may be based on input information of a determination result that the user has determined to be inappropriate. The data suitability determination unit 2340 includes a data analysis unit 2341, a status information analysis unit 2342, and a suitability determination result display unit 2343.
図８は、本発明の一実施形態に係るセンシングデータの適否判定基準の一例を示す表である。図８の表T101には、センシングデータがカメラにより撮影された画像である場合の不適切判定の基準の一例を示している。当該不適切判定基準には、センサ状態に関する不適切基準、航空機の状態に関する不適切基準、センシングデータの状態に関する不適切基準が含まれている。FIG. 8 is a table showing an example of criteria for determining whether sensing data is appropriate or not according to one embodiment of the present invention. Table T101 in FIG. 8 shows an example of criteria for determining whether sensing data is appropriate when the sensing data is an image captured by a camera. The criteria for determining whether the sensing data is appropriate include criteria for the sensor state, criteria for the aircraft state, and criteria for the state of the sensing data.
この適否判定基準は、ユーザ要望取得部2310で取得したユーザからの入力情報に基づいて設定することができるが、これに限られず、システムが予め設定されていても良い。または、システムが予め設定した対象状態量毎のデフォルト設定基準に対して、T101左側の選択欄にユーザが入力することで適用する基準を取捨選択しても良いし、T101右側の不適切判定の基準欄にユーザが入力することで任意の条件を設定しても良い。The suitability judgment criteria can be set based on input information from the user acquired by the user request acquisition unit 2310, but are not limited to this and may be preset by the system. Alternatively, the user may select the criteria to be applied by inputting into the selection field on the left side of T101 from the default setting criteria for each target state quantity preset by the system, or the user may set arbitrary conditions by inputting into the criteria field for inappropriateness judgment on the right side of T101.
また、図８とは異なるセンシングデータの適否判定基準の一例として、センシングデータまたはそれをデータ処理した処理後データの利用用途（地物点検用途、森林測量用途など）をユーザが入力し、入力された利用用途に応じて、システムが自動的に不適切判定の基準を生成するようにしても良い。As an example of a criterion for determining whether or not sensing data is appropriate that differs from that shown in FIG. 8, the user may input the intended use of the sensing data or the processed data (such as for inspecting features or for forest surveying), and the system may automatically generate criteria for determining whether or not the data is appropriate based on the intended use input.
まず、データ分析部2341は、センシングデータ取得部2320で取得したセンシングデータの内容を分析し、図８の表T101に示すようなセンシングデータの状態に関する不適切判定の基準に照らして、センシングデータが不適切であるか否かを判断する。表T101では、センシングデータの状態に関する不適切判定の基準として、例えば、雲や霧などの影響によりカメラ画像の一部にデータ欠損があること、カメラ画像取得時のレンズの水滴、結露、汚れや局所的な輝度不足や白飛びに起因してカメラ画像の一部に欠陥があること、カメラ画像のレンズ蓋が閉まっていることに起因して対象地域の画像が取得できていないこと、カメラ画像の輝度Yが基準値Ｌ１以下、または基準値L２≧であること、カメラ画像のピントがずれていることなど、センシングデータの内容の分析に基づいて判定可能な判定基準を示している。First, the data analysis unit 2341 analyzes the contents of the sensing data acquired by the sensing data acquisition unit 2320, and judges whether the sensing data is inappropriate or not in light of the criteria for inappropriateness judgment regarding the state of the sensing data as shown in Table T101 of FIG. 8. Table T101 shows criteria that can be judged based on the analysis of the contents of the sensing data as the criteria for inappropriateness judgment regarding the state of the sensing data, such as data loss in part of the camera image due to the influence of clouds or fog, defects in part of the camera image due to water droplets, condensation, or dirt on the lens when the camera image was acquired or localized lack of brightness or blown-out highlights, failure to acquire an image of the target area due to the lens cover of the camera image being closed, the brightness Y of the camera image being equal to or less than the reference value L1 or equal to or greater than the reference value L2, and the camera image being out of focus.
上記以外に、画像に歪みがあること、画像がぶれていること、センシング対象エリア以外の不要位置（航空機の折返し経路など）の画像であること、解像度、コントラスト、又はヒストグラムが所定値以下であること、センシングデータ無し情報を受信したこと、航空機の機体に対するセンサの相対角度（Yaw・Roll・Pitch）が基準値を超えていることなど、が判定基準に含まれていても良い。In addition to the above, the criteria for judgment may include the presence of distortion in the image, the image being blurred, the image being of an unnecessary location outside the target sensing area (such as the aircraft's turnaround path), the resolution, contrast, or histogram being below a predetermined value, information indicating no sensing data being received, and the relative angle of the sensor to the aircraft's body (Yaw, Roll, Pitch) exceeding a reference value.
また、レーザーセンサによるセンシングを行う場合においては、不適切判定の基準として、点群データに所定の特徴点が無い場合、レーザの反射率が所定値以下である場合、センシング対象エリア内に点群取得漏れのエリアがある場合、センシング対象エリア以外の不要位置（航空機の折返し経路など）の点群である場合、なども不適切判定の基準に含んで良い。Furthermore, when sensing is performed using a laser sensor, the criteria for determining inappropriateness may include when the point cloud data does not have a specified feature point, when the laser reflectance is below a specified value, when there is an area within the sensing target area where the point cloud has not been acquired, and when the point cloud is from an unnecessary position outside the sensing target area (such as an aircraft's turnaround route).
なお、データ分析部2341により、センシングデータの状態に基づいて不適切判定を行う場合には、上述したように、センシングデータに関する状態量とT101に示すような基準値の比較による判定方法以外に、過去のセンシングデータの状態量との比較、若しくはセンシングデータの状態量の目標値との比較、又はセンシング対象の目標エリアに対するセンシングデータの取得率、などにより判定することもできる。When the data analysis unit 2341 makes an inappropriate judgment based on the state of the sensing data, as described above, in addition to the judgment method of comparing the state quantity related to the sensing data with a reference value as shown in T101, it can also make a judgment based on a comparison with the state quantity of past sensing data, or a comparison with a target value of the state quantity of the sensing data, or the acquisition rate of sensing data for the target area of the sensing target, etc.
次に、状態情報分析部2342は、状態情報取得部2330で取得した各種状態情報の内容を分析して、図８の表T101に示すようなセンサの状態、または航空機の状態に関する不適切判定の基準に照らして、センシングデータが不適切であるか否かを判断する。表T101では、センサの状態に関する不適切判定の基準として、例えば、カメラ画像の解像度ｒが基準値Ｐ１以下であること、またはカメラ画像の輝度Yが基準値Ｌ１以下、または基準値L２≧であること、またはカメラ画像のピント（フォーカス）がずれていることなど、センサの設定パラメータに起因する判定基準が示されている。The status information analysis unit 2342 then analyzes the contents of the various status information acquired by the status information acquisition unit 2330, and judges whether the sensing data is inappropriate or not, based on the criteria for inappropriateness judgment regarding the sensor status or the aircraft status as shown in Table T101 in Fig. 8. Table T101 shows criteria for inappropriateness judgment regarding the sensor status that are caused by the sensor setting parameters, such as the resolution r of the camera image being equal to or less than a reference value P1, the brightness Y of the camera image being equal to or less than a reference value L1 or equal to or greater than a reference value L2, or the camera image being out of focus.
上記以外に、センシングデータ無し情報を受信したこと、航空機の機体に対するセンサの相対角度（Yaw・Roll・Pitch）が基準範囲を逸脱していること、センサの絶対角度（Yaw・Roll・Pitch）が基準範囲を逸脱していること、センシングすべき地点のデータが取得できていないこと、が判定基準に含まれていても良い。In addition to the above, the criteria may include receiving information indicating no sensing data, the relative angle (yaw, roll, pitch) of the sensor to the aircraft body being outside the reference range, the absolute angle (yaw, roll, pitch) of the sensor being outside the reference range, and data not being obtained for the point that should be sensed.
また、表T101では、航空機の状態に関する不適切判定の基準として、例えば、航空機の位置と目標位置（または目標経路）との差分Xが基準値範囲外となっていること、航空機の飛行速度と目標速度との差分Vが基準値範囲外になっていること、航空機の飛行高度と目標高度との差分ｈが基準値範囲外になっていること、航空機の姿勢角（Yaw・Roll・Pitch）と目標角度からの角度差が基準範囲外（例えば１５度以上）になっていることなど、航空機の飛行状態に関する判定基準が示されている。In addition, Table T101 shows criteria for determining whether an aircraft condition is inappropriate, such as the difference X between the aircraft position and the target position (or target route) being outside the reference value range, the difference V between the aircraft's flight speed and the target speed being outside the reference value range, the difference h between the aircraft's flight altitude and the target altitude being outside the reference value range, and the difference in angle between the aircraft's attitude angle (Yaw, Roll, Pitch) and the target angle being outside the reference range (e.g. 15 degrees or more).
上記以外に、衛星信号の受信強度が基準値を下回ったこと、航空機の位置の測位精度や速度などの計測精度が基準値を下回ったこと、航空機の加速度、角速度、角加速度などの状態量が基準範囲を逸脱したこと、などが判定基準に含まれていても良い。また、特にレーザーセンサによるセンシングを行う場合には、センシング対象物との距離が離れすぎるとレーザ反射光を得られないため、飛行高度が所定値よりも高いこと、が不適切判定の判定基準に含まれていても良い。In addition to the above, the criteria may include the reception strength of the satellite signal falling below a reference value, the measurement accuracy of the aircraft's position or speed falling below a reference value, and state quantities of the aircraft, such as acceleration, angular velocity, and angular acceleration, falling outside a reference range. In particular, when sensing is performed using a laser sensor, the criteria for inappropriateness may include a flight altitude higher than a predetermined value, since reflected laser light cannot be obtained if the distance to the sensing object is too far.
なお、状態情報分析部2342により、航空機の状態に基づいて不適切判定を行う場合には、上述したように、航空機の状態量とT101に示すような基準値との比較による判定方法以外に、航空機に関する過去の実績値との比較、又は航空機に関する制御対象状態量の制御目標値との比較により不適切判定を行っても良い。When the status information analysis unit 2342 makes an inappropriate judgment based on the status of the aircraft, in addition to the judgment method of comparing the status quantities of the aircraft with the reference values as shown in T101 as described above, the inappropriate judgment may be made by comparing with past actual values related to the aircraft, or by comparing with the control target values of the status quantities to be controlled related to the aircraft.
なお、上述した不適切判定の判定方法として、一度でも判定基準を逸脱した場合には不適切と判定する方法でも良いが、判定基準を逸脱した回数が所定回数を超えた場合、画像の一部に半手基準を逸脱したエリアがある際に判定基準を逸脱したエリアが所定面積を超えている、または画像全体に占める割合が所定割合を超えている場合、に不適切と判定する判定方法であっても良い。The above-mentioned method of determining inappropriateness may be a method in which an image is determined to be inappropriate if it deviates from the judgment criteria even once, or a method in which an image is determined to be inappropriate if the number of times the judgment criteria have been deviated exceeds a predetermined number, if there is an area in the image that deviates from the half-hand criteria and the area that deviates from the judgment criteria exceeds a predetermined area, or if the proportion of the area in the entire image exceeds a predetermined proportion.
次に、適否判定結果表示部2343は、上述した不適切判定の結果を表示する。図１２は、本発明の適否判定結果表示部が適否判定の結果を表示する際の表示例を示す図である。図１２に示す例では、適否判定の対象となるセンシングデータに対して、不適切と判定された不適切データが識別可能に表示される。データ管理システム2300のユーザは、後述するユーザ入力受付部2370により任意の不適切データを選択することができる。任意の不適切データが選択された場合に、選択された不適切データのデータ内容（不適切データが画像である場合には、画像データ）が表示されると共に、不適切と判定された理由（ピントはずれなど）、基準値超過度合（大、中、小のいずれかなど）、不適切データがセンシングされた時刻、不適切データに対応する地上エリアの座標情報、が表示される。Next, the suitability judgment result display unit 2343 displays the result of the inappropriateness judgment described above. FIG. 12 is a diagram showing an example of the display when the suitability judgment result display unit of the present invention displays the result of the suitability judgment. In the example shown in FIG. 12, the inappropriate data judged to be inappropriate is displayed in a identifiable manner with respect to the sensing data to be judged as suitable. A user of the data management system 2300 can select any inappropriate data by the user input acceptance unit 2370 described later. When any inappropriate data is selected, the data content of the selected inappropriate data (if the inappropriate data is an image, the image data) is displayed, along with the reason for the judgment as inappropriate (e.g., out of focus), the degree of exceedance of the reference value (e.g., large, medium, or small), the time when the inappropriate data was sensed, and the coordinate information of the ground area corresponding to the inappropriate data.
また、適否判定結果表示部2343は、任意の不適切データが選択された場合に、上記した情報と共に、不適切データとして確定するか否かを選択できる入力ボタンを画面上に表示して、後述するユーザ入力受付部2370によりユーザが操作できるようにしている。In addition, when any inappropriate data is selected, the suitability judgment result display unit 2343 displays on the screen the above-mentioned information as well as an input button that allows the user to select whether or not to confirm the data as inappropriate, so that the user can operate it via the user input acceptance unit 2370 described below.
（Ａ－１－６―５．対応アクション判定部2350）
対応アクション判定部2350は、センシングデータ取得部2320で取得したセンシングデータの内容、または状態情報取得部2330で取得した各種状態情報（航空機の状態とセンサの状態を含む）、またはこれらの組合せ、または前述したデータ適否判定部2340による不適切判定の結果に基づいて、対応アクションを判定する、または対応アクションの候補を表示する。対応アクション判定部2350は、判定処理部2351と、対応アクション判定結果表示部2352を備えている。判定処理部2351は、特にデータ適否判定部2340によりデータが不適切と判定された場合に取るべき対応アクションを判定する。(A-1-6-5. Corresponding action determination unit 2350)
The corresponding action determination unit 2350 determines a corresponding action or displays candidates for a corresponding action based on the contents of the sensing data acquired by the sensing data acquisition unit 2320, or various status information (including the status of the aircraft and the status of the sensors) acquired by the status information acquisition unit 2330, or a combination of these, or the result of the inappropriateness determination by the data suitability determination unit 2340 described above. The corresponding action determination unit 2350 includes a determination processing unit 2351 and a corresponding action determination result display unit 2352. The determination processing unit 2351 determines a corresponding action to be taken especially when the data suitability determination unit 2340 determines that the data is inappropriate.
ここで、図９は、本発明の一実施形態に係る対応アクション判定基準の一例を示す図である。判定処理部2351は、図９の表T102に示したような対応アクション判定基準に基づいて、対応アクションを判定しても良いし、人工知能などを利用して対応アクションを判定しても良い。または、ユーザから受け付ける対応アクションの指令入力情報に基づいて対応アクションを判定しても良い。Here, FIG. 9 is a diagram showing an example of response action determination criteria according to one embodiment of the present invention. The determination processing unit 2351 may determine the response action based on the response action determination criteria such as those shown in table T102 in FIG. 9, or may determine the response action using artificial intelligence or the like. Alternatively, the response action may be determined based on command input information for the response action received from the user.
図９の表T102には、センシングデータがカメラにより撮影された画像である場合を想定した際の対応アクション判定の判定基準の一例を示している。当該対応アクション判定基準には、センサ状態に関する不適切基準、航空機の状態、センシングデータの内容に応じた対応アクションの判定基準が含まれている。ただし、対応アクション判定の判定基準はこれに限られず、不適切判定の判定結果に対応した対応アクションの判定基準が設定されていても良い。Table T102 in FIG. 9 shows an example of criteria for determining a response action when it is assumed that the sensing data is an image captured by a camera. The response action criteria include inappropriateness criteria related to the sensor state, the state of the aircraft, and criteria for determining a response action according to the content of the sensing data. However, the criteria for determining a response action are not limited to this, and criteria for a response action corresponding to the result of an inappropriateness determination may be set.
この判定基準は、ユーザ要望取得部2310で取得したユーザからの入力情報に基づいて設定することができるが、これに限られず、システムが予め設定されていても良い。または、システムが予め設定した対象状態量毎のデフォルト設定基準に対して、T102左側の選択欄にユーザが入力することで適用する基準を取捨選択しても良いし、T102右側の対応アクション判定欄にユーザが入力することで任意の条件を設定しても良い。This judgment criterion can be set based on input information from the user acquired by the user request acquisition unit 2310, but is not limited to this and may be preset by the system. Alternatively, the user may select the criterion to be applied by inputting into the selection field on the left side of T102 from the default setting criteria for each target state quantity preset by the system, or the user may set any condition by inputting into the corresponding action judgment field on the right side of T102.
また、図９とは異なるセンシングデータの対応アクション判定基準の一例として、センシングデータまたはそれをデータ処理した処理後データの利用用途（地物点検用途、森林測量用途など）をユーザが入力し、入力された利用用途に応じて、システムが自動的に対応アクション判定の基準や判定結果を生成するようにしても良い。Also, as an example of criteria for determining a response action for sensing data different from that shown in FIG. 9, the user may input the intended use of the sensing data or the processed data (such as for inspecting features or for forest surveying), and the system may automatically generate criteria for determining a response action and a determination result according to the intended use input.
判定処理部2351により判定される対応アクションとしては、例えば、不適切と判定された不適切データの不使用、不適切データに替えて他データの代用、処理後データの利用用途制限の通知、不適切データを含むことの通知、データ処理方法の指定、航空機によるセンシングの再実施、ユーザ指定の利用用途に応じたデータ処理方法の指定、ユーザ指定の利用用途に応じた処理後データの表示方法の指定、などが含まれる。Response actions determined by the determination processing unit 2351 include, for example, not using inappropriate data determined to be inappropriate, substituting other data in place of the inappropriate data, notifying restrictions on the use of the processed data, notifying that the processed data contains inappropriate data, specifying a data processing method, re-performing sensing by aircraft, specifying a data processing method according to the use specified by the user, and specifying a display method for the processed data according to the use specified by the user.
上述した「ユーザ指定の利用用途に応じたデータ処理方法の指定」、「ユーザ指定の利用用途に応じた処理後データの表示方法の指定」とは、例えば、ユーザ要望取得部2310により取得した使用用途の指定入力に応じて、データ処理方法の指定や処理後データの表示方法の指定を行うことを意味している。The above-mentioned "designation of a data processing method according to a user-specified intended use" and "designation of a display method of processed data according to a user-specified intended use" mean, for example, designating a data processing method or a display method of processed data according to an intended use input acquired by the user request acquisition unit 2310.
ここで、判定される対応アクションは、不適切と判定された不適切データを利用しない対応アクションと、不適切データの利用を許容する対応アクションを含む。不適切データを利用しない対応アクションは、例えば、「不適切と判定された不適切データの不使用」、「不適切データに替えて他データの代用」、「航空機によるセンシングの再実施」、であり、不適切データを利用許容する対応アクションは、例えば、「処理後データの利用用途制限の通知」、「不適切データを含むことの通知」、「データ処理方法の指定」、「ユーザ指定の利用用途に応じたデータ処理方法の指定」、「ユーザ指定の利用用途に応じた処理後データの表示方法の指定」である。Here, the response actions that are determined include response actions that do not use inappropriate data that has been determined to be inappropriate, and response actions that allow the use of inappropriate data. Response actions that do not use inappropriate data are, for example, "not using inappropriate data that has been determined to be inappropriate," "substituting other data for inappropriate data," and "re-performing sensing by aircraft," and response actions that allow the use of inappropriate data are, for example, "notifying restrictions on the use of processed data," "notifying that inappropriate data is included," "designation of data processing method," "designation of data processing method according to the user-specified use," and "designation of display method of processed data according to the user-specified use."
対応アクション判定の基準として、例えば、不適切判定の判定基準からの超過度合いが所定値より小さい不適切データに対しては、不適切データの利用を許容する対応アクションとし、不適切判定の判定基準からの超過度合いが所定値より大きい不適切データに対しては、不適切データを利用しない対応アクションとすることができる。As a criterion for determining a response action, for example, for inappropriate data whose degree of deviation from the inappropriateness judgment criterion is less than a specified value, the response action may be to allow the use of the inappropriate data, and for inappropriate data whose degree of deviation from the inappropriateness judgment criterion is more than the specified value, the response action may be to not use the inappropriate data.
まず、表T102では、センシングデータの状態に関する対応アクション判定の基準として、例えば、雲や霧などの外乱の影響によりカメラ画像の一部にデータ欠損がある場合に、対応アクションとして、「他データ代用」と「再計測」と判定する。ここで、「他データ代用」は、不適切データに替えて他データ（地理・地図情報や過去のセンシングデータなど）の代用を意味している。また、「再計測」とは、航空機によりセンシングの再実施を行うことを意味している。First, in Table T102, as a criterion for determining a response action regarding the state of sensing data, for example, when data is missing from part of a camera image due to disturbances such as clouds or fog, the response actions are determined to be "substitution of other data" and "remeasurement." Here, "substitution of other data" refers to substituting other data (such as geographical or map information or past sensing data) in place of inappropriate data. Also, "remeasurement" refers to re-performing sensing using an aircraft.
また、表T102では、カメラ画像取得時のレンズの水滴、結露、汚れ、または局所的な輝度不足や白飛びに起因してカメラ画像の一部に欠陥がある場合、または、カメラ画像のレンズ蓋が閉まっていることに起因して対象地域の画像が取得できていない場合には、不適切データの利用を許容しない対応アクションとして「他データ代用」と「再計測」と判定する。In addition, in Table T102, if there is a defect in part of the camera image due to water droplets, condensation, or dirt on the lens when the camera image was captured, or due to localized lack of brightness or whiteout, or if an image of the target area cannot be captured because the camera lens cover is closed, the response actions that do not allow the use of inappropriate data are determined to be "substitution of other data" and "remeasurement."
また、カメラ画像の輝度Yが基準値Ｌ１以下で、または基準値L２≧である場合には、対応アクションとして、「輝度調整の画像調整」と判定する。つまり、データ適否判定部2340により不適切と判定された不適切データを利用許容する対応アクションとして、「データ処理方法の指定」と判定する。言い換えると、指定するデータ処理方法として、輝度調整の画像調整を行うことを条件に、不適切データのデータ処理への利用許容することを判定する。Furthermore, if the brightness Y of the camera image is equal to or less than the reference value L1, or equal to or greater than the reference value L2, the corresponding action is determined to be "image adjustment by adjusting brightness." In other words, the corresponding action for allowing the use of inappropriate data that has been determined to be inappropriate by the data suitability determination unit 2340 is determined to be "designation of data processing method." In other words, it is determined that the use of inappropriate data in data processing is permitted on the condition that image adjustment by adjusting brightness is performed as the specified data processing method.
また、カメラのフォーカス設定などに起因して、カメラ画像のピントがずれている場合には、不適切データを利用許容する対応アクションとして「不適切データを含むことの通知」と「人判定の利用用途に利用不可」と判定する。ここで、「不適切データを含むことの通知」とは、データ処理担当者または処理後データを閲覧するユーザに対して不適切データが含まれていることを通知すること条件に、不適切データのデータ処理への利用許容することを意味する。また、「人判定の利用用途に利用不可」とは、データ処理担当者または処理後データを閲覧するユーザに対して、処理後データの利用用途制限内容として、人の存在等を画像データから判断する用途に利用しない旨を通知することを条件に、不適切データのデータ処理への利用許容することを意味する。In addition, if the camera image is out of focus due to factors such as the camera focus settings, the corresponding actions for allowing the use of inappropriate data are "notification that inappropriate data is included" and "not usable for use in person determination." Here, "notification that inappropriate data is included" means that the use of inappropriate data for data processing is allowed on the condition that the data processor or the user viewing the processed data is notified that inappropriate data is included. Also, "not usable for use in person determination" means that the use of inappropriate data for data processing is allowed on the condition that the data processor or the user viewing the processed data is notified that the processed data will not be used to determine the presence of people, etc. from image data, as a restriction on the use of the processed data.
次に、表T102では、航空機の状態に関する対応アクション判定の基準として、例えば、カメラ画像の解像度ｒが基準値Ｐ１以下かつ基準値P2以上である場合に、不適切データを利用許容する対応アクションとして「不適切データを含むことの通知」と「人判定の利用用途に利用不可」と判定する。また、カメラ画像の解像度ｒが基準値P2未満である場合に、不適切データの利用を許容しない対応アクションとして「他データ代用」と「再計測」と判定する。Next, in table T102, as a criterion for determining a response action regarding the state of the aircraft, for example, if the resolution r of the camera image is equal to or less than the reference value P1 and equal to or greater than the reference value P2, the response actions that allow the use of inappropriate data are determined to be "notification that inappropriate data is included" and "unusable for use in human detection." Also, if the resolution r of the camera image is less than the reference value P2, the response actions that do not allow the use of inappropriate data are determined to be "substitute other data" and "remeasure."
次に、表T101では、航空機の状態に関する対応アクション判定の基準として、例えば、航空機の位置と目標位置（または目標経路）との差分の絶対値Xが基準値X1以上、かつ基準値X2以下となっている場合に、不適切データを利用許容する対応アクションとして「位置誤差に応じた地表面撮影エリアの位置補正処理」と判定する。つまり、指定するデータ処理方法として、「位置誤差に応じた地表面撮影エリアの位置補正処理」を行うことを条件に、不適切データのデータ処理への利用許容することを判定する。一方、航空機の位置と目標位置（または目標経路）との差分の絶対値XがX2より大きい場合には、不適切データの利用を許容しない対応アクションとして「他データ代用」と「再計測」と判定する。Next, in Table T101, as a criterion for determining a response action regarding the state of the aircraft, for example, if the absolute value X of the difference between the aircraft's position and the target position (or target route) is equal to or greater than a reference value X1 and equal to or less than a reference value X2, the response action for allowing the use of inappropriate data is determined to be "position correction processing of the ground surface photographed area according to the position error." In other words, it is determined that the use of inappropriate data in data processing is allowed on the condition that "position correction processing of the ground surface photographed area according to the position error" is performed as the specified data processing method. On the other hand, if the absolute value X of the difference between the aircraft's position and the target position (or target route) is greater than X2, the response actions for not allowing the use of inappropriate data are determined to be "substitution of other data" and "remeasurement."
また、航空機の飛行速度と目標飛行速度との差分の絶対値Vが基準値V1以上、かつ基準値V2以下となっている場合に、不適切データを利用許容する対応アクションとして「不適切データを含むことの通知」と判定する。一方、航空機の飛行速度と目標飛行速度との差分の絶対値VがV2より大きい場合には、不適切データの利用を許容しない対応アクションとして「他データ代用」と「再計測」と判定する。Furthermore, if the absolute value V of the difference between the aircraft's flight speed and the target flight speed is equal to or greater than the reference value V1 and equal to or less than the reference value V2, the response action that allows the use of inappropriate data is determined to be "notification that inappropriate data is included." On the other hand, if the absolute value V of the difference between the aircraft's flight speed and the target flight speed is greater than V2, the response actions that do not allow the use of inappropriate data are determined to be "substitution of other data" and "remeasurement."
また、航空機の飛行高度と目標飛行高度との差分の絶対値ｈが基準値ｈ1以上、かつ基準値ｈ2以下となっている場合に、不適切データを利用許容する対応アクションとして「不適切データを含むことの通知」と判定する。一方、航空機の飛行高度と目標飛行高度との差分の絶対値ｈがｈ2より大きい場合には、不適切データの利用を許容しない対応アクションとして「他データ代用」と「再計測」と判定する。Furthermore, if the absolute value h of the difference between the aircraft's flight altitude and the target flight altitude is equal to or greater than the reference value h1 and equal to or less than the reference value h2, the response action for allowing the use of inappropriate data is determined to be "notification that inappropriate data is included." On the other hand, if the absolute value h of the difference between the aircraft's flight altitude and the target flight altitude is greater than h2, the response actions for not allowing the use of inappropriate data are determined to be "substitution of other data" and "remeasurement."
また、航空機の姿勢角（Yaw・Roll・Pitch）と目標角度からの角度差が所定範囲内（例えば１５度以上、３０度以内）になっている場合には、不適切データを利用許容する対応アクションとして「角度誤差に応じた地表面撮影エリアの位置補正処理」と判定する。つまり、指定するデータ処理方法として、「角度誤差に応じた地表面撮影エリアの位置補正処理」を行うことを条件に、不適切データのデータ処理への利用許容することを判定する。一方、航空機の姿勢角（Yaw・Roll・Pitch）と目標角度からの角度差が３０度より大きい場合には、不適切データの利用を許容しない対応アクションとして「他データ代用」と「再計測」と判定する。In addition, if the angular difference between the aircraft's attitude angle (Yaw, Roll, Pitch) and the target angle is within a specified range (for example, 15 degrees or more and 30 degrees or less), the response action for allowing the use of inappropriate data is determined to be "position correction processing of the ground surface photography area according to the angle error." In other words, the specified data processing method is determined to allow the use of inappropriate data for data processing on the condition that "position correction processing of the ground surface photography area according to the angle error" is performed. On the other hand, if the angular difference between the aircraft's attitude angle (Yaw, Roll, Pitch) and the target angle is greater than 30 degrees, the response actions for not allowing the use of inappropriate data are determined to be "substitution of other data" and "remeasurement."
上述したように、図９の表T102に示す例では、判定処理部2351により不適切データの利用を許容しない対応アクションと、不適切データを利用許容する対応アクションのいずれかを判定することにより、利用可能な不適切データを判定する。As described above, in the example shown in table T102 in FIG. 9, the determination processing unit 2351 determines whether the response action is to not allow the use of inappropriate data or to allow the use of inappropriate data, thereby determining the inappropriate data that can be used.
次に、対応アクション判定結果表示部2352は、判定処理部2351により判定された対応アクションの判定結果が表示する。図１３は、本発明の対応アクション判定結果表示部が対応アクションの判定結果を表示する際の表示例を示す図である。図１３に示す例では、対応アクションの判定結果として「輝度調整の画像処理」が表示されている。また、それ以外の対応アクションの候補（ユーザへの通知、人判断の用途不可、データ利用不可、他データ代用など）も表示されている。Next, the response action determination result display unit 2352 displays the determination result of the response action determined by the determination processing unit 2351. Fig. 13 is a diagram showing an example of the display when the response action determination result display unit of the present invention displays the determination result of the response action. In the example shown in Fig. 13, "image processing for brightness adjustment" is displayed as the determination result of the response action. In addition, other possible response actions (notification to the user, not allowed for use by humans, data not usable, substitution of other data, etc.) are also displayed.
データ管理システム2300のユーザは、後述するユーザ入力受付部2370により任意の不適切データを選択することができ、選択された不適切データに対応する対応アクションの判定結果が表示される。また、任意の不適切データが選択された場合に、上述した対応アクションの判定結果とその他の候補が選択可能に表示され、更に、対応アクションの確定ボタンが表示される。ユーザは、ユーザ入力受付部2370により任意の対応アクションを選択することができ、特定の対応アクションを選択した状態で、対応アクションの確定ボタンを操作することで、対応アクションを確定させることができる。A user of the data management system 2300 can select any inappropriate data using the user input receiving unit 2370 described below, and the judgment result of the response action corresponding to the selected inappropriate data is displayed. Furthermore, when any inappropriate data is selected, the judgment result of the response action described above and other candidates are displayed so that they can be selected, and further, a confirmation button for the response action is displayed. A user can select any response action using the user input receiving unit 2370, and with a specific response action selected, the response action can be confirmed by operating the confirmation button for the response action.
（Ａ－１－６―６．付随情報付与部2360）
付随情報付与部2360は、データ適否判定部2340により判定された適否判定の内容に関する情報を含む付随情報を生成し、付随情報を不適切データなどに関連付けて記録、または表示部に表示する。付随情報付与部2360は、付随情報生成部2361と、情報付与部2362と、付随情報表示部2363と、を備え、付随情報生成部2361により付随情報を生成し、付随情報を不適切データなどに関連付けて記録及び表示する。(A-1-6-6. Accompanying information adding unit 2360)
The associated information adding unit 2360 generates associated information including information on the content of the suitability judgment made by the data suitability judgment unit 2340, and records the associated information in association with inappropriate data, etc., or displays it on the display unit. The associated information adding unit 2360 includes an associated information generating unit 2361, an information adding unit 2362, and an associated information display unit 2363, and generates associated information by the associated information generating unit 2361, and records and displays the associated information in association with inappropriate data, etc.
図１１は、本発明の一実施形態に係る付随情報付与部が生成する付随情報の一例を示す表である。図１１の表T104には、付随情報生成部2361が生成する付随情報の一例として、付随情報に不適切判定の結果、不適切データが適否判定の基準値を超過した度合いの情報、不適切判定の理由、不適切判定データの計測条件、対応アクションの内容、不適切データの対応エリアが含まれる例を示している。FIG. 11 is a table showing an example of associated information generated by the associated information adding unit according to one embodiment of the present invention. Table T104 in FIG. 11 shows an example of associated information generated by the associated information generating unit 2361, in which the associated information includes the result of the inappropriateness judgment, information on the degree to which the inappropriate data exceeded the standard value for suitability judgment, the reason for the inappropriateness judgment, the measurement conditions for the inappropriately judged data, the content of the response action, and the corresponding area of the inappropriate data.
付随情報に含まれる「不適切判定の結果」の情報は、データ適否判定部2340により、センシングデータが不適切と判定されたか否かの適否判定結果を識別できる情報である。例えば、不適切判定フラグの有りの情報とすることができる。次に、付随情報に含まれる「不適切データが適否判定の基準値を超過した度合いの情報」とは、データ適否判定部2340によりデータ不適切と判定された場合に、不適切判定基準の基準値からどの程度超過したのかを示す情報である。例えば、不適切超過レベル大、中、小の３段階などの情報とすることができる。The "result of inappropriateness judgment" information included in the accompanying information is information that can identify the result of the judgment as to whether or not the sensing data has been judged to be inappropriate by the data appropriateness judgment unit 2340. For example, it can be information indicating the presence of an inappropriateness judgment flag. Next, the "information on the degree to which the inappropriate data exceeds the standard value for appropriateness judgment" included in the accompanying information is information indicating the extent to which the inappropriate data exceeds the standard value for inappropriateness judgment when the data is judged to be inappropriate by the data appropriateness judgment unit 2340. For example, it can be information on three levels of inappropriateness exceedance: large, medium, and small.
次に、付随情報に含まれる「不適切判定の理由」とは、データ適否判定部2340によりデータ不適切と判定された場合に、不適切と判定された理由に関する情報であり、例えば、図８の表T101に記載したような不適切判定基準の中で、不適切判定基準に該当した判定基準の識別情報である。一例としては、「航空機位置の目標位置からの差分が基準値以上」などである。Next, the "reason for inappropriateness determination" included in the accompanying information is information regarding the reason for the determination that the data is inappropriate when the data is determined to be inappropriate by the data appropriateness determination unit 2340, and is, for example, identification information of the determination criterion that corresponds to the inappropriateness determination criterion among the inappropriateness determination criteria such as those listed in Table T101 in FIG. 8. One example is "The difference between the aircraft position and the target position is equal to or greater than a reference value."
次に、付随情報に含まれる「不適切データの計測条件」とは、データ適否判定部2340によりデータ不適切と判定されたセンシングデータの計測条件に関する情報であり、例えば、センシングの実施日時、航空機の識別情報、センサの識別情報、航空機の制御情報、センサの制御情報、センシングデータの状態情報、を含む情報である。具体的には、状態情報取得部2330により取得する情報などである。Next, the "measurement conditions of inappropriate data" included in the accompanying information is information about the measurement conditions of the sensing data that has been determined to be inappropriate by the data suitability determination unit 2340, and is information including, for example, the date and time of sensing, aircraft identification information, sensor identification information, aircraft control information, sensor control information, and sensing data status information. Specifically, it is information acquired by the status information acquisition unit 2330.
次に、付随情報に含まれる「対応アクションの内容」とは、対応アクション判定部2350により判定された対応アクションの情報であり、例えば、図９の表T102に示す対応アクションの情報である。Next, the "contents of the corresponding action" included in the accompanying information is information on the corresponding action determined by the corresponding action determination unit 2350, for example, the information on the corresponding action shown in Table T102 in FIG. 9.
次に、付随情報に含まれる「不適切データの関連位置／エリア」とは、不適切と判定された不適切判定に関連する位置又はエリアの情報である。例えば、不適切データによりセンシングされたセンシング地上位置、または不適切データによりセンシングした際の航空機の位置とすることができる。航空機の位置や姿勢が基準範囲を逸脱したことが不適切判定の原因である場合を考慮した場合には、不適切データが本来センシングすべきだった地上位置、又は、不適切データによりセンシングした際の航空機の制御目標位置、または制御目標経路とすることが望ましい。あるいは、センシングすべき地上位置または航空機の位置におけるセンシングデータの欠損（センシングできていない）が原因でデータ適否判定により不適切と判定された場合には、本来センシングすべきだった地上位置、または航空機の制御目標位置、若しくは制御目標経路とすることができる。Next, the "position/area related to the inappropriate data" included in the accompanying information is information on the position or area related to the inappropriate judgment that was judged to be inappropriate. For example, it can be the sensing ground position sensed using the inappropriate data, or the position of the aircraft when sensing using the inappropriate data. If considering cases where the inappropriate judgment is caused by the aircraft's position or attitude deviating from a reference range, it is desirable for the inappropriate data to be the ground position that should have been sensed, or the control target position or control target route of the aircraft when sensing using the inappropriate data. Alternatively, if the data is judged to be inappropriate by the data suitability judgment due to a lack of sensing data (unable to be sensed) at the ground position or aircraft position that should have been sensed, it can be the ground position that should have been sensed, or the control target position or control target route of the aircraft.
図１１の表T104では、「不適切データの関連位置／エリア」として、不適切データでセンシングされた地上位置の四つ角の三次元座標の情報が示される例を示している。Table T104 in Figure 11 shows an example in which the "related location/area of inappropriate data" is displayed as the three-dimensional coordinate information of the four corners of the ground location sensed by the inappropriate data.
以下に、付随情報に含まれる対応アクションとその他の情報の組合せについて例を挙げて説明する。Below are some examples of how the response actions included in the accompanying information can be combined with other information.
まず、付随情報に含まれる対応アクションの情報が、不適切データの不使用である場合には、不適切データに関連する対象地域の情報が付随情報に含まれる。不適切データに関連する対象地域の情報とは、例えば、不適切データによりセンシングされたセンシング地上位置、または不適切データによりセンシングした際の航空機の位置、不適切データが本来センシングすべきだった地上位置、又は、不適切データによりセンシングした際の航空機の制御目標位置、または制御目標経路などである。First, when the information on the response action included in the associated information is non-use of the inappropriate data, information on the target area related to the inappropriate data is included in the associated information. Information on the target area related to the inappropriate data is, for example, the sensing ground position sensed by the inappropriate data, or the position of the aircraft when sensing by the inappropriate data, the ground position that should have been sensed by the inappropriate data, or the control target position or control target route of the aircraft when sensing by the inappropriate data.
次に、付随情報に含まれる対応アクションの情報が、不適切データに替えて他データの代用である場合には、代用される他データに関する情報が付随情報に含まれる。この代用される他データは、例えば、地理情報（地図情報）や過去に取得した画像データ、または既に作成済の三次元形状情報を含む空間データなどである。Next, if the information on the response action included in the accompanying information is a substitution of other data in place of the inappropriate data, information on the other data to be substituted is included in the accompanying information. This other data to be substituted is, for example, geographic information (map information), image data obtained in the past, or spatial data including three-dimensional shape information that has already been created.
次に、付随情報に含まれる対応アクションの情報が、処理後データの利用用途制限の通知である場合に、利用用途の制限に関する情報が付随情報に含まれる。ここで、利用用途の制限に関する情報とは、例えば、人の判定などの画像解析の用途に利用不可などである。画像のピントずれや解像度が基準値以下となっていることを理由に不適切と判定された不適切データなどは、オルソ画像としてユーザに提供されるのは許容されるものの、対象地域の状況を鮮明にとらえていないため、画像解析を行う検知対象を誤検知や非検知となる発生する可能性が高いと考えられるため、の判定などの画像解析の用途に利用不可とすることが望ましい。Next, when the information on the response action included in the accompanying information is a notification of restrictions on the use of the processed data, information on the restrictions on the use is included in the accompanying information. Here, the information on the restrictions on the use is, for example, that the data cannot be used for image analysis purposes such as identifying people. Inappropriate data that is determined to be inappropriate because the image is out of focus or the resolution is below a certain threshold may be permitted to be provided to users as an orthoimage, but since it does not clearly capture the situation in the target area, there is a high possibility that the target object of the image analysis will be falsely detected or not detected, and therefore it is desirable to make the data unusable for image analysis purposes such as determining people.
次に、付随情報に含まれる対応アクションの情報が、データ処理方法の指定である場合に、指定されるデータ処理方法に関する情報が付随情報に含まれる。ここで、指定されるデータ処理方法に関する情報とは、例えば、輝度異常が原因の不適切判定の場合には輝度調整の画像処理、航空機の位置誤差が原因の不適切判定の場合には位置誤差に応じた地表面撮影エリアの位置補正処理などである。Next, when the information on the response action included in the accompanying information is a designation of a data processing method, information on the designated data processing method is included in the accompanying information. Here, the information on the designated data processing method is, for example, image processing for adjusting brightness in the case of an inappropriate judgment caused by a brightness abnormality, and position correction processing of the ground surface photography area according to the position error in the case of an inappropriate judgment caused by an aircraft position error.
次に、付随情報に含まれる対応アクションの情報が、航空機によるセンシングの再実施である場合に、センシング再実施の予定位置、予定エリア、予定時刻の少なくともいずれかを含むセンシング再実施予定情報が付随情報に含まれる。ここで、センシング再実施の予定位置は、センシング予定の地上位置またはセンシング時の航空機の目標位置を含み、予定エリアは、センシング予定の地上エリアまたはセンシング時の航空機の目標飛行エリアを含み、予定時刻はセンシング予定の日時情報などを含む。Next, when the information on the response action included in the associated information is the re-execution of sensing by an aircraft, the associated information includes sensing re-execution schedule information including at least one of the planned location, planned area, and planned time for the sensing to be re-executed. Here, the planned location for the sensing re-execution includes the ground location where sensing is planned or the target location of the aircraft at the time of sensing, the planned area includes the ground area where sensing is planned or the target flight area of the aircraft at the time of sensing, and the planned time includes date and time information for the planned sensing, etc.
次に、情報付与部2362により、付随情報を不適切データなどに関連付けて記録する機能について説明する。情報付与部2362は、不適切と判定された不適切データ、又は不適切判定に関連する対象地域の地表位置、若しくは航空機の位置、若しくは航空機の制御目標位置、若しくは前記航空機の制御目標経路を付随情報と関連付けて、記憶装置に記録する。Next, the function of the information adding unit 2362 to record associated information in association with inappropriate data, etc. will be described. The information adding unit 2362 associates inappropriate data determined to be inappropriate, or the surface position of a target area related to the inappropriate determination, or the position of an aircraft, or the control target position of an aircraft, or the control target route of the aircraft, with the associated information and records it in the storage device.
ここで、不適切判定に関連する対象地域の地上位置とは、例えば、不適切データによりセンシングされたセンシング地上位置、および本来センシングすべきだった地上位置の位置座標（緯度、経度、高さ（L.L.H.））、またはその上空の位置座標（緯度、経度、高さ（L.L.H.））を含む。また、不適切判定に関連する航空機の位置とは、例えば、不適切データをセンシングにより取得した際の航空機の位置座標（緯度、経度、高さ（L.L.H.））を含む。また、不適切判定に関連する航空機の制御目標位置とは、例えば、不適切データをセンシングにより取得した際に、本来センシングすべきだった航空機の制御目標位置を含む。また、不適切判定に関連する航空機の制御目標経路とは、本来センシングすべきだった航空機の制御目標経路を含む。ここで、制御目標経路は、目標位置と目標速度を含むWaypointで表現される飛行ミッションであっても良い。また、制御目標経路や制御目標位置は、一般的に航空機が飛行開始する前に事前に作られるものである。Here, the ground position of the target area related to the inappropriateness determination includes, for example, the sensed ground position sensed by the inappropriate data, and the position coordinates (latitude, longitude, altitude (L.L.H.)) of the ground position that should have been sensed, or the position coordinates (latitude, longitude, altitude (L.L.H.)) above it. The position of the aircraft related to the inappropriateness determination includes, for example, the position coordinates (latitude, longitude, altitude (L.L.H.)) of the aircraft when the inappropriate data was acquired by sensing. The control target position of the aircraft related to the inappropriateness determination includes, for example, the control target position of the aircraft that should have been sensed when the inappropriate data was acquired by sensing. The control target route of the aircraft related to the inappropriateness determination includes the control target route of the aircraft that should have been sensed. Here, the control target route may be a flight mission expressed by waypoints including a target position and a target speed. The control target route and control target position are generally created in advance before the aircraft starts flying.
次に、付随情報表示部2363は、付随情報生成部2361により生成された付随情報を表示することで、データ管理システム2300のユーザに対して付随情報の内容を知らせることができる。一例として、付随情報は、マップ形式、三次元モデル、三次元空間の少なくともいずれかの表示装置の画面上において、前記不適切データ、又は前記不適切判定に関連する前記対象地位の地上位置の位置座標（緯度、経度、高さ（L.L.H.））、若しくは前記航空機の位置の位置座標（緯度、経度、高さ（L.L.H.））、若しくは前記航空機の制御目標位置の位置座標（緯度、経度、高さ（L.L.H.））、若しくは前記航空機の制御目標経路と関連付けて表示される。ここで、マップは二次元又は三次元の地図形式の情報、三次元モデルまたは三次元空間は、点群データまたはSfM処理により生成される三次元情報である。付随情報表示部2363により表示される付随情報の表示例を図１４、１５、１６に示す。図１４は、本発明の付随情報表示部が付随情報を不適切データに関連付けて表示する際の表示例を示す図である。図１５は、本発明の付随情報表示部が付随情報を地上のセンシング対象地域に関連付けて表示する際の表示例を示す図である。図１６は、本発明の付随情報表示部が付随情報を航空機の位置に関連付けて表示する際の表示例を示す図である。Next, the associated information display unit 2363 can inform the user of the data management system 2300 of the contents of the associated information by displaying the associated information generated by the associated information generation unit 2361. As an example, the associated information is displayed on at least one of the screens of a display device in a map format, a three-dimensional model, or a three-dimensional space in association with the inappropriate data or the ground position coordinates (latitude, longitude, altitude (L.L.H.)) of the target position related to the inappropriate judgment, or the position coordinates (latitude, longitude, altitude (L.L.H.)) of the aircraft position, or the position coordinates (latitude, longitude, altitude (L.L.H.)) of the control target position of the aircraft, or the control target route of the aircraft. Here, the map is information in a two-dimensional or three-dimensional map format, and the three-dimensional model or three-dimensional space is point cloud data or three-dimensional information generated by SfM processing. Display examples of the associated information displayed by the associated information display unit 2363 are shown in Figs. 14, 15, and 16. FIG. 14 is a diagram showing a display example when the associated information display unit of the present invention displays associated information in association with inappropriate data. FIG. 15 is a diagram showing a display example when the associated information display unit of the present invention displays associated information in association with a sensing target area on the ground. FIG. 16 is a diagram showing a display example when the associated information display unit of the present invention displays associated information in association with the position of an aircraft.
図１４に示す例では、付随情報は、不適切データ（不適切と判定されたセンシングデータ）と関連付けて表示される。ここでは、不適切データは画像データであり、ユーザはカーソルを操作して、任意の不適切データを選択できる。表示装置の画面上には、選択された不適切データに対して上述した付随情報が表示される。図１４では、付随情報として、不適切判定結果、不適切判定の理由、対応アクション、センシング時刻、対応地上エリアの座標、代用データが表示されている。In the example shown in FIG. 14, the associated information is displayed in association with inappropriate data (sensing data determined to be inappropriate). Here, the inappropriate data is image data, and the user can operate the cursor to select any inappropriate data. The above-mentioned associated information is displayed for the selected inappropriate data on the screen of the display device. In FIG. 14, the associated information displayed includes the inappropriateness determination result, the reason for the inappropriateness determination, the corresponding action, the sensing time, the coordinates of the corresponding ground area, and substitute data.
図１５に示す例では、付随情報は、マップ形式で表示装置の画面上において、地上のセンシング対象地域に関連付けて表示される。図１５では、各センシングデータにおける地上のセンシング範囲が点線で示されており、不適切データに対応する2か所の地上のセンシング対象地域に関連付けて付随情報が表示されている。また、ここでは付随情報として、不適切判定の理由、対応アクションが表示されている。In the example shown in FIG. 15, the associated information is displayed in map format on the screen of the display device in association with the sensing target area on the ground. In FIG. 15, the sensing range on the ground for each piece of sensing data is indicated by a dotted line, and the associated information is displayed in association with two sensing target areas on the ground that correspond to the inappropriate data. In addition, the reason for the inappropriateness judgment and the corresponding action are displayed as the associated information.
図１６に示す例では、付随情報は、マップ形式で表示装置の画面上において、航空機の位置に関連付けて表示される。図１６では、各センシングデータのセンシングを実行した際の航空機の位置（例えば、実測位置の座標）が○印で示されており、不適切データに対応する2か所の航空機の位置に関連付けて付随情報が表示されている。また、ここでは付随情報として、不適切判定の理由、対応アクションが表示されている。なお、図１６に○印で示された位置は、航空機の制御目標経路上における制御目標位置であっても良い。In the example shown in FIG. 16, the associated information is displayed in map format on the screen of the display device in association with the position of the aircraft. In FIG. 16, the position of the aircraft when sensing of each sensing data was performed (e.g., the coordinates of the actual measured position) is indicated by a circle, and the associated information is displayed in association with the positions of the two aircraft corresponding to the inappropriate data. In addition, the reason for the inappropriateness judgment and the corresponding action are displayed as the associated information. Note that the position indicated by the circle in FIG. 16 may be the control target position on the control target route of the aircraft.
（Ａ－１－６―７．ユーザ入力受付部2370）
ユーザ入力受付部2370は、適否判定結果表示部2343により表示される適否判定結果や、対応アクション判定結果表示部2352により表示される対応アクション判定結果に対するユーザ入力を受け付ける。上述した通り、ユーザ入力受付部2370は、表示される適否判定結果に対するユーザ入力を受け付けて不適切データを確定させることができる。また、ユーザ入力受付部2370は、表示される対応アクション判定結果に対するユーザ入力を受け付けて対応アクションを確定させることができる。(A-1-6-7. User input reception unit 2370)
The user input accepting unit 2370 accepts user input for the suitability judgment result displayed by the suitability judgment result display unit 2343 and the response action judgment result displayed by the response action judgment result display unit 2352. As described above, the user input accepting unit 2370 can accept user input for the displayed suitability judgment result to confirm the inappropriate data. In addition, the user input accepting unit 2370 can accept user input for the displayed response action judgment result to confirm the response action.
ユーザ入力受付部2370は、上記した内容に限られず、適否判定結果に関わらず、ユーザが不適切と判断したセンシングデータを選択させて、不適切データをユーザに確定させるユーザ入力を受け付けることができ、同様に、ユーザが判断した対応アクションをユーザに入力させて、対応アクションをユーザに確定させるユーザ入力を受け付けることができる。The user input receiving unit 2370 is not limited to the above, and can accept user input that allows the user to select sensing data that the user has determined to be inappropriate regardless of the suitability judgment result and allows the user to confirm the inappropriate data, and similarly, can accept user input that allows the user to input a response action that the user has determined and allows the user to confirm the response action.
（Ａ－１－７．データ処理マネジメント部3300）
データ処理マネジメント部3300は、データ処理部3200により生成される処理後データ、または処理中のデータの内容に基づいて、処理後データの適否と対応アクションを判定した上で、付随情報を生成し、処理後データと付随情報を配信システムへ提供する。図７は、本発明の一実施形態に係るデータ取得マネジメント部の機能構成図である。図７に示すように、データ処理マネジメント部3300は、付随情報表示部3310と、データ処理実行指令部3320と、処理後データのデータ適否判定部3330と、対応アクション判定部3340と、付随情報付与部3350と、ユーザ入力受付部3360と、配信情報生成部3370を備えている。(A-1-7. Data Processing Management Unit 3300)
The data processing management unit 3300 judges the suitability of the post-processing data and the corresponding action based on the post-processing data generated by the data processing unit 3200 or the contents of the data being processed, generates associated information, and provides the post-processing data and the associated information to the distribution system. Fig. 7 is a functional configuration diagram of a data acquisition management unit according to an embodiment of the present invention. As shown in Fig. 7, the data processing management unit 3300 includes an associated information display unit 3310, a data processing execution command unit 3320, a data suitability judgment unit 3330 for the post-processing data, a corresponding action judgment unit 3340, an associated information attachment unit 3350, a user input acceptance unit 3360, and a distribution information generation unit 3370.
（Ａ－１－７－１．付随情報表示部3310）
付随情報表示部3310は、前述したデータ管理システム2300における付随情報表示部2363と同様に、付随情報生成部2361により生成された付随情報を表示する。ただし、付随情報表示部3310は、データ処理マネジメント部3300のユーザ（つまり、データ処理を担当するユーザ）に対して、付随情報を表示する点で、付随情報表示部2363と異なるが、表示される付随情報の内容は同様としてよい。(A-1-7-1. Accompanying information display section 3310)
The associated information display unit 3310 displays the associated information generated by the associated information generation unit 2361, similar to the associated information display unit 2363 in the data management system 2300 described above. However, the associated information display unit 3310 differs from the associated information display unit 2363 in that the associated information is displayed to a user of the data processing management unit 3300 (i.e., a user in charge of data processing), but the contents of the displayed associated information may be similar.
ここで、付随情報に含まれる対応アクションが、例えば、「輝度調整の画像処理」、「位置誤差に応じた地表面撮影エリアの位置補正処理」、「角度誤差に応じた地表面撮影エリアの位置補正処理」などの、データ処理方法の指定である場合には、当該データ処理方法の指令が付随情報表示部3310によりデータ処理担当者に通知されるため、データ処理者は、当該対応アクションに従って、データ処理部3200を制御することが可能となる。Here, if the corresponding action included in the accompanying information is a specification of a data processing method, such as "image processing for adjusting brightness," "position correction processing of the ground surface photographed area according to the position error," or "position correction processing of the ground surface photographed area according to the angle error," the instruction for the data processing method is notified to the data processor by the accompanying information display unit 3310, and the data processor can control the data processing unit 3200 in accordance with the corresponding corresponding action.
また、付随情報表示部3310は、後述する付随情報付与部3350において生成される、処理中データや処理後データに対する適否判定結果や対応アクションなどを含む付随情報を表示する。この構成により、データ処理担当者が対応アクションに従って、不適切データの不使用や再センシング実施などの対応を取ることができる。The associated information display unit 3310 also displays associated information including the suitability judgment results and corresponding actions for the data being processed and the processed data, which are generated in the associated information attachment unit 3350 described below. With this configuration, the data processing staff can take measures such as not using inappropriate data or performing resensing in accordance with the corresponding actions.
（Ａ－１－７－２．データ処理実行指令部3320）
データ処理実行指令部3320は、データ処理部3200で実行するデータ処理の内容を判定して、データ処理部3200に対して当該データ処理の実行指令を送出する。図１７は、本発明のデータ処理実行指令部がデータ処理部に指令するデータ処理内容の一例を示す表である。データ処理実行指令部3320は、図１７の表T105に示すような様々なデータ処理の実行指令を生成することができる。また、実行指令を出すデータ処理の内容は予め設定されていても良く、あるいは表T105に示すデータ処理一覧から特定のデータ処理を選択することで設定しても良い。(A-1-7-2. Data processing execution command unit 3320)
The data processing execution command unit 3320 determines the content of the data processing to be executed by the data processing unit 3200, and sends an execution command for the data processing unit 3200. Fig. 17 is a table showing an example of the data processing content that the data processing execution command unit of the present invention commands the data processing unit. The data processing execution command unit 3320 can generate execution commands for various data processing such as those shown in table T105 of Fig. 17. The content of the data processing for which an execution command is issued may be set in advance, or may be set by selecting a specific data processing from the data processing list shown in table T105.
表T105に示す各データ処理の内容は下記の通りである。
・識別No.001：取得データとして複数の光学画像を取得し、取得した複数の光学画像の正射画像変換を行い、複数の正射画像を統合したオルソ画像を生成する処理。
・識別No.002：取得データとして複数の光学画像を取得し、ＳｆＭ（Structure from Motion）処理を用いて、複数の光学画像から三次元空間データを生成する処理。
・識別No.003：取得データとして点群データを取得し、点群データからDSM（Digital Surface Model）やDEM（Digital Elevation Model）による三次元空間データを生成する処理。
・識別No.004：No.001に示すオルソ画像の生成処理を行い、加工用データとして地理データを取得し、オルソ画像と地理データを統合した地図統合データを生成する処理。
・識別No.005：No.004に示す地図統合画像の生成処理を行い、加工用データとして過去の地図統合画像を取得し、現在と過去の地図統合画像の差分分析を行う処理。
・識別No.006：No.001に示すオルソ画像の生成処理を行い、加工用データとして災害情報を取得し、オルソ画像と災害情報を統合した災害情報統合画像を生成する処理。
・識別No.007：No.001に示すオルソ画像の生成処理を行い、加工用データとして現場部隊情報を取得し、オルソ画像と現場部隊情報を統合した現場部隊情報統合画像を生成する処理。The contents of each data processing shown in Table T105 are as follows:
- Identification No. 001: A process of acquiring multiple optical images as acquired data, converting the acquired optical images into orthoimages, and generating an orthoimage by integrating the multiple orthoimages.
- Identification No. 002: A process of acquiring multiple optical images as acquired data and generating three-dimensional spatial data from the multiple optical images using SfM (Structure from Motion) processing.
- Identification No. 003: The process of acquiring point cloud data as acquired data and generating three-dimensional spatial data from the point cloud data using DSM (Digital Surface Model) or DEM (Digital Elevation Model).
- Identification No. 004: Processing to generate the orthoimage shown in No. 001, obtain geographic data as data for processing, and generate map integrated data by integrating the orthoimage and geographic data.
- Identification No. 005: Processing for generating the map integrated image shown in No. 004, obtaining past map integrated images as data for processing, and performing a difference analysis between the current and past map integrated images.
- Identification No. 006: Processing to generate the orthoimage shown in No. 001, obtain disaster information as data for processing, and generate an integrated disaster information image by integrating the orthoimage and disaster information.
- Identification No. 007: A process for generating an orthoimage shown in No. 001, obtaining on-site unit information as processing data, and generating an on-site unit information integrated image by integrating the orthoimage and on-site unit information.
（Ａ－１－７－３．データ適否判定部3330）
データ適否判定部3330は、データ処理部3200によるデータ処理の過程で生成される処理中データ、もしくはデータ処理が完了した際に生成される処理後データの内容に基づいて、データの適否判定を行う、または適否判定結果を表示する。データ適否判定部3330は、データ分析部3331と、適否判定結果表示部3332を備える。(A-1-7-3. Data suitability determination unit 3330)
The data suitability judgment unit 3330 judges the suitability of data or displays the suitability judgment result based on the contents of the processing data generated during the data processing by the data processing unit 3200 or the processed data generated when the data processing is completed. The data suitability judgment unit 3330 includes a data analysis unit 3331 and a suitability judgment result display unit 3332.
データ分析部3331は、データ処理部3200から取得する処理中データおよび処理後データの内容を分析して、処理中データおよび処理後データの内容に関する判定基準に基づいて、不適切データを判定する。本データ分析部3331において不適切と判定する判定基準は、上述したデータ処理内容毎に、例えば下記のように設定することができる。The data analysis unit 3331 analyzes the contents of the data being processed and the processed data obtained from the data processing unit 3200, and judges inappropriate data based on judgment criteria related to the contents of the data being processed and the processed data. The judgment criteria for judging inappropriate data in this data analysis unit 3331 can be set for each of the data processing contents described above, for example, as follows:
オルソ画像生成を行うデータ処理識別No.001、004、005、006における不適切判定の判定基準は、例えば、画像データから所定値以上のレンズの歪みを検出した場合、画像データのブレ、またはピント（焦点）のズレを検出した場合、撮影画像に一部取得漏れを検出した場合、不要位置の画像（航空機の折り返し経路など）があること検出した場合、画像データの光度不足または白トビを検出した場合、などを含むことができる。The criteria for determining inappropriateness in data processing identification numbers 001, 004, 005, and 006 that generate orthoimages can include, for example, when lens distortion of a predetermined value or more is detected in the image data, when blurring or focus shift of the image data is detected, when a part of the captured image is missed, when an image in an unnecessary position (such as an aircraft's turnaround path) is detected, when insufficient brightness or blown-out highlights are detected in the image data, etc.
複数画像によるSfM処理を行うデータ処理識別No.002における不適切判定の判定基準は、例えば、三次元情報を生成する対象物が画像データに移っていない場合、または対象物の特徴点が得られない場合、とすることができる。または、所定値以上のレンズの歪みを検出した場合、画像データから地上基準点（GCP（Ground control point）、CP（Check point）など）が撮影できていない場合、所定値以上のドーミングを検出した場合、撮影画像に一部取得漏れを検出した場合、不要位置の画像（航空機の折り返し経路など）があること検出した場合、画像データの光度不足または白トビを検出した場合、などを含むことができる。また、不適切判定の判定基準は上述したものに限られず、SfM処理の各処理ステップに関する判定基準を設けることができる。The criteria for determining inappropriateness in data processing identification No. 002, which performs SfM processing using multiple images, can be, for example, when the object for which three-dimensional information is to be generated is not transferred to the image data, or when feature points of the object cannot be obtained. Or, it can include when lens distortion of a predetermined value or more is detected, when ground control points (GCPs (Ground control points), CPs (Check points), etc.) cannot be captured from the image data, when doming of a predetermined value or more is detected, when a part of the captured image is not captured, when an image of an unnecessary position (such as an aircraft's turnaround path) is detected, when insufficient luminosity or blown-out highlights are detected in the image data, and so on. In addition, the criteria for determining inappropriateness are not limited to those described above, and criteria can be set for each processing step of SfM processing.
計測点群からの三次元空間データ生成するデータ処理識別No.003における不適切判定の判定基準は、例えば、崖などの地形により地表にレーザが届いていない、またはレーザを吸収する水面、霧、その他の物体により点群データが取得できていないエリアを検出した場合、とすることができる。また、点群データに一部取得漏れを検出した場合、または点群データから特徴点を検出できない場合、などを含むことができる。The criteria for determining inappropriateness in data processing identification No. 003, which generates three-dimensional spatial data from measurement point clouds, can be, for example, when an area is detected where the laser does not reach the ground surface due to terrain such as a cliff, or where point cloud data cannot be acquired due to water surfaces, fog, or other objects that absorb the laser. It can also include cases where part of the point cloud data has been missed, or where feature points cannot be detected from the point cloud data, etc.
本データ分析部3331において不適切と判定する判定基準は、上記以外にも、下記の判定基準を含んで良い。
・データ処理内容が、画像データに含まれる地上の距離計測するためのステレオ画像として利用できるペア画像が検出できない場合。
・画像データと点群データの両方をデータ処理する場合に、点群データが得られておらず、かつ画像により雲または霧の存在を検出した場合。The criteria for determining inappropriateness in the data analysis unit 3331 may include the following criteria in addition to those mentioned above.
- When the data processing content cannot detect paired images that can be used as stereo images for measuring distances on the ground contained in the image data.
When processing both image data and point cloud data, the case where point cloud data is not available and the presence of clouds or fog is detected from the images.
上記したデータ分析部3331における処理中データと処理後データに対する不適切判定は、上記したような処理中データと処理後データに関する状態量と基準値の比較により判定されても良いが、それ以外にも、過去の処理後データの状態量との比較、若しくは目標値との比較により判定されても良い。The inappropriateness judgment of the data being processed and the processed data in the data analysis unit 3331 may be made by comparing the state quantities of the data being processed and the processed data with a reference value as described above, but may also be made by comparing the state quantities with those of past processed data or with a target value.
次に、適否判定結果表示部3332は、上述した不適切判定の結果を表示する。具体的には、図１２に示したデータ管理システム2300の適否判定結果表示部2343に表示される不適切判定の結果表示と同様の表示とすることができる。つまり、適否判定の対象となる処理中データまたは処理後データに対して、不適切と判定された不適切データが識別可能に表示される。データ処理マネジメント部3300のユーザは、後述するユーザ入力受付部3360により表示された任意の不適切データを選択することができる。Next, the suitability judgment result display unit 3332 displays the result of the inappropriateness judgment described above. Specifically, the display can be the same as the result of the inappropriateness judgment displayed in the suitability judgment result display unit 2343 of the data management system 2300 shown in FIG. 12. In other words, the inappropriate data judged to be inappropriate is displayed in an identifiable manner compared to the data in process or processed data that is the subject of the suitability judgment. The user of the data processing management unit 3300 can select any of the inappropriate data displayed by the user input reception unit 3360 described below.
（Ａ－１－７－４．対応アクション判定部3340）
対応アクション判定部3340は、データ処理部3200から取得した処理中データまたは処理後データの内容、またはこれらの組合せの結果に基づいて、対応アクションを判定する、または対応アクションの候補を表示する。対応アクション判定部3340は、判定処理部3341と、対応アクション判定結果表示部3342を備えている。判定処理部3341は、特にデータ適否判定部3330によりデータが不適切と判定された場合に取るべき対応アクションを判定する。(A-1-7-4. Corresponding action determination unit 3340)
The corresponding action determination unit 3340 determines a corresponding action or displays candidates for a corresponding action based on the contents of the data being processed or the processed data acquired from the data processing unit 3200, or a combination of these. The corresponding action determination unit 3340 includes a determination processing unit 3341 and a corresponding action determination result display unit 3342. The determination processing unit 3341 determines a corresponding action to be taken, particularly when the data suitability determination unit 3330 determines that the data is inappropriate.
対応アクション判定部3340は、処理中データと処理後データに関する状態量や、データ適否判定部3330による不適切判定の判定結果に基づいて、対応アクションを判定する。判定処理部3341により判定される対応アクションとしては、データ管理システム2300の判定処理部2351と同様に、例えば、不適切と判定された不適切データの不使用、不適切データに替えて他データの代用、処理後データの利用用途制限の通知、不適切データを含むことの通知、データ処理方法の指定、航空機によるセンシングの再実施、ユーザ指定の利用用途に応じたデータ処理方法の指定、ユーザ指定の利用用途に応じた処理後データの表示方法の指定、などが含まれる。The corresponding action determination unit 3340 determines a corresponding action based on the state quantities related to the data being processed and the processed data, and the result of the inappropriateness determination by the data appropriateness determination unit 3330. The corresponding actions determined by the determination processing unit 3341 include, as with the determination processing unit 2351 of the data management system 2300, for example, not using inappropriate data determined to be inappropriate, substituting other data for the inappropriate data, notifying the user of restrictions on the use of the processed data, notifying that the processed data contains inappropriate data, specifying a data processing method, re-performing sensing by an aircraft, specifying a data processing method according to the use specified by the user, and specifying a display method for the processed data according to the use specified by the user.
ここで、複数画像によるSfM処理を行うデータ処理識別No.002を行う場合であって、不適切判定により所定値以上のドーミングを検出した場合には、対応アクション判定部3340は、「航空機によるセンシングの再実施」により対象地域の斜め画像の撮影と、「データ処理方法の指定」によりドーミング対応処理の実施、を対応アクションとして判定する。Here, when performing data processing identification No. 002, which performs SfM processing using multiple images, and doming of a predetermined value or more is detected due to an inappropriate judgment, the response action judgment unit 3340 judges the response action to be the taking of oblique images of the target area by "re-performing sensing by aircraft" and the implementation of doming response processing by "designating a data processing method."
対応アクション判定部3340の判定基準は、ユーザ要望取得部2310で取得したユーザからの入力情報に基づいて設定することができるが、これに限られず、システムが予め設定されていても良い。または、システムが予め設定した対象状態量毎のデフォルト設定基準に対して、T102左側の選択欄にユーザが入力することで適用する基準を取捨選択しても良いし、T102右側の対応アクション判定欄にユーザが入力することで任意の条件を設定しても良い。The judgment criteria of the corresponding action judgment unit 3340 can be set based on input information from the user acquired by the user request acquisition unit 2310, but are not limited to this and may be preset by the system. Alternatively, the user may select the criteria to be applied by inputting into the selection field on the left side of T102 from the default setting criteria for each target state quantity preset by the system, or the user may set arbitrary conditions by inputting into the corresponding action judgment field on the right side of T102.
また、対応アクション判定基準の一例として、処理後データの利用用途（地物点検用途、森林測量用途など）をユーザが入力し、入力された利用用途に応じて、システムが自動的に対応アクション判定の基準や判定結果を生成するようにしても良い。As an example of criteria for determining the corresponding action, the user may input the intended use of the processed data (such as for inspecting features or for forest surveying), and the system may automatically generate criteria for determining the corresponding action and the determination result according to the intended use input.
次に、対応アクション判定結果表示部3342は、判定処理部3341により判定された対応アクションの判定結果が表示する。対応アクション判定結果表示部3342が表示する内容は、図１３に示すような、データ管理システム2300の対応アクション判定結果表示部2352と同様の内容とすることができる。データ処理マネジメント部3300のユーザは、後述するユーザ入力受付部3360により任意の不適切データを選択することができ、選択された不適切データに対応する対応アクションの判定結果が表示される。また、任意の不適切データが選択された場合に、上述した対応アクションの判定結果とその他の候補が選択可能に表示され、更に、対応アクションの確定ボタンが表示される。ユーザは、ユーザ入力受付部3360により任意の対応アクションを選択することができ、特定の対応アクションを選択した状態で、対応アクションの確定ボタンを操作することで、対応アクションを確定させることができる。Next, the response action determination result display unit 3342 displays the determination result of the response action determined by the determination processing unit 3341. The content displayed by the response action determination result display unit 3342 can be the same as that of the response action determination result display unit 2352 of the data management system 2300 as shown in FIG. 13. The user of the data processing management unit 3300 can select any inappropriate data using the user input receiving unit 3360 described later, and the determination result of the response action corresponding to the selected inappropriate data is displayed. In addition, when any inappropriate data is selected, the above-mentioned response action determination result and other candidates are displayed so that they can be selected, and a confirmation button for the response action is also displayed. The user can select any response action using the user input receiving unit 3360, and with a specific response action selected, the response action can be confirmed by operating the confirmation button for the response action.
（Ａ－１－７－５．付随情報付与部3350）
付随情報付与部3350は、データ適否判定部3330により判定された適否判定の内容に関する情報を含む付随情報を生成し、付随情報を不適切データなどに関連付けて記録、または表示部に表示する。付随情報付与部3350は、付随情報生成部3351と、情報付与部3352を備え、付随情報生成部3351により付随情報を生成し、付随情報を不適切データなどに関連付けて記録及び表示する。(A-1-7-5. Accompanying information adding unit 3350)
The associated information adding unit 3350 generates associated information including information related to the content of the suitability judgment made by the data suitability judgment unit 3330, and records the associated information in association with inappropriate data, etc., or displays it on the display unit. The associated information adding unit 3350 includes an associated information generating unit 3351 and an information adding unit 3352, and generates associated information by the associated information generating unit 3351, and records and displays the associated information in association with inappropriate data, etc.
付随情報生成部3351は、図１１に示すようなデータ管理システム2300において生成された付随情報に対して、データ処理マネジメント部3300のデータ適否判定部3330や対応アクション判定部3340による判定結果を追加または置き換えた付随情報を生成する。そのため、付随情報生成部3351で生成される付随情報は、データ処理の実行前にデータ管理システム2300において生成された適否判定結果や対応アクション判定結果と、データ処理の実行中または実行後に生成された適否判定結果や対応アクション判定結果の少なくともいずれか、または全てを含んだ付随情報とすることができる。The associated information generation unit 3351 generates associated information by adding or replacing the judgment results by the data suitability judgment unit 3330 and the corresponding action judgment unit 3340 of the data processing management unit 3300 to the associated information generated in the data management system 2300 as shown in FIG. 11. Therefore, the associated information generated by the associated information generation unit 3351 can be associated information that includes at least one of or all of the suitability judgment result and the corresponding action judgment result generated in the data management system 2300 before the execution of data processing, and the suitability judgment result and the corresponding action judgment result generated during or after the execution of data processing.
情報付与部3352は、前述した情報付与部2362と同様の機能を有しており、付随情報生成部3351で生成した付随情報を不適切データなどに関連付けて記録する。情報付与部3352は、不適切と判定された不適切データ、又は不適切判定に関連する対象地域の地表位置、若しくは航空機の位置、若しくは航空機の制御目標位置、若しくは前記航空機の制御目標経路を付随情報と関連付けて、記憶装置に記録する。The information adding unit 3352 has the same function as the information adding unit 2362 described above, and records the associated information generated by the associated information generating unit 3351 in association with inappropriate data, etc. The information adding unit 3352 associates the inappropriate data determined to be inappropriate, or the surface position of the target area related to the inappropriateness determination, or the position of the aircraft, or the control target position of the aircraft, or the control target route of the aircraft, with the associated information and records it in the storage device.
付随情報生成部3351により生成された付随情報は、前述した付随情報表示部3310により、不適切データなどに関連付けてデータ処理マネジメント部3300のユーザ（つまり、データ処理担当者）に表示される。付随情報表示部3310は、不適切と判定された不適切データ、又は不適切判定に関連する対象地域の地表位置、若しくは航空機の位置、若しくは航空機の制御目標位置、若しくは前記航空機の制御目標経路を付随情報と関連付けて、付随情報を表示装置に表示する。The associated information generated by the associated information generation unit 3351 is displayed to the user of the data processing management unit 3300 (i.e., the data processing personnel) by the associated information display unit 3310 described above in association with the inappropriate data, etc. The associated information display unit 3310 associates the associated information with the inappropriate data determined to be inappropriate, or the surface position of the target area related to the inappropriateness determination, or the position of the aircraft, or the control target position of the aircraft, or the control target route of the aircraft, and displays the associated information on the display device.
このように、データ処理マネジメント部3300のデータ処理担当者に対して、処理中データや処理後データに対する対応アクションなどを含む付随情報を表示することで、データ処理担当者が対応アクションに従って、不適切データの不使用や再センシング実施などの対応を取ることができる。In this way, by displaying accompanying information including response actions for data being processed and processed data to the data processing manager 3300, the data processing staff can take appropriate measures such as not using inappropriate data or conducting resensing in accordance with the response actions.
（Ａ－１－７－６．ユーザ入力受付部 3360）
ユーザ入力受付部3360は、適否判定結果表示部3332により表示される適否判定結果や、対応アクション判定結果表示部3342により表示される対応アクション判定結果に対するユーザ入力を受け付ける。上述した通り、ユーザ入力受付部3360は、表示される適否判定結果に対するユーザ入力を受け付けて不適切データを確定させることができる。また、ユーザ入力受付部3360は、表示される対応アクション判定結果に対するユーザ入力を受け付けて対応アクションを確定させることができる。(A-1-7-6. User input reception unit 3360)
The user input accepting unit 3360 accepts user input for the suitability judgment result displayed by the suitability judgment result display unit 3332 and the response action judgment result displayed by the response action judgment result display unit 3342. As described above, the user input accepting unit 3360 can accept user input for the displayed suitability judgment result to confirm the inappropriate data. In addition, the user input accepting unit 3360 can accept user input for the displayed response action judgment result to confirm the response action.
ユーザ入力受付部3360は、上記した内容に限られず、適否判定結果に関わらず、ユーザが不適切と判断したセンシングデータを選択させて、不適切データをユーザに確定させるユーザ入力を受け付けることができ、同様に、ユーザが判断した対応アクションをユーザに入力させて、対応アクションをユーザに確定させるユーザ入力を受け付けることができる。The user input receiving unit 3360 is not limited to the above, and can accept user input that allows the user to select sensing data that the user has determined to be inappropriate regardless of the suitability judgment result and allows the user to confirm the inappropriate data, and similarly, can accept user input that allows the user to input a response action that the user has determined and allows the user to confirm the response action.
（Ａ－１－７－７．配信情報生成部3370）
配信情報生成部3370は、付随情報生成部3351により生成された付随情報と、データ処理部3200により生成される処理後データを関連付けられた配信情報を生成することで、配信システム4000を介して配信情報を閲覧するユーザ端末装置のユーザに対して、処理後データに対応する付随情報の内容を知らせることができる。(A-1-7-7. Distribution information generation unit 3370)
The distribution information generation unit 3370 generates distribution information in which the associated information generated by the associated information generation unit 3351 and the processed data generated by the data processing unit 3200 are associated, thereby making it possible to inform a user of a user terminal device viewing the distribution information via the distribution system 4000 of the contents of the associated information corresponding to the processed data.
一例として、配信情報生成部3370は、不適切と判定された不適切データ、又は不適切判定に関連する対象地位の地上位置、若しくは航空機の位置、若しくは航空機の制御目標位置、若しくは航空機の制御目標経路と関連付けて、マップ形式で表示するユーザ端末装置の表示装置の画面上において付随情報が表示される配信情報を生成する。As an example, the distribution information generation unit 3370 generates distribution information in which accompanying information is displayed on the screen of the display device of the user terminal device in map format in association with inappropriate data determined to be inappropriate, or the ground position of a target position related to the inappropriate determination, or the position of the aircraft, or the control target position of the aircraft, or the control target route of the aircraft.
配信情報生成部3370により生成される配信情報が、ユーザ端末装置の表示画面上に表示される際の表示例を図１８、１９に示す。図１８は、本発明の配信情報生成部が付随情報を地上センシング対象地域に関連付けて表示する際の表示例を示す図である。図１９は、本発明の配信情報生成部が付随情報を航空機の位置に関連付けて表示する際の表示例を示す図である。Figures 18 and 19 show examples of the distribution information generated by the distribution information generation unit 3370 displayed on the display screen of a user terminal device. Figure 18 is a diagram showing an example of the display when the distribution information generation unit of the present invention displays associated information in association with a ground sensing target area. Figure 19 is a diagram showing an example of the display when the distribution information generation unit of the present invention displays associated information in association with the position of an aircraft.
図１８に示す表示例では、処理後データがマップ形式で表示される表示装置の画面上において、不適切データに対応する地上のセンシング対象地域に関連付けて、付随情報が表示される例を示している。更に、図１８では、各処理後データに対応する地上範囲が点線で示されており、不適切データに対応する2か所の地上範囲に関連付けて付随情報が表示されている。また、ここでは付随情報として、不適切判定の理由、対応アクションなどが表示されている。In the display example shown in Figure 18, the processed data is displayed in map format on the screen of a display device, where accompanying information is displayed in association with the sensing target areas on the ground that correspond to the inappropriate data. Furthermore, in Figure 18, the ground ranges corresponding to each piece of processed data are shown with dotted lines, and accompanying information is displayed in association with the two ground ranges that correspond to the inappropriate data. Also displayed here as accompanying information are the reason for the inappropriateness judgment, corresponding actions, etc.
図１９に示す表示例では、処理後データがマップ形式で表示される表示装置の画面上において、不適切データに対応する航空機の位置に関連付けて、付随情報が表示される例を示している。更に、図１９では、各処理後データに対応する際の航空機の位置（例えば、実測位置の座標）が○印で示されており、不適切データに対応する2か所の航空機の位置に関連付けて付随情報が表示されている。また、ここでは付随情報として、不適切判定の理由、対応アクションなどが表示されている。なお、図１９に○印で示された位置は、航空機の制御目標経路上における制御目標位置であっても良い。The display example shown in FIG. 19 shows an example in which accompanying information is displayed in association with the position of the aircraft corresponding to the inappropriate data on the screen of a display device on which the processed data is displayed in map format. Furthermore, in FIG. 19, the position of the aircraft corresponding to each processed data (e.g., the coordinates of the actual position) is indicated by a circle, and accompanying information is displayed in association with the positions of two aircraft corresponding to the inappropriate data. In addition, the reason for the inappropriateness judgment, corresponding actions, etc. are displayed as accompanying information. Note that the positions indicated by the circles in FIG. 19 may be the control target positions on the control target route of the aircraft.
図１８，１９に示す例では、例えば、不適切判定理由が「ピントずれ」であり、対応アクションとして「ユーザへ不適切判定情報の通知」、「人判定の用途に利用不可」が表示される例を示している。そのため、この配信情報を見たユーザは、不適切データはピントずれがあるセンシングデータに基づいてデータ処理されていることを把握できる。また、人判定の用途に利用不可であることから、ピントずれの影響により人の有無を判定する用途には利用できないことを把握することができる。In the example shown in Figures 18 and 19, for example, the reason for the inappropriateness determination is "out of focus," and the corresponding actions displayed are "notify user of inappropriateness determination information" and "cannot be used for human detection." Therefore, a user who sees this distribution information can understand that the inappropriate data is processed based on sensing data that is out of focus. In addition, because it cannot be used for human detection, the user can understand that it cannot be used to determine the presence or absence of a person due to the effects of out of focus.
このように、処理後データを閲覧する閲覧ユーザに対して、処理後データ、またはこれに対応する地上位置や航空機位置などの情報と関連付けて付随情報を表示することにより、撮影失敗と判断されたデータが利用されている個所とそうでない箇所や、不適切データが不適切と判定された理由を正しく認識することができ、さらに、処理後データを利用することができる用途範囲なども把握できるため、処理後データに基づいて対象地域の状況を正しく把握することができる。また、不適切データが再計測により更新される予定があるかなどの今後の対応アクションについても把握することができるため、処理後データを確認したユーザが危機対策本部員などである場合には、今後の危機対策作業の計画をより適切に判断することができる。In this way, by displaying accompanying information in association with the processed data or corresponding information such as ground location or aircraft location to the viewing user viewing the processed data, the viewing user can correctly recognize the locations where data determined to be a failed capture is being used and the locations where it is not, and the reason why inappropriate data was determined to be inappropriate. Furthermore, the range of applications in which the processed data can be used can be understood, so the situation in the target area can be correctly understood based on the processed data. In addition, future response actions, such as whether the inappropriate data is scheduled to be updated by re-measurement, can be understood, so if the user viewing the processed data is a member of a crisis response headquarters, for example, they can more appropriately determine plans for future crisis response work.
＜ハードウェア構成＞
図２０は、データ管理システム2300とデータ処理マネジメント部3300のハードウェア構成の一例を示す図である。ここで、本発明におけるデータ管理システム2300とデータ処理マネジメント部3300は、サーバ装置やPCなどの情報処理装置である。図示するように、データ管理システム2300とデータ処理マネジメント部3300は、入力装置100と、出力装置200と、処理装置300と、主記憶装置400と、補助記憶装置500と、通信装置600と、これらの各装置を電気的に接続するバス700と、を有する。<Hardware Configuration>
20 is a diagram showing an example of the hardware configuration of a data management system 2300 and a data processing management unit 3300. Here, the data management system 2300 and the data processing management unit 3300 in the present invention are information processing devices such as a server device or a PC. As shown in the figure, the data management system 2300 and the data processing management unit 3300 have an input device 100, an output device 200, a processing device 300, a main memory device 400, an auxiliary memory device 500, a communication device 600, and a bus 700 that electrically connects these devices.
入力装置100は、ユーザがデータ管理システム2300とデータ処理マネジメント部3300に情報や指示を入力するための装置である。具体的には、入力装置100は、例えばタッチパネル、キーボード、マウスあるいはマイクロフォンのような音声入力装置である。The input device 100 is a device that allows a user to input information and instructions to the data management system 2300 and the data processing management unit 3300. Specifically, the input device 100 is, for example, a touch panel, a keyboard, a mouse, or a voice input device such as a microphone.
出力装置200は、データ管理システム2300とデータ処理マネジメント部3300により生成された情報を出力する装置である。具体的には、出力装置200は、表示装置（アイウェア、AR、VRのディスプレイ装置などを含む）やプリンタあるいはスピーカである。The output device 200 is a device that outputs information generated by the data management system 2300 and the data processing management unit 3300. Specifically, the output device 200 is a display device (including eyewear, AR, VR display devices, etc.), a printer, or a speaker.
処理装置300は、例えば演算処理を行う装置である。具体的には、処理装置300は、例えば、ＣＰＵ、マイクロプロセッサ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはその他の演算できる半導体デバイス等である。The processing device 300 is, for example, a device that performs arithmetic processing. Specifically, the processing device 300 is, for example, a CPU, a microprocessor, a GPU (Graphics Processing Unit), an FPGA (Field Programmable Gate Array), or other semiconductor devices capable of performing calculations.
主記憶装置400は、読み出した各種情報を一時的に格納するＲＡＭや処理装置300で実行されるプログラムやアプリケーションプログラムおよびその他の様々な情報等を格納するＲＯＭといったメモリ装置である。補助記憶装置500は、デジタル情報を記憶可能なＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）あるいはフラッシュメモリなどの不揮発性記憶装置である。The main memory device 400 is a memory device such as a RAM that temporarily stores various read information and a ROM that stores programs and application programs executed by the processing device 300 and various other information. The auxiliary memory device 500 is a non-volatile memory device such as an HDD (Hard Disk Drive), SSD (Solid State Drive), or flash memory that can store digital information.
通信装置600は、外部装置との間で無線あるいは有線による情報通信を行う装置である。The communication device 600 is a device that communicates information with an external device wirelessly or via a wired connection.
なお、図２０では、データ管理システム2300とデータ処理マネジメント部3300のハードウェア構成を説明したが、データ取得拠点システム2000内の他システム（通信インフラマネジメントシステム2100、機体運航オペレートシステム2200、運航マネジメントシステム2500、空域監視システム2600）、データ処理拠点システム3000他システム（通信部3100、データ処理部3200）、及び配信システム、及びユーザ端末装置（危機対策本部端末を含む）においても、上述した図２０と同様のハードウェア構成で実現することができる。Note that while FIG. 20 describes the hardware configuration of the data management system 2300 and the data processing management unit 3300, other systems within the data acquisition base system 2000 (communications infrastructure management system 2100, aircraft flight operation system 2200, flight management system 2500, airspace monitoring system 2600), other systems within the data processing base system 3000 (communications unit 3100, data processing unit 3200), and distribution systems, and user terminal devices (including crisis management headquarters terminals) can also be realized with a hardware configuration similar to that shown in FIG. 20 described above.
＜制御フロー＞
（Ａ－１－８．航空データ処理システムの上位制御フロー）
次に、航空データ処理システムの制御フローを図面を用いて説明する。図２１は、航空データ処理システム１による処理フローを示すフローチャートである。<Control flow>
(A-1-8. High-level control flow of the aviation data processing system)
Next, the control flow of the aviation data processing system will be described with reference to the drawings. Fig. 21 is a flowchart showing the process flow of the aviation data processing system 1.
まず、データ管理システム2300のユーザ要望取得部2310により、ユーザ要望情報を取得する（ステップ１０１）。なお、本ステップは、航空機によるセンシング作業を開始する前に予め取得しても良いし、センシング作業の実行中にユーザ要望を取得しても良い。First, the user request information is acquired by the user request acquisition unit 2310 of the data management system 2300 (step 101). Note that this step may be performed before starting sensing work by the aircraft, or the user request may be acquired while the sensing work is being performed.
次いで、データ管理システム2300のセンシングデータ取得部2320、及び状態情報取得部2330により、航空機からセンシングデータと状態情報を取得する（ステップ１０２）。取得する状態情報の一例として、図１０の表T103に示すような状態情報を取得する。Then, the sensing data acquisition unit 2320 and the status information acquisition unit 2330 of the data management system 2300 acquire sensing data and status information from the aircraft (step 102). As an example of the status information to be acquired, status information such as that shown in Table T103 in FIG. 10 is acquired.
次いで、データ管理システム2300のデータ適否判定部2340により、取得したセンシングデータと状態情報などの情報に基づいてデータの不適切判定を行う（ステップ１０３）。ここで、航空機がセンシング作業のためのフライトを終えた後に、無線通信を介して受信、または航空機のセンシングデータ記録部1500と状態データ記録部1600から読みだしたデータに基づいて、データ取得拠点システム2000内で、本ステップによるデータ適否判定を行っても良いが、データ取得拠点システム2000に設けられる各機能部を航空機に実装して、航空機がセンシング作業のためのフライト中に、本ステップによるデータ適否判定を行うことも可能である。Then, the data suitability determination unit 2340 of the data management system 2300 determines whether the data is appropriate based on the acquired sensing data and information such as status information (step 103). Here, after the aircraft has completed its flight for sensing operations, the data suitability determination in this step may be performed within the data acquisition base system 2000 based on data received via wireless communication or read from the aircraft's sensing data recording unit 1500 and status data recording unit 1600. However, it is also possible to implement each functional unit provided in the data acquisition base system 2000 in the aircraft and perform the data suitability determination in this step while the aircraft is in flight for sensing operations.
次いで、データ適否判定部2340によるデータ適否判定の結果、不適切と判定された不適切データがあるか否かを判断し、当該判断結果に応じて遷移するステップを決定する（ステップ１０４）。不適切データがある場合にはステップ１０５に遷移させ、不適切データが無い場合にはステップ１０８に遷移させる。Next, the data suitability determination unit 2340 determines whether there is any inappropriate data determined to be inappropriate as a result of the data suitability determination, and determines the step to transition to based on the determination result (step 104). If there is inappropriate data, transition is made to step 105, and if there is no inappropriate data, transition is made to step 108.
次いで、データ管理システム2300の対応アクション判定部2350により、データ不適切と判定された場合の対応アクションを判定する（ステップ１０５）。ここで、本ステップは、航空機がセンシング作業のためのフライトを終えた後に、データ取得拠点システム2000内で実施しても良いが、データ取得拠点システム2000に設けられる各機能部を航空機に実装して、航空機がセンシング作業のためのフライト中に、本ステップによる対応アクション判定を行うことも可能である。Then, the response action determination unit 2350 of the data management system 2300 determines the response action to be taken when the data is determined to be inappropriate (step 105). This step may be performed within the data acquisition base system 2000 after the aircraft has completed its flight for sensing operations, but it is also possible to implement each functional unit provided in the data acquisition base system 2000 in the aircraft and perform the response action determination in this step while the aircraft is in flight for sensing operations.
次いで、データ管理システム2300の付随情報付与部2360により、適否判定に関する情報、対応アクション判定の内容に関する情報を含む付随情報を生成し、付随情報を不適切データなどと関連付けて記録する（ステップ１０６）。Next, the associated information adding unit 2360 of the data management system 2300 generates associated information including information on the suitability judgment and information on the content of the corresponding action judgment, and records the associated information in association with the inappropriate data, etc. (step 106).
次いで、データ管理システム2300の付随情報付与部2360により、データ管理システム2300のユーザ（つまり、データセンシングの担当者）に対して、付随情報を不適切データなどと関連付けて表示する。更に、データ処理マネジメント部3300の付随情報表示部3310により、データ処理マネジメント部3300のユーザ（つまり、データ処理の担当者）に対して、付随情報を不適切データなどと関連付けて表示する（ステップ１０７）。Then, the associated information adding unit 2360 of the data management system 2300 displays the associated information to the user of the data management system 2300 (i.e., the person in charge of data sensing) in association with the inappropriate data, etc. Furthermore, the associated information display unit 3310 of the data processing management unit 3300 displays the associated information to the user of the data processing management unit 3300 (i.e., the person in charge of data processing) in association with the inappropriate data, etc. (step 107).
次いで、データ処理マネジメント部3300のデータ処理実行指令部3320により、データ処理部3200へのデータ処理の実行を指令する（ステップ１０８）。Then, the data processing execution command unit 3320 of the data processing management unit 3300 commands the data processing unit 3200 to execute data processing (step 108).
次いで、データ処理マネジメント部3300のデータ適否判定部3330により、処理中データまたは処理後データのデータ適否判定を実施する（ステップ１０９）。Then, the data suitability determination unit 3330 of the data processing management unit 3300 performs a data suitability determination for the data being processed or the processed data (step 109).
次いで、データ処理マネジメント部3300のデータ適否判定部3330によるデータ適否判定の結果、データ不適切と判定された不適切データがあるか否かを判断し、当該判断結果に応じて遷移するステップを決定する（ステップ１１０）。不適切データがある場合にはステップ１１１に遷移させ、不適切データが無い場合には本フローチャートの処理を終了させる。Then, as a result of the data suitability judgment by the data suitability judgment unit 3330 of the data processing management unit 3300, it is judged whether there is any inappropriate data judged to be inappropriate, and the step to transition to is determined according to the judgment result (step 110). If there is inappropriate data, transition is made to step 111, and if there is no inappropriate data, the processing of this flowchart is terminated.
次いで、データ処理マネジメント部3300の対応アクション判定部3340により、データ不適切と判定された場合の対応アクションを判定する（ステップ１１１）。Then, the corresponding action determination unit 3340 of the data processing management unit 3300 determines the corresponding action to be taken if the data is determined to be inappropriate (step 111).
次いで、データ処理マネジメント部3300の付随情報付与部3350により、適否判定に関する情報、対応アクション判定の内容に関する情報を含む付随情報を生成し、付随情報を不適切データなどと関連付けて記録する（ステップ１１２）。Then, the associated information adding unit 3350 of the data processing management unit 3300 generates associated information including information on the suitability judgment and information on the content of the corresponding action judgment, and records the associated information in association with the inappropriate data, etc. (step 112).
次いで、データ処理マネジメント部3300の付随情報表示部3310により、データ処理マネジメント部3300のユーザ（つまり、データ処理の担当者）に対して、付随情報を不適切データなどと関連付けて表示する（ステップ１１３）。Then, the associated information display unit 3310 of the data processing management unit 3300 displays the associated information in association with the inappropriate data, etc., to the user of the data processing management unit 3300 (i.e., the person in charge of data processing) (step 113).
次いで、データ処理マネジメント部3300の配信情報生成部3370により、付随情報と処理後データを含む配信情報を生成する（ステップ１１４）。更に、本ステップにより生成された配信情報は、配信システム4000によりユーザ端末装置5000へ配信される。Next, the distribution information generating unit 3370 of the data processing management unit 3300 generates distribution information including the associated information and the processed data (step 114). Furthermore, the distribution information generated in this step is distributed to the user terminal device 5000 by the distribution system 4000.
（Ａ－１－９．データ適否判定の処理フロー）
図２２は、本発明のデータ管理システムにおけるデータ適否判定部2340がデータ適否判定を行う際に行う処理フローを示すフローチャートである。(A-1-9. Processing flow for determining whether data is appropriate)
FIG. 22 is a flow chart showing a process flow performed when the data appropriateness determining unit 2340 in the data management system of the present invention determines whether data is appropriate.
まず、データ分析部2341により、センシングデータ取得部2320から取得するセンシングデータにデータ欠損が無いか判定を行う（ステップ２０１）。例えば、センシング動作が行われておらず、センシングデータが得られない場合、センシングデータのデータ数が明らかに少ない場合、または図８に示すようなレンズの蓋が閉まったままで地上画像が撮影できていない場合などは、データ欠損による不適切判定を行うことができる。First, the data analysis unit 2341 determines whether there is any missing data in the sensing data acquired from the sensing data acquisition unit 2320 (step 201). For example, if the sensing operation is not being performed and no sensing data is being obtained, if the number of pieces of sensing data is clearly small, or if the lens cover remains closed and no ground image can be captured as shown in FIG. 8, a determination can be made that the data is inappropriate due to missing data.
次いで、データ分析部2341により、センシングデータの内容に基づく適否判定を行う（ステップ２０２）。例えば、図８に示すように、カメラ画像取得時のレンズに水滴、結露、汚れがある、または雲や霧などに起因してカメラ画像に、地上の撮影ができていない欠陥領域がある場合などは、センシングデータに基づく不適切判定を行うことができる。Then, the data analysis unit 2341 performs a suitability judgment based on the contents of the sensing data (step 202). For example, as shown in FIG. 8, if there are water droplets, condensation, or dirt on the lens when the camera image is acquired, or if there is a defective area in the camera image where the ground is not captured due to clouds or fog, etc., a judgment of inappropriateness can be made based on the sensing data.
次いで、状態情報分析部2342により、航空機の状態に基づく適否判定を行う（ステップ２０３）。例えば、図８に示すように、航空機の位置、飛行速度、飛行高度、姿勢などの状態量に基づいて適否判定を行うことができる。Then, the status information analysis unit 2342 performs a suitability judgment based on the status of the aircraft (step 203). For example, as shown in FIG. 8, the suitability judgment can be performed based on status quantities such as the aircraft's position, flight speed, flight altitude, and attitude.
次いで、状態情報分析部2342により、センサの状態に基づく適否判定を行う（ステップ２０４）。例えば、図８に示すように、カメラの解像度、フォーカス、輝度などのセンサ設定値に基づいて適否判定を行うことができる。Then, the status information analysis unit 2342 performs a suitability determination based on the status of the sensor (step 204). For example, as shown in FIG. 8, the suitability determination can be performed based on the sensor settings such as the camera resolution, focus, and brightness.
次いで、ステップ２０１～２０４において行った適否判定の結果、不適切判定があったか否かを判定し、当該判定結果によって遷移させる処理を決定する（ステップ２０５）。不適切判定がある場合にはステップ２０６に遷移させ、不適切判定が無い場合にはステップ２０８に遷移させる。Then, it is determined whether or not there was an inappropriate judgment based on the suitability judgment results made in steps 201 to 204, and the process to transition to is determined based on the judgment result (step 205). If there is an inappropriate judgment, transition is made to step 206, and if there is no inappropriate judgment, transition is made to step 208.
次いで、適否判定結果表示部2343により、不適切判定となった不適切データと不適切判定の内容を表示する（ステップ２０６）。例えば、図１２に示すような不適切データと当該不適切データに対する不適切判定理由、基準値超過度合い、センシング時刻、対象地上エリアの位置などが表示される。Then, the suitability judgment result display unit 2343 displays the inappropriate data that was judged to be inappropriate and the details of the inappropriate judgment (step 206). For example, the inappropriate data as shown in FIG. 12 and the reason for the inappropriate judgment of the inappropriate data, the degree of exceedance of the standard value, the sensing time, the location of the target ground area, etc. are displayed.
次いで、ユーザ入力受付部2370により、表示された不適切判定結果に対するユーザからの確定入力を受け付ける（ステップ２０７）。つまり、図１２に示すような不適切データの確定ボタンを操作することにより、不適切判定により不適切データと判定されたセンシングデータとその判定内容に対して不適切判定結果を確定させる。Next, the user input receiving unit 2370 receives a confirmation input from the user regarding the displayed inappropriateness judgment result (step 207). That is, by operating the confirmation button for the inappropriate data as shown in FIG. 12, the inappropriateness judgment result is confirmed for the sensing data that has been judged to be inappropriate by the inappropriateness judgment and the judgment content.
次いで、表示装置により、上記適否判定結果に関わらず、データ適否判定で不適切と判定されていないセンシングデータも含めたセンシングデータをユーザへ表示する（ステップ２０８）。Then, the display device displays the sensing data to the user, including the sensing data that has not been determined to be inappropriate in the data suitability judgment, regardless of the suitability judgment result (step 208).
次いで、ユーザ入力受付部2370により、不適切と判定すべきセンシングデータの選択入力をユーザから受け付ける（ステップ２０９）。ステップ２０８、２０９により、データ適否判定部2340により不適切と判定されていないセンシングデータに対しても、ユーザが手動で不適切判定を行い、システムに入力することができる。Then, the user input receiving unit 2370 receives from the user a selection input of sensing data that should be determined to be inappropriate (step 209). In steps 208 and 209, the user can manually determine that sensing data that has not been determined to be inappropriate by the data appropriateness determining unit 2340 is inappropriate, and input the data into the system.
次いで、データ適否判定部2340により、ステップ２０７と２０９においてユーザから取得した入力情報に基づいて、不適切データと不適切判定の内容を確定させ、確定した不適切データとその不適切判定内容を記録する（ステップ２１０）。Then, the data appropriateness determination unit 2340 determines the inappropriate data and the content of the inappropriateness determination based on the input information acquired from the user in steps 207 and 209, and records the determined inappropriate data and the content of the inappropriateness determination (step 210).
（Ａ－１－１０．対応アクション判定の処理フロー）
図２３は、本発明の対応アクション判定部2350が対応アクションの判定を行う際に行う処理フローを示すフローチャートである。(A-1-10. Processing flow for determining corresponding actions)
FIG. 23 is a flowchart showing a process flow performed by the corresponding action determining unit 2350 of the present invention when determining a corresponding action.
まず、判定処理部2351により、センシングデータ取得部2320から取得するセンシングデータのデータ内容に基づくアクション判定を行う（ステップ３０１）。例えば、図９に示すように、データ欠損の有無、カメラ画像取得時のレンズに水滴、結露、汚れ、または雲や霧などに起因してカメラ画像に地上の撮影ができていない欠陥領域がある場合、などに、各状態に応じた対応アクションを判定することができる。First, the determination processing unit 2351 determines an action to be taken based on the data content of the sensing data acquired from the sensing data acquisition unit 2320 (step 301). For example, as shown in FIG. 9, it is possible to determine a corresponding action according to each state, such as the presence or absence of data loss, the presence of water droplets, condensation, or dirt on the lens when the camera image was acquired, or the presence of a defective area in which the ground was not captured in the camera image due to clouds or fog, etc.
次いで、判定処理部2351により、航空機の状態に基づく対応アクション判定を行う（ステップ３０２）。例えば、図９に示すように、航空機の位置、飛行速度、飛行高度、姿勢などの状態量に応じた対応アクション判定を行うことができる。Then, the determination processing unit 2351 determines the corresponding action based on the state of the aircraft (step 302). For example, as shown in FIG. 9, the corresponding action can be determined according to state quantities such as the aircraft's position, flight speed, flight altitude, and attitude.
次いで、判定処理部2351により、センサの状態に基づく対応アクション判定を行う（ステップ３０３）。例えば、図９に示すように、カメラの解像度、フォーカス、輝度などのセンサ設定値に応じた対応アクション判定を行うことができる。Then, the determination processing unit 2351 determines the corresponding action based on the state of the sensor (step 303). For example, as shown in FIG. 9, the corresponding action can be determined according to the sensor settings such as the camera resolution, focus, and brightness.
次いで、対応アクション判定結果表示部2352により、ステップ３０１～３０３において行った対応アクション判定の結果を表示する（ステップ３０４）。例えば、図１３に示すような不適切データ、不適切判定理由、当該不適切データに対する対応アクションなどが表示される。Then, the response action judgment result display unit 2352 displays the result of the response action judgment performed in steps 301 to 303 (step 304). For example, the inappropriate data, the reason for the inappropriate judgment, and the response action for the inappropriate data as shown in FIG. 13 are displayed.
次いで、ユーザ入力受付部2370により、表示された対応アクション判定結果に対するユーザからの確定入力を受け付ける（ステップ３０５）。つまり、図１３に示すような対応アクションの確定ボタンを操作することにより、対応アクション判定により判定された対応アクションに対する確定入力を受け付ける。あるいは、対応アクション判定結果とは異なる他の対応アクションの入力をユーザから受け付ける。Then, the user input receiving unit 2370 receives a confirmation input from the user in response to the displayed response action determination result (step 305). That is, by operating a confirmation button for the response action as shown in FIG. 13, a confirmation input for the response action determined by the response action determination is received. Alternatively, an input of a response action other than the response action determination result is received from the user.
次いで、対応アクション判定部2350により、ステップ３０５においてユーザから取得した入力情報に基づいて、対応アクションを確定させ、確定した対応アクションを記録する（ステップ３０６）。Then, the corresponding action determination unit 2350 determines the corresponding action based on the input information acquired from the user in step 305, and records the determined corresponding action (step 306).
なお、図２３では、データ管理システム2300の対応アクション判定部2350の処理フローを説明したが、データ処理マネジメント部3300の対応アクション判定部3340の処理フローにおいては、図２３におけるステップ３０２、３０３を省略した処理フローとすることができる。Note that in FIG. 23, the processing flow of the response action determination unit 2350 of the data management system 2300 is explained, but in the processing flow of the response action determination unit 3340 of the data processing management unit 3300, steps 302 and 303 in FIG. 23 can be omitted.
（Ａ－１－１１．データ処理マネジメント部3300における適否判定の処理フロー）
図２４は、本発明のデータ処理マネジメント部におけるデータ適否判定部3330がデータ適否判定を行う際に行う処理フローを示すフローチャートである。(A-1-11. Processing flow of suitability judgment in the data processing management unit 3300)
FIG. 24 is a flow chart showing the process flow performed when the data suitability determination unit 3330 in the data processing management unit of the present invention determines whether data is suitable.
まず、データ分析部3331により、データ処理部3200から得られる処理中データのデータ内容に基づく適否判定を行う（ステップ４０１）。First, the data analysis unit 3331 performs a suitability determination based on the data content of the data being processed obtained from the data processing unit 3200 (step 401).
次いで、データ分析部3331により、データ処理部3200から得られる処理後データのデータ内容に基づく適否判定を行う（ステップ４０２）。Then, the data analysis unit 3331 judges suitability based on the data content of the processed data obtained from the data processing unit 3200 (step 402).
次いで、データ適否判定部3330により、ステップ４０１、４０２において行った適否判定の結果、不適切判定があったか否かを判定し、当該判定結果によって遷移させる処理を決定する（ステップ４０３）。不適切判定がある場合にはステップ４０４に遷移させ、不適切判定が無い場合にはステップ４０６に遷移させる。Then, the data suitability determination unit 3330 determines whether or not there was an inappropriate judgment as a result of the suitability judgments made in steps 401 and 402, and determines the process to transition to based on the judgment result (step 403). If there is an inappropriate judgment, transition is made to step 404, and if there is no inappropriate judgment, transition is made to step 406.
次いで、適否判定結果表示部3332により、不適切判定となった不適切データと不適切判定の内容を表示する（ステップ４０４）。例えば、図１２に示すような不適切データと当該不適切データに対する不適切判定理由、基準値超過度合い、センシング時刻、対象地上エリアの位置などが表示される。Then, the suitability judgment result display unit 3332 displays the inappropriate data that was judged to be inappropriate and the details of the inappropriate judgment (step 404). For example, the inappropriate data as shown in FIG. 12 and the reason for the inappropriate judgment of the inappropriate data, the degree of exceedance of the standard value, the sensing time, the location of the target ground area, etc. are displayed.
次いで、ユーザ入力受付部3360により、表示された不適切判定結果に対するユーザからの確定入力を受け付ける（ステップ４０５）。つまり、図１２に示すような不適切データの確定ボタンを操作することにより、不適切判定により不適切データと判定された処理中データ又は処理後データとその判定内容に対して不適切判定結果を確定させる。Next, the user input receiving unit 3360 receives a confirmation input from the user regarding the displayed inappropriateness judgment result (step 405). That is, by operating the confirmation button for the inappropriate data as shown in FIG. 12, the inappropriateness judgment result is confirmed for the data being processed or the processed data that has been judged to be inappropriate by the inappropriateness judgment and the judgment content.
次いで、表示装置により、上記適否判定結果に関わらず、データ適否判定で不適切と判定されていない処理中データと処理後データも含めたデータをユーザへ表示する（ステップ４０６）。Then, the display device displays to the user the data being processed and the processed data that have not been determined to be inappropriate in the data suitability judgment, regardless of the suitability judgment result (step 406).
次いで、ユーザ入力受付部3360により、不適切と判定すべき処理中データまたは処理後データの選択入力をユーザから受け付ける（ステップ４０７）。ステップ４０１、４０２において不適切と判定されていないデータに対しても、ユーザが手動で不適切判定を行い、システムに入力することができる。Then, the user input receiving unit 3360 receives from the user a selection input of the data being processed or the processed data that should be determined to be inappropriate (step 407). Even for data that has not been determined to be inappropriate in steps 401 and 402, the user can manually determine that the data is inappropriate and input the data into the system.
次いで、データ適否判定部3330により、ステップ４０７においてユーザから取得した入力情報に基づいて、不適切データと不適切判定の内容を確定させ、確定した不適切データとその不適切判定内容を記録する（ステップ４０８）。Then, the data appropriateness determination unit 3330 determines the inappropriate data and the content of the inappropriateness determination based on the input information acquired from the user in step 407, and records the determined inappropriate data and the content of the inappropriateness determination (step 408).
（Ａ－１－１２．データ処理部3200においてSfM処理を実行する際における適否判定の処理フロー）
図２５は、本発明のデータ処理拠点システムがSfM処理を実行する場合においてデータ処理とデータ適否判定を行う際の処理フローを示すフローチャートである。本図を用いて、データ処理部3200においてSfM処理を実行する際の各処理ステップと、データ適否判定部3330が複数の処理中データに基づいて適否判定を行う一例を説明する。(A-1-12. Processing flow for suitability judgment when SfM processing is performed in the data processing unit 3200)
25 is a flowchart showing the process flow for data processing and data suitability judgment when the data processing center system of the present invention executes SfM processing. Using this diagram, each processing step when executing SfM processing in the data processing unit 3200 and an example of suitability judgment by the data suitability judgment unit 3330 based on multiple pieces of processing data will be described.
まず、データ処理部3200により、画像から特徴点を検出して、特徴点の三次元分布を推定する（ステップ５０１）。First, the data processing unit 3200 detects feature points from the image and estimates the three-dimensional distribution of the feature points (step 501).
次いで、データ適否判定部3330により、ステップ５０１において特徴点が抽出できたか否かを判定して、当該判定結果によって遷移させる処理を決定する（ステップ５０２）。特徴点が抽出できた場合にはステップ５０３に遷移させ、特徴点が抽出できない場合にはステップ５１２に遷移させて、データが不適切であると判定する。Then, the data suitability determination unit 3330 determines whether or not feature points were extracted in step 501, and determines the process to transition to based on the result of the determination (step 502). If feature points were extracted, the process transitions to step 503, and if feature points could not be extracted, the process transitions to step 512, and the data is determined to be inappropriate.
次いで、データ処理部3200により、画像特徴点から複数画像の両方から把握できるポイントであるタイポイントを決定する（ステップ５０３）。Then, the data processing unit 3200 determines tie points, which are points that can be recognized from both of the multiple images, from the image feature points (step 503).
次いで、データ処理部3200により、外部標定要素として、航空機による撮影時の位置と姿勢を推定する（ステップ５０４）。Then, the data processing unit 3200 estimates the position and attitude at the time of photographing by the aircraft as exterior orientation elements (step 504).
次いで、データ処理部3200により、内部標定要素として、レンズの歪みを推定する（ステップ５０５）。Then, the data processing unit 3200 estimates the lens distortion as an internal orientation element (step 505).
次いで、データ適否判定部3330により、ステップ５０５におけるレンズの歪みを推定する際に利用するパラメータ（絞り（ｆ値）、フォーカス量など）が変化したか否かを判定して、当該判定結果によって遷移させる処理を決定する（ステップ５０６）。パラメータが変化していない場合にはステップ５０７に遷移させ、パラメータが変化している場合にはステップ５１２に遷移させて、データが不適切であると判定する。Then, the data suitability determination unit 3330 determines whether the parameters (aperture (f-number), focus amount, etc.) used in estimating the lens distortion in step 505 have changed, and determines the process to transition to based on the determination result (step 506). If the parameters have not changed, the process transitions to step 507, and if the parameters have changed, the process transitions to step 512 and determines that the data is inappropriate.
次いで、データ処理部3200により、地上基準点（GCP）と精度検証点（CP）の検出を行う（ステップ５０７）。Then, the data processing unit 3200 detects ground control points (GCPs) and accuracy verification points (CPs) (step 507).
次いで、データ適否判定部3330により、ステップ５０７の処理ステップで地上基準点（GCP）と精度検証点（CP）の検出ができたか否かを判定して、当該判定結果によって遷移させる処理を決定する（ステップ５０８）。地上基準点（GCP）と精度検証点（CP）の検出ができた場合にはステップ５０９に遷移させ、地上基準点（GCP）と精度検証点（CP）の検出ができない場合にはステップ５１２に遷移させて、データが不適切であると判定する。Then, the data suitability determination unit 3330 determines whether or not the ground control points (GCPs) and accuracy verification points (CPs) were detected in the processing step of step 507, and determines the process to transition to based on the determination result (step 508). If the ground control points (GCPs) and accuracy verification points (CPs) were detected, the process transitions to step 509, and if the ground control points (GCPs) and accuracy verification points (CPs) cannot be detected, the process transitions to step 512 and the data is determined to be inappropriate.
次いで、データ処理部3200により、ドーミング対策処理を行う（ステップ５０９）。ドーミング対策処理の詳細は後述する。Then, the data processing unit 3200 performs a doming prevention process (step 509). The details of the doming prevention process will be described later.
次いで、データ処理部3200により、画像特徴点と複数のステレオペア画像から点群モデルを構築する（ステップ５１０）。Then, the data processing unit 3200 constructs a point cloud model from the image feature points and multiple stereo pair images (step 510).
次いで、データ適否判定部3330により、データが適切であると判定する（ステップ５１０）。Then, the data suitability determination unit 3330 determines that the data is appropriate (step 510).
（Ａ－１－１３．ドーミング対策処理の説明）
図２５に示したフローチャートのステップ５０９で実行されるドーミング対策処理の概念を図２６を用いて簡単に説明する。図２６は、本発明のデータ処理部が実行するドーミング対策処理の一例を示す図である。(A-1-13. Explanation of Doming Countermeasures)
The concept of the doming countermeasure processing executed in step 509 of the flowchart shown in Fig. 25 will be briefly described with reference to Fig. 26. Fig. 26 is a diagram showing an example of the doming countermeasure processing executed by the data processing unit of the present invention.
図２６の上側図に示すように、本実施形態におけるドーミングとは、上空から地上に向かって撮影した複数の垂直直下画像を用いてSfM処理を行う場合に、SfM処理により推定した地表面の形状が、実際の地表面の形状よりも湾曲するように誤差が生じることである。このようなドーミングは、垂直直下画像のみを用いてSfM処理を行う場合や、内部標定要素に誤差がある場合に発生する。As shown in the upper diagram of Figure 26, in this embodiment, doming refers to an error that occurs when SfM processing is performed using multiple vertical nadir images taken from the sky toward the ground, causing the shape of the ground surface estimated by SfM processing to be more curved than the actual shape of the ground surface. This type of doming occurs when SfM processing is performed using only vertical nadir images, or when there is an error in the internal orientation parameters.
このようなドーミングを考慮したドーミング対策処理として、垂直直下画像に加えて、斜め下方向を向いた画像を追加した複数画像によりSfM処理を実施することにより、図２６の下側図に示すように、ドーミングによる地表面形状の推定誤差を低減することができる。As a countermeasure against doming that takes this type of doming into account, SfM processing is performed using multiple images that include an image facing diagonally downward in addition to the vertical nadir image, making it possible to reduce the estimation error of the ground surface shape due to doming, as shown in the lower diagram of Figure 26.
上述した各実施形態では、データ管理システム2300をデータ取得拠点システム2000内に実装する形態を説明したが、データ管理システム2300の全部又は一部の機能は、航空機1000、データ処理拠点システム3000、配信システム4000、あるいはこれ以外のシステムに実装することもできる。In each of the above-described embodiments, the data management system 2300 is implemented within the data acquisition base system 2000, but all or part of the functions of the data management system 2300 can also be implemented in the aircraft 1000, the data processing base system 3000, the distribution system 4000, or other systems.
上述した実施形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。The above-described embodiment is merely an example to facilitate understanding of the present invention, and is not intended to limit the present invention. The present invention can be modified and improved without departing from the spirit of the invention, and it goes without saying that the present invention includes equivalents.
［Ａ－２．本実施形態の効果］
上述した実施形態において、特に、データ適否判定部がセンシングデータを不適切と判定した場合に、適否判定の内容、適否判定の判定理由、対応アクションなどを含む付随情報をデータ処理マネジメント部のユーザ（データ処理担当者）に表示するため、データ処理担当者は、不適切データを直ちに利用しないと判断するのではなく、不適切データであっても利用が許容されるデータ処理などを行うことができ、不適切データを有効に利用することが可能となる。[A-2. Effects of this embodiment]
In the above-described embodiment, particularly when the data suitability judgment unit judges the sensing data to be inappropriate, accompanying information including the content of the suitability judgment, the reason for the suitability judgment, corresponding actions, etc. is displayed to the user (data processing staff) of the data processing management unit. Therefore, instead of immediately deciding not to use the inappropriate data, the data processing staff can carry out data processing or the like in which the use of even inappropriate data is permitted, thereby making it possible to make effective use of the inappropriate data.
また、処理後データを閲覧する危機対策本部などの閲覧ユーザに対して、処理後データ、またはこれに対応する地上位置や航空機位置などの情報と関連付けて付随情報を表示することにより、撮影失敗と判断されたデータが利用されている個所とそうでない箇所や、不適切データが不適切と判定された理由を正しく認識することができ、さらに、処理後データを利用することができる用途範囲なども把握できるため、処理後データに基づいて対象地域の状況を正しく把握することができる。また、不適切データが再計測により更新される予定があるかなどの今後の対応アクションについても把握することができるため、処理後データを確認したユーザが危機対策本部員などである場合には、今後の危機対策作業の計画をより適切に判断することができる。In addition, by displaying accompanying information in association with the processed data or corresponding information such as ground location or aircraft location to a viewing user such as a crisis management headquarters viewing the processed data, the viewing user can correctly recognize the locations where data determined to have failed to be captured is being used and the locations where it is not, and the reason why inappropriate data was determined to be inappropriate. Furthermore, the range of applications in which the processed data can be used can be understood, so the situation in the target area can be correctly understood based on the processed data. In addition, future response actions such as whether the inappropriate data is scheduled to be updated by remeasurement can also be understood, so if the user who viewed the processed data is a member of the crisis management headquarters, for example, they can more appropriately determine plans for future crisis response work.
また、データ管理システム2300のユーザ、例えば、航空機を利用したセンシング作業の担当者に対して、センシングデータの適否判定の内容、適否判定の判定理由、対応アクションなどを含む付随情報を表示するため、センシング作業の担当者は、撮影失敗と判断されたデータに対して、データの再取得が必要なのか否かを正確に把握することができ、センシングのやり直しが必要な場合に、迅速にセンシング処理の再実施を行うことができ、再センシングに基づく処理後データを閲覧ユーザにより迅速に提供することができる。In addition, for a user of the data management system 2300, for example, a person in charge of sensing work using an aircraft, accompanying information including the content of the suitability judgment of the sensing data, the reason for the suitability judgment, corresponding actions, etc. is displayed, so that the person in charge of the sensing work can accurately understand whether or not it is necessary to re-acquire data for data that is judged to have failed to be captured, and if it is necessary to redo the sensing process, the sensing process can be quickly performed again, and the processed data based on the re-sensing can be more quickly provided to the viewing user.
１…航空データ処理システム １００…入力装置
２００…出力装置 ３００…処理装置
４００…主記憶装置 ５００…補助記憶装置
６００…通信装置 ７００…バス
１０００…航空機 １１００…飛行部
１１１０…自己位置・速度判定部 １１２０…姿勢判定部
１１３０…飛行制御部 １２００…センシング部
１２１０…センサ １２２０…センサ姿勢制御部
１２３０…センサ制御部 １３００…通信部
１３１０…制御通信部 １３２０…データ通信部
１３３０…状態データ通信部 １４００…状態判定部
１４１０…飛行状態判定部 １４２０…センシング状態判定部
１４３０…通信状態判定部 １５００…センシングデータ記録部
１６００…状態データ記録部 １６１０…飛行制御情報記録部
１６２０…計測制御情報記録部 １６３０…状態判定結果記録部
２０００…データ取得拠点システム
２１００…通信インフラマネジメントシステム
２２００…機体運航オペレートシステム ２３００…データ管理システム
２３１０…ユーザ要望取得部 ２３２０…センシングデータ取得部
２３３０…状態情報取得部 ２３４０、３３３０…データ適否判定部
２３４１、３３３１…データ分析部 ２３４２…状態情報分析部
２３４３、３３３２…適否判定結果表示部
２３５０、３３４０…対応アクション判定部
２３５１、３３４１…判定処理部
２３５２、３３４２…対応アクション判定結果表示部
２３６０、３３５０…付随情報付与部
２３６１、３３５１…付随情報生成部
２３６２、３３５２…情報付与部
２３６３、３３１０…付随情報表示部
２３７０、３３６０…ユーザ入力受付部
２５００…運航マネジメントシステム ２６００…空域監視システム
３０００…データ処理拠点システム ３１００…通信部
３２００…データ処理部 ３３００…データ処理マネジメント部
３３２０…データ処理実行指令部 ３３７０…配信情報生成部
４０００…配信システム ４１００…通信部
４２００…配信データ管理部 ５０００…ユーザ端末装置
1...Aviation data processing system 100...Input device 200...Output device 300...Processing device 400...Main memory device 500...Auxiliary memory device 600...Communication device 700...Bus 1000...Aircraft 1100...Flight unit 1110...Self-position/speed determination unit 1120...Attitude determination unit 1130...Flight control unit 1200...Sensing unit 1210...Sensor 1220...Sensor attitude control unit 1230...Sensor control unit 1300...Communication unit 1310...Control communication unit 1320...Data communication unit 1330...Status data communication unit 1400...Status determination unit 1410...Flight status determination unit 1420...Sensing status determination unit 1430...Communication status determination unit 1500...Sensing data recording unit 1600...Status data recording unit 1610: Flight control information recording unit 1620: Measurement control information recording unit 1630: State determination result recording unit 2000: Data acquisition base system
2100: Communication infrastructure management system 2200: Aircraft flight operation system 2300: Data management system 2310: User request acquisition unit 2320: Sensing data acquisition unit
2330...Status information acquisition unit 2340, 3330...Data suitability judgment unit 2341, 3331...Data analysis unit 2342...Status information analysis unit 2343, 3332...Suitability judgment result display unit 2350, 3340...Response action judgment unit 2351, 3341...Judgment processing unit 2352, 3342...Response action judgment result display unit 2360, 3350...Associated information assignment unit 2361, 3351...Associated information generation unit 2362, 3352...Information assignment unit 2363, 3310...Associated information display unit 2370, 3360...User input reception unit 2500...Flight operation management system 2600...Airspace monitoring system 3000...Data processing base system 3100...Communication unit 3200...Data processing unit 3300...Data processing management unit 3320...Data processing execution command unit 3370: Distribution information generating unit 4000: Distribution system 4100: Communication unit 4200: Distribution data management unit 5000: User terminal device
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023207150AJP2025091728A (en) | 2023-12-07 | 2023-12-07 | Control system, control method, and control program |
| JP2023-207150 | 2023-12-07 |
| Publication Number | Publication Date |
|---|---|
| WO2025121325A1true WO2025121325A1 (en) | 2025-06-12 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2024/042733PendingWO2025121325A1 (en) | 2023-12-07 | 2024-12-03 | Control system, control method, and control program |
| Country | Link |
|---|---|
| JP (1) | JP2025091728A (en) |
| WO (1) | WO2025121325A1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200058224A1 (en)* | 2018-08-16 | 2020-02-20 | Autel Robotics Europe Gmbh | Route information transmission method, apparatus and system, unmanned aerial vehicle, ground station, and computer readable storage medium |
| JP2020191523A (en)* | 2019-05-21 | 2020-11-26 | アルパイン株式会社 | Unmanned mobile |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200058224A1 (en)* | 2018-08-16 | 2020-02-20 | Autel Robotics Europe Gmbh | Route information transmission method, apparatus and system, unmanned aerial vehicle, ground station, and computer readable storage medium |
| JP2020191523A (en)* | 2019-05-21 | 2020-11-26 | アルパイン株式会社 | Unmanned mobile |
| Publication number | Publication date |
|---|---|
| JP2025091728A (en) | 2025-06-19 |
| Publication | Publication Date | Title |
|---|---|---|
| US12397675B2 (en) | Unmanned aerial vehicle remote flight planning system | |
| US12148316B2 (en) | Unmanned aerial vehicle visual point cloud navigation | |
| US20220124303A1 (en) | Methods and systems for selective sensor fusion | |
| US20200026720A1 (en) | Construction and update of elevation maps | |
| US20200402410A1 (en) | Unmanned Aerial Vehicle Visual Line Of Sight Control | |
| US12024276B2 (en) | Control device and control method for controlling flight of aerial vehicle | |
| JP7362203B2 (en) | unmanned moving body | |
| US12148307B2 (en) | Computation load distribution | |
| JP7031997B2 (en) | Aircraft system, air vehicle, position measurement method, program | |
| US12235639B1 (en) | Unmanned aerial vehicle flight control system | |
| US12174629B2 (en) | Information processing apparatus, information processing method, program, and information processing system | |
| US12307915B2 (en) | Collision detection and avoidance for unmanned aerial vehicle systems and methods | |
| US12406586B2 (en) | 3D localization and mapping systems and methods | |
| WO2025121325A1 (en) | Control system, control method, and control program | |
| GB2522328A (en) | Payload delivery | |
| US20240348751A1 (en) | Autonomous monitoring by unmanned aerial vehicle systems and methods | |
| WO2025121321A1 (en) | Image updating method, image updating system, and image updating program | |
| US20250123632A1 (en) | System and associated methodology for adaptive aerial survey | |
| JP2020071154A (en) | Position estimating device, position estimating method, program, and recording medium | |
| US20230030222A1 (en) | Operating modes and video processing for mobile platforms | |
| JP2024021143A (en) | 3D data generation system and 3D data generation method | |
| WO2025121324A1 (en) | Control system, aviation data processing system, and control method | |
| KR20240047808A (en) | Apparatus and method for generating position information of multicopter | |
| JP2025150352A (en) | Flying robot image display device and image display method |
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application | Ref document number:24900619 Country of ref document:EP Kind code of ref document:A1 |