JP2025016555A - Position calculation method and information processing system - Google Patents

Abstract

To provide a position calculation method capable of easily controlling a flying body on a site, and an information processing system.SOLUTION: A position calculation method includes the steps of: designating a prescribed position on a photographic image; acquiring a two-dimensional coordinate position corresponding to the prescribed position and at least photographing state information; calculating an angle and an orientation to a three-dimensional coordinate position corresponding to the two-dimensional coordinate position from a user terminal position on the basis of the two-dimensional coordinate position and the photographing state information; associating at least the user terminal position and the calculated angle and orientation with three-dimensional coordinates in a virtual space, and calculating point data that first comes into contact with a straight line in extending a virtual straight line to the calculated angle and orientation from the user terminal position as a virtual designation position corresponding to a position designated by the user; and calculating a three-dimensional coordinate position of the designation position from the virtual designation position.SELECTED DRAWING: Figure 7

Description

Translated fromJapanese

本発明は、位置算出方法及び情報処理システムに関する。

The present invention relates to a position calculation method and an information processing system.

近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａ
ｌ Ｖｅｈｉｃｌｅ）などの飛行体（以下、「飛行体」と総称する）が産業に利用され始
めている。こうした中で、特許文献１には、プロポ等の専用装置による飛行体の制御方法
が開示されている。

In recent years, drones and unmanned aerial vehicles (UAVs) have become increasingly popular.
2. Description of the Related Art Flying objects such as a Mini-Vehicle (hereinafter collectively referred to as "flying objects") have begun to be used in industry. In this context,Patent Document 1 discloses a method for controlling the flying object using a dedicated device such as a radio control unit.

特開２０１８－０９３４３５号公報JP 2018-093435 A

しかしながら、上記特許文献１の開示技術では、プロポ等の専用装置による操作は容易
ではなく、特に点検等の作業のために飛行体を制御するためには熟練の技術が必要である
。

However, with the technology disclosed in the above-mentionedPatent Document 1, operation using a dedicated device such as a radio control is not easy, and skilled techniques are required to control the aircraft, particularly for work such as inspection.

一方で、事前に飛行経路を指定し、当該飛行経路に沿って自動的に飛行体を制御する方
法もあるが、現場外で飛行経路を指定することが通常であり、現場の状況に対する柔軟性
に欠けるものであった。

On the other hand, there is a method of specifying a flight path in advance and automatically controlling the aircraft along that flight path, but this method typically involves specifying the flight path outside the site, and therefore lacks flexibility in adapting to on-site conditions.

本発明はこのような背景を鑑みてなされたものであり、簡易に現場で飛行体の制御が可
能な位置算出方法及び飛行制御方法、情報処理システムを提供することを目的とする。

The present invention has been made in consideration of the above background, and aims to provide a position calculation method, a flight control method, and an information processing system that enable easy on-site control of an aircraft.

上記課題を解決するための本発明の主たる発明は、ユーザ端末の画面上で指定された位
置の算出方法であって、前記ユーザ端末の画面上で、撮影部により取得された撮影画像上
の所定の位置を指定するステップと、前記所定の位置に対応する前記ユーザ端末の画面上
の二次元座標位置、及び、前記所定の位置を指定した際の、少なくとも撮影画角、撮影角
度、撮影方位、ユーザ端末位置情報を含む撮影状態情報を取得するステップと、前記二次
元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次元座標位置
から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置への角度及
び方位を算出するステップと、少なくとも前記ユーザ端末位置情報が示す三次元座標位置
、及び、前記算出された角度及び方位を前記仮想空間内の三次元座標に対応付け、前記ユ
ーザ端末位置情報が示す三次元座標位置から、前記算出された角度及び方位へ仮想的な直
線を延ばした際に、前記直線と最初に接触した点データが示す三次元座標位置を、前記ユ
ーザが指定した位置に対応する、前記仮想空間内の仮想指定位置として算出するステップ
と、前記仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係に基づき、前
記仮想指定位置から現実空間上におけるユーザが指定した指定位置の三次元座標位置を算
出するステップと、を含む、ことを特徴とする位置算出方法、である。

The main invention of the present invention for solving the above problem is a method for calculating a position specified on a screen of a user terminal, comprising the steps of: specifying, on the screen of the user terminal, a predetermined position on a captured image acquired by a capture unit; acquiring a two-dimensional coordinate position on the screen of the user terminal corresponding to the predetermined position, and capture state information including at least a capture angle of view, a capture angle, a capture orientation, and user terminal position information when the predetermined position is specified; and calculating, based on the two-dimensional coordinate position and the capture state information, an angle and orientation to a three-dimensional coordinate position corresponding to the two-dimensional coordinate position on the screen of the user terminal from a three-dimensional coordinate position indicated by the user terminal position information. a step of associating at least the three-dimensional coordinate position indicated by the user terminal position information and the calculated angle and orientation with three-dimensional coordinates in the virtual space, and calculating, when a virtual straight line is extended from the three-dimensional coordinate position indicated by the user terminal position information to the calculated angle and orientation, the three-dimensional coordinate position indicated by point data that first comes into contact with the straight line as a virtual designated position in the virtual space corresponding to a position designated by the user; and a step of calculating, from the virtual designated position, the three-dimensional coordinate position of a designated position designated by the user in the real space based on a correspondence between the three-dimensional coordinates in the virtual space and the three-dimensional coordinates in the real space.

本発明によれば、簡易に現場で飛行体の制御が可能な位置算出方法及び情報処理システ
ムを提供することができる。

According to the present invention, it is possible to provide a position calculation method and an information processing system that enable easy on-site control of an aircraft.

本発明の実施の形態にかかる管理システムの構成を示す図である。1 is a diagram showing a configuration of a management system according to an embodiment of the present invention;図１の管理サーバのハードウェア構成を示すブロック図である。FIG. 2 is a block diagram showing a hardware configuration of the management server of FIG. 1 .図１のユーザ端末のハードウェア構成を示すブロック図である。FIG. 2 is a block diagram showing a hardware configuration of the user terminal of FIG. 1 .図１の飛行体のハードウェア構成を示すブロック図である。FIG. 2 is a block diagram showing the hardware configuration of the flying object of FIG. 1 .図１の管理サーバの機能を示すブロック図である。FIG. 2 is a block diagram showing the functions of the management server of FIG. 1 .図５のパラメータ情報記憶部の構造を示すブロック図である。6 is a block diagram showing a structure of a parameter information storage unit in FIG. 5 .本発明の実施の形態にかかる飛行制御方法のフローチャートである。4 is a flowchart of a flight control method according to an embodiment of the present invention.本発明の実施の形態にかかる位置算出方法に関する説明の一例を示す図である。FIG. 1 is a diagram illustrating an example of a position calculation method according to an embodiment of the present invention.本発明の実施の形態にかかる位置算出方法に関する説明の一例を示す図である。FIG. 1 is a diagram illustrating an example of a position calculation method according to an embodiment of the present invention.本発明の実施の形態にかかる位置算出方法に関する説明の一例を示す図である。FIG. 1 is a diagram illustrating an example of a position calculation method according to an embodiment of the present invention.本発明の実施の形態にかかる位置算出方法に関する説明の一例を示す図である。FIG. 1 is a diagram illustrating an example of a position calculation method according to an embodiment of the present invention.

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による位置算出方法
及び情報処理システムは、以下のような構成を備える。

［項目１］

ユーザ端末の画面上で指定された位置の算出方法であって、

前記ユーザ端末の画面上で、撮影部により取得された撮影画像上の所定の位置を指定す
るステップと、

前記所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置、及び、前記所定
の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端末位置情報
を含む撮影状態情報を受信するステップと、

前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次
元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置
への角度及び方位を算出するステップと、

少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度
及び方位を仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座
標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最
初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、
前記仮想空間内の仮想指定位置として算出するステップと、

前記仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係に基づき、前記
仮想指定位置から現実空間上におけるユーザが指定した指定位置の三次元座標位置を算出
するステップと、を含む、

ことを特徴とする位置算出方法。

［項目２］

項目１に記載の位置算出方法であって、

前記点データは、仮想空間内の三次元点群データのうちの一つである、

ことを特徴とする位置算出方法。

［項目３］

項目１または２に記載の位置算出方法であって、

前記点データは、飛行体において記憶されている、

ことを特徴とする位置算出方法。

［項目４］

項目１または２に記載の位置算出方法であって、

前記点データは、ユーザ端末において記憶されている、

ことを特徴とする位置算出方法。

［項目５］

項目１ないし４に記載の位置算出方法であって、

前記撮影部は、ユーザ端末に備えられている、

ことを特徴とする位置算出方法。

［項目６］

項目１ないし４に記載の位置算出方法であって、

前記撮影部は、飛行体に備えられている、

ことを特徴とする位置算出方法。

［項目７］

ユーザ端末の画面上で指定された位置を算出する情報処理システムであって、

前記情報処理システムは、撮影部と、指定位置情報取得部と、撮影状態情報受信部と、
位置算出部を備え、

前記指定位置情報取得部は、

前記ユーザ端末の画面上で、前記撮影部により取得された撮影画像上のユーザが指定し
た所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置を取得し、

前記撮影状態情報受信部は、

前記所定の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端
末位置情報を含む撮影状態情報を受信し、

前記位置算出部は、

前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次
元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置
への角度及び方位を算出し、

少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度
及び方位を仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座
標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最
初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、
前記仮想空間内の仮想指定位置として算出し、

前記仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係に基づき、前記
仮想指定位置から現実空間上におけるユーザが指定した指定位置の三次元座標位置を算出
する、

ことを特徴とする情報処理システム。

The contents of the embodiments of the present invention will be listed and described below. A position calculation method and an information processing system according to the embodiments of the present invention have the following configuration.

[Item 1]

A method for calculating a position designated on a screen of a user terminal, comprising the steps of:

Specifying a predetermined position on a captured image acquired by an image capturing unit on a screen of the user terminal;

receiving a two-dimensional coordinate position on a screen of the user terminal corresponding to the predetermined position, and shooting state information including at least a shooting angle of view, a shooting angle, a shooting orientation, and a user terminal position information when the predetermined position is specified;

Calculating an angle and a direction from the three-dimensional coordinate position indicated by the user terminal position information to a three-dimensional coordinate position corresponding to the two-dimensional coordinate position on a screen of the user terminal based on the two-dimensional coordinate position and the shooting state information;

Corresponding at least the three-dimensional coordinate position indicated by the user terminal position information and the calculated angle and orientation to three-dimensional coordinates in a virtual space, and when a virtual straight line is extended from the three-dimensional coordinate position indicated by the user terminal position information to the calculated angle and orientation, the three-dimensional coordinate position indicated by the point data that first comes into contact with the straight line corresponds to the position specified by the user.
calculating a virtual designated position in the virtual space;

and calculating a three-dimensional coordinate position of a designated position designated by a user in real space from the virtual designated position based on a correspondence relationship between the three-dimensional coordinates in the virtual space and the three-dimensional coordinates in real space.

A position calculation method comprising:

[Item 2]

2. A position calculation method according toclaim 1,

The point data is one of three-dimensional point cloud data in a virtual space.

A position calculation method comprising:

[Item 3]

3. A position calculation method according toclaim 1, further comprising:

The point data is stored in the air vehicle.

A position calculation method comprising:

[Item 4]

3. A position calculation method according toclaim 1, further comprising:

The point data is stored in a user terminal.

A position calculation method comprising:

[Item 5]

A position calculation method according to any one ofclaims 1 to 4,

The photographing unit is provided in a user terminal.

A position calculation method comprising:

[Item 6]

A position calculation method according to any one ofclaims 1 to 4,

The photographing unit is provided on an aircraft.

A position calculation method comprising:

[Item 7]

An information processing system for calculating a position designated on a screen of a user terminal,

The information processing system includes an image capturing unit, a designated position information acquiring unit, an image capturing state information receiving unit,
A position calculation unit is provided,

The designated position information acquisition unit

acquiring, on a screen of the user terminal, a two-dimensional coordinate position on the screen of the user terminal corresponding to a predetermined position designated by the user on the captured image acquired by the imaging unit;

The photographing state information receiving unit

Receive shooting state information including at least a shooting angle of view, a shooting angle, a shooting direction, and a user terminal position information when the predetermined position is specified;

The position calculation unit is

Calculating an angle and a direction from the three-dimensional coordinate position indicated by the user terminal position information to a three-dimensional coordinate position corresponding to the two-dimensional coordinate position on a screen of the user terminal based on the two-dimensional coordinate position and the shooting state information;

Corresponding at least the three-dimensional coordinate position indicated by the user terminal position information and the calculated angle and orientation to three-dimensional coordinates in a virtual space, and when a virtual straight line is extended from the three-dimensional coordinate position indicated by the user terminal position information to the calculated angle and orientation, the three-dimensional coordinate position indicated by the point data that first comes into contact with the straight line corresponds to the position specified by the user.
Calculate the specified virtual position in the virtual space;

calculating a three-dimensional coordinate position of a designated position designated by a user in real space from the virtual designated position based on a correspondence relationship between the three-dimensional coordinates in the virtual space and the three-dimensional coordinates in real space;

An information processing system comprising:

＜実施の形態の詳細＞

以下、本発明の実施の形態による位置算出方法及び飛行体制御方法、情報処理システム
についての実施の形態を説明する。添付図面において、同一または類似の要素には同一ま
たは類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素
に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互い
に矛盾しない限り他の実施形態にも適用可能である。

<Details of the embodiment>

Hereinafter, the position calculation method, the flying object control method, and the information processing system according to the embodiment of the present invention will be described. In the accompanying drawings, the same or similar elements are given the same or similar reference symbols and names, and in the description of each embodiment, duplicated descriptions of the same or similar elements may be omitted. In addition, the features shown in each embodiment can be applied to other embodiments as long as they are not mutually inconsistent.

＜構成＞

図１に示されるように、本実施の形態における管理システムは、管理サーバ１と、一以
上のユーザ端末２と、一以上の飛行体４と、一以上の飛行体格納装置５とを有している。
管理サーバ１と、ユーザ端末２と、飛行体４と、飛行体格納装置５は、ネットワークを介
して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限ら
ず、例えば、飛行体格納装置５を有さずに、ユーザにより持ち運びされる構成などでもよ
い。

<Configuration>

As shown in FIG. 1, the management system in this embodiment includes amanagement server 1, one ormore user terminals 2, one or more flying objects 4, and one or more flyingobject storage devices 5.
Themanagement server 1, theuser terminal 2, the flyingobject 4, and the flyingobject storage device 5 are connected to each other via a network so that they can communicate with each other. Note that the illustrated configuration is an example, and is not limited to this. For example, the configuration may be such that the flyingobject storage device 5 is not included and the user does not carry the flyingobject storage device 5.

＜管理サーバ１＞

図２は、管理サーバ１のハードウェア構成を示す図である。なお、図示された構成は一
例であり、これ以外の構成を有していてもよい。

<Management Server 1>

2 is a diagram showing a hardware configuration of themanagement server 1. Note that the illustrated configuration is an example, and themanagement server 1 may have other configurations.

図示されるように、管理サーバ１は、複数のユーザ端末２と、飛行体４、飛行体格納装
置５と接続され本システムの一部を構成する。管理サーバ１は、例えばワークステーショ
ンやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド
・コンピューティングによって論理的に実現されてもよい。

As shown in the figure, amanagement server 1 is connected to a plurality ofuser terminals 2, anaircraft 4, and anaircraft storage device 5, and constitutes a part of the present system. Themanagement server 1 may be, for example, a general-purpose computer such as a workstation or a personal computer, or may be logically realized by cloud computing.

管理サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信
部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。

Themanagement server 1 includes at least a processor 10, a memory 11, a storage 12, a transmission/reception unit 13, an input/output unit 14, etc., which are electrically connected to each other via a bus 15.

プロセッサ１０は、管理サーバ１全体の動作を制御し、各要素間におけるデータの送受
信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置
である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎ
ｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で
あり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム
等を実行して各情報処理を実施する。

The processor 10 is a computing device that controls the operation of theentire management server 1, controls the transmission and reception of data between each element, and performs information processing necessary for application execution and authentication processing. For example, the processor 10 is a central processing unit (CPU).
It is a processor 120 (CPU) and/or a GPU (Graphics Processing Unit), which executes programs for this system that are stored in the storage 12 and deployed in the memory 11 to perform various information processing operations.

メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒ
ｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ
Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ
１１は、プロセッサ１０のワークエリア等として使用され、また、管理サーバ１の起動時
に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、
及び各種設定情報等を格納する。

The memory 11 is a dynamic random access memory (DRAM).
The main memory is made up of volatile storage devices such as flash memory and HDD (Hard Drive).
The memory 11 is used as a work area for the processor 10 and stores a BIOS (Basic Input/Output System) that is executed when themanagement server 1 is started up.
It also stores various setting information, etc.

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各
処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよ
い。

The storage 12 stores various programs such as application programs, etc. A database that stores data used in each process may be constructed in the storage 12.

送受信部１３は、管理サーバ１をネットワークおよびブロックチェーンネットワークに
接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕ
ｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよ
い。

The transmission/reception unit 13 connects themanagement server 1 to the network and the blockchain network. The transmission/reception unit 13 supports Bluetooth (registered trademark) and BLE (Blue
The device may be equipped with a short-range communication interface such as IEEE 802.11b/g/n (Etooth Low Energy).

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力
機器である。

The input/output unit 14 includes information input devices such as a keyboard and a mouse, and output devices such as a display.

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各
種制御信号を伝達する。

The bus 15 is commonly connected to all of the above elements and transmits, for example, address signals, data signals and various control signals.

＜ユーザ端末２＞

図３に示されるユーザ端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、
送受信部２３、入出力部２４、撮影部２６、撮影状態情報取得部２７等を備え、これらは
バス２５を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ１と
同様に構成することが可能であることから、同様の構成の詳細な説明は省略する。

<User Terminal 2>

Theuser terminal 2 shown in FIG. 3 also includes a processor 20, a memory 21, a storage 22,
The server includes a transmitting/receiving unit 23, an input/output unit 24, an image capturing unit 26, an image capturing state information acquiring unit 27, etc., which are electrically connected to each other via a bus 25. The functions of each element can be configured in the same way as themanagement server 1 described above, and therefore detailed descriptions of the similar configurations will be omitted.

撮影部２６は、例えば可視光カメラや赤外線カメラであり、撮影画像（例えば、静止画
像、動画像等）を取得する。

The image capturing unit 26 is, for example, a visible light camera or an infrared camera, and captures captured images (for example, still images, moving images, etc.).

＜飛行体４＞

図４は、飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ
４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ
以上のプロセッサを有することができる。

<Flying vehicle 4>

4 is a block diagram showing a hardware configuration of the flyingobject 4. Theflight controller 41 can have one or more processors, such as a programmable processor (e.g., a central processing unit (CPU)).

また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセ
ス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラ
が実行可能であるロジック、コード、および／またはプログラム命令を記憶している。ま
た、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰ
Ｓセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。

Theflight controller 41 also has and can access a memory 411. The memory 411 stores logic, code, and/or program instructions that the flight controller can execute to perform one or more steps. Theflight controller 41 also includes inertial sensors (acceleration sensors, gyro sensors), GPS, and other sensors.
The sensors 412 may include a sensor, a proximity sensor (e.g., a lidar), and the like.

メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離
可能な媒体または外部の記憶装置を含んでいてもよい。撮影部／センサ類４２から取得し
たデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、撮影部等で
撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに
限らず、撮影部／センサ４２または内蔵メモリからネットワークＮＷを介して、少なくと
も管理サーバ１やユーザ端末２、飛行体格納装置５のいずれかに記録されてもよい。撮影
部４２は飛行体４にジンバル４３を介して設置される。

The memory 411 may include, for example, a separable medium such as an SD card or a random access memory (RAM) or an external storage device. The data acquired from the image capturing unit/sensors 42 may be directly transmitted to and stored in the memory 411. For example, still image/video data captured by the image capturing unit or the like may be recorded in an internal memory or an external memory, but is not limited thereto, and may be recorded at least in themanagement server 1, theuser terminal 2, or theaircraft storage device 5 from the image capturing unit/sensor 42 or the internal memory via the network NW. The image capturing unit 42 is installed in theaircraft 4 via a gimbal 43.

フライトコントローラ４１は、飛行体の状態を制御するように構成された図示しない制
御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及び
ｚ、並びに回転運動θ_ｘ、θ_ｙ及びθ_ｚ）を有する飛行体の空間的配置、速度、および／
または加速度を調整するために、ＥＳＣ４４（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔ
ｒｏｌｌｅｒ）を経由して飛行体の推進機構（モータ４５等）を制御する。バッテリー４
８から給電されるモータ４５によりプロペラ４６が回転することで飛行体の揚力を生じさ
せる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することがで
きる。

Theflight controller 41 includes a control module (not shown) configured to control the state of the air vehicle, for example, the control module may control the spatial configuration, velocity, and/or speed of the air vehicle with six degrees of freedom (translational motion x, y, and z, and rotational motion θ_x , θ_y, and θ_z ).
Or use ESC44 (Electric Speed Control) to adjust the acceleration.
The propulsion mechanism (motor 45, etc.) of the aircraft is controlled via thebattery 4
Apropeller 46 is rotated by amotor 45 supplied with power from 8, thereby generating lift for the flying object. The control module can control one or more of the states of the onboard parts and sensors.

フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ
）４９、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または
受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信ま
たは無線通信などの任意の適当な通信手段を使用することができる。

Theflight controller 41 can communicate with atransceiver 47 configured to transmit and/or receive data from one or more external devices (e.g., atransceiver 49, a terminal, a display, or other remote control). Thetransceiver 49 can use any suitable communication means, such as wired or wireless communication.

例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネッ
トワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネット
ワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することがで
きる。

For example, thetransceiver 47 may utilize one or more of a local area network (LAN), a wide area network (WAN), infrared, radio, WiFi, a point-to-point (P2P) network, a telecommunications network, cloud communications, and the like.

送受信部４７は、センサ類４２で取得したデータ、フライトコントローラ４１が生成し
た処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのう
ちの１つ以上を送信および／または受け取ることができる。

Thetransceiver unit 47 can transmit and/or receive one or more of the following: data acquired by the sensors 42, processing results generated by theflight controller 41, specified control data, user commands from a terminal or a remote controller, etc.

本実施の形態によるセンサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、
ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例
えば、カメラ）を含み得る。

The sensors 42 according to the present embodiment include an inertial sensor (acceleration sensor, gyro sensor),
These may include GPS sensors, proximity sensors (e.g., lidar), or vision/image sensors (e.g., cameras).

＜各構成に実装される機能＞

図５は、本実施の形態における、管理サーバ１、ユーザ端末２、飛行体４に実装される
機能を例示したブロック図である。

<Functions implemented in each configuration>

FIG. 5 is a block diagram illustrating the functions implemented in themanagement server 1, theuser terminal 2, and the flyingobject 4 in this embodiment.

まず、管理サーバ１に実装される機能として、プロセッサ１０は、フライトミッション
生成部１１０を備えており、ストレージ１２は、飛行経路情報記憶部１２２、フライトロ
グ記憶部１２４を備えており、送受信部１３は、通信部１３０を備えている。また、フラ
イトミッション生成部１１０は、飛行経路生成部１１２を含む。なお、ストレージ１２は
、フライトミッションを実行するために必要な情報を記憶する記憶部をさらに有していて
もよく、例えば、飛行条件に関する情報（例えば、飛行速度やウェイポイント間隔など）
や、後述の仮想空間情報（例えば、三次元点群データなど）を記憶する記憶部（不図示）
をそれぞれ有していてもよい。

First, as functions implemented in themanagement server 1, the processor 10 includes a flight mission generation unit 110, the storage 12 includes a flight routeinformation storage unit 122 and a flightlog storage unit 124, and the transceiver unit 13 includes a communication unit 130. The flight mission generation unit 110 also includes a flight route generation unit 112. The storage 12 may further include a storage unit that stores information necessary for executing a flight mission, such as information on flight conditions (e.g., flight speed, waypoint interval, etc.).
and a storage unit (not shown) for storing virtual space information (e.g., three-dimensional point cloud data, etc.) described later.
Each of the

フライトミッション生成部１１０は、フライトミッションを生成する。フライトミッシ
ョンは、少なくともウェイポイント情報（例えば緯度経度情報及び飛行高度情報を含む）
を含む飛行経路などの情報である。飛行経路の設定は、例えば、後述のように、対象物の
三次元点群モデル情報と、機体の現在位置と、フライトミッション開始位置、対象物から
の距離などを取得して飛行経路生成部１１２により自動でウェイポイントを算出して設定
したりしてもよい。生成された飛行経路に関する情報は、飛行経路情報記憶部（不図示）
に記憶されていてもよい。また、フライトミッションは、例えばユーザが指定した作業（
例えば、撮像、点検、警備など）を含んでいてもよく、フライトミッション開始位置から
上記作業を開始するように飛行体を制御してもよい。各フライトミッションを実行するた
めの詳細な設定は、予め管理サーバ１等に登録されていてもよい。

The flight mission generation unit 110 generates a flight mission. The flight mission includes at least waypoint information (e.g., latitude and longitude information and flight altitude information).
The flight route may be set, for example, by acquiring three-dimensional point cloud model information of the object, the current position of the aircraft, the flight mission start position, the distance from the object, and the like, as described below, and automatically calculating and setting waypoints by the flight route generation unit 112. Information regarding the generated flight route may be stored in a flight route information storage unit (not shown).
The flight mission may be stored in, for example, a task designated by a user (
For example, the flight mission may include other tasks (e.g., imaging, inspection, security, etc.) and the flying object may be controlled to start the above tasks from a flight mission start position. Detailed settings for executing each flight mission may be registered in advance in themanagement server 1, etc.

なお、飛行経路は、例えば、飛行体格納装置５を有さずに、ユーザ付近にホバリングし
て待機している位置や、ユーザにより機体を持ち運びされた位置を現在位置として飛行開
始位置としたり、飛行終了位置においてユーザが機体を回収したりする構成などでもよい
し、管理サーバ１により管理された飛行体格納装置５の情報（例えば、位置情報や格納状
態情報、格納機体情報など）を基に、飛行開始位置、途中経由地または飛行終了位置とし
て選択された飛行体格納装置５の位置も含めた飛行経路として生成される構成でもよい。

In addition, the flight path may be, for example, a position where the aircraft is hovering and waiting near the user without theaircraft storage device 5, or the position where the aircraft is carried by the user may be set as the current position and the flight start position, or the user may retrieve the aircraft at the flight end position, or the flight path may be generated as a flight path including the position of theaircraft storage device 5 selected as the flight start position, intermediate point or flight end position based on information about theaircraft storage device 5 managed by the management server 1 (e.g., position information, storage status information, stored aircraft information, etc.).

飛行経路情報記憶部１２２は、フライトミッション生成部１１０で生成された飛行体の
飛行経路情報を記憶している。フライトログ記憶部１２４は、例えば、フライトミッショ
ンにて設定された飛行経路上にて、飛行体４により取得された情報（例えば、離陸から着
陸までに経由した位置の情報、静止画像、動画像、音声その他の情報）を記憶している。

The flight pathinformation storage unit 122 stores flight path information of the flying object generated by the flight mission generation unit 110. The flightlog storage unit 124 stores, for example, information acquired by the flyingobject 4 on the flight path set in the flight mission (for example, information on the positions passed through from takeoff to landing, still images, moving images, audio, and other information).

通信部１３０は、ユーザ端末２や、飛行体４、飛行体格納装置５と通信を行う。通信部
１３０は、ユーザ端末２から、フライト依頼を受け付ける受付部としても機能する。

The communication unit 130 communicates with theuser terminal 2, the flyingobject 4, and the flyingobject storage device 5. The communication unit 130 also functions as a reception unit that receives a flight request from theuser terminal 2.

次に、ユーザ端末２に実装される機能として、プロセッサ２０は、撮影状態情報取得部
２２０、指定位置情報取得部２４０を備えており、ストレージ２２は、撮影状態情報記憶
部２２２を備えており、送受信部２３は、通信部２３０を備えている。また、ストレージ
２２は、指定位置情報取得部２４０で取得した指定位置情報を記憶する記憶部（不図示）
をさらに有していてもよい。

Next, as functions implemented in theuser terminal 2, the processor 20 includes a shooting state information acquisition unit 220 and a designated position information acquisition unit 240, the storage 22 includes a shooting stateinformation storage unit 222, and the transmission/reception unit 23 includes a communication unit 230. The storage 22 also includes a storage unit (not shown) that stores the designated position information acquired by the designated position information acquisition unit 240.
It may further comprise:

撮影状態情報取得部２２０は、例えばＧＰＳやジャイロセンサ、気圧センサ、温度セン
サなどのセンサ類、端末の撮影部２６に関する情報（例えば、撮影画角情報など）を記憶
した記憶部（メモリ２１やストレージ２２の一部であってもよい）などから、撮影画像を
取得した際のユーザ端末の撮影画角情報や撮影角度情報、撮影方位情報、ユーザ端末位置
情報（例えば、緯度経度情報と高度情報など）などを撮影状態情報として取得する。なお
、ユーザ端末位置情報に含まれる高度情報は、上述の気圧センサや温度センサに基づき算
出された高度情報や、ユーザに設定させた高度情報でもよいが、例えば、ユーザに設定さ
せた身長情報、または、ユーザの性別に応じた平均的な身長情報から、想定されるユーザ
端末位置に応じて所定の高さだけ上下方向にオフセットした値を高度情報としてもよい。

The photographing state information acquisition unit 220 acquires, as photographing state information, photographing angle information, photographing orientation information, user terminal position information (e.g., latitude and longitude information and altitude information, etc.) of the user terminal when the photographed image was acquired from, for example, sensors such as a GPS, a gyro sensor, an air pressure sensor, a temperature sensor, and a storage unit (which may be a part of the memory 21 or the storage 22) that stores information on the photographing unit 26 of the terminal (e.g., photographing angle information, etc.). Note that the altitude information included in the user terminal position information may be altitude information calculated based on the above-mentioned air pressure sensor or temperature sensor, or altitude information set by the user, but for example, the altitude information may be a value obtained by offsetting the height information set by the user or average height information according to the gender of the user by a predetermined height in the vertical direction according to the expected user terminal position.

指定位置情報取得部２４０は、ユーザが指定した画面上の位置（例えば、所定の位置を
原点として、画面の幅方向をｘ軸、画面の高さ方向をｙ軸として設定されたｘｙ座標位置
）を指定位置情報として取得する。ユーザが画面上の位置を指定する方法は、例えば、タ
ッチディスプレイを指でタッチして指定したり、ポインタなどのオブジェクトを操作して
指定したり、ユーザ端末２を動かして指定したい位置に画面の特定の位置（例えば、中心
）を合わせて決定動作を実行することで指定したりすることにより実現できる。

The designated position information acquisition unit 240 acquires a position on the screen designated by the user (for example, an x-y coordinate position set with a specific position as the origin, the width direction of the screen as the x-axis, and the height direction of the screen as the y-axis) as designated position information. The user can designate a position on the screen, for example, by touching the touch display with a finger, by manipulating an object such as a pointer, or by moving theuser terminal 2 to align a specific position on the screen (for example, the center) with the position to be designated and executing a decision operation.

撮影状態情報記憶部２２２は、図６に示すように、撮影画角情報記憶部２２２１、撮影
角度情報記憶部２２２２、撮影方位情報記憶部２２２３、ユーザ端末位置情報記憶部２２
２４を少なくとも含み、対象とする撮影状態情報をそれぞれ記憶する。

As shown in FIG. 6 , the shooting stateinformation storage unit 222 includes a shooting angle of view information storage unit 2221, a shooting angle information storage unit 2222, a shooting orientation information storage unit 2223, and a user terminal position information storage unit 22
24, each of which stores the target shooting condition information.

通信部２３０は、管理サーバ１や、飛行体４、飛行体格納装置５と通信を行う。

The communication unit 230 communicates with themanagement server 1, the flyingobject 4, and the flyingobject storage device 5.

次に、飛行体４に実装される機能として、プロセッサ４１３は、撮影状態情報受信部４
１５と、位置算出部４１７を備えており、メモリ４１１は、仮想空間情報記憶部４２１を
備えており、送受信部４７は、通信部４７０を備えている。また、メモリ４１１は、撮影
状態情報受信部４１５で受信した撮影状態情報を記憶する記憶部（不図示）をさらに有し
ていてもよい。

Next, as a function implemented in the flyingobject 4, the processor 413 controls the image capture stateinformation receiving unit 4
Theimage capturing unit 47 includes a virtual space information storage unit 421 and a position calculation unit 417. The memory 411 includes a virtual space information storage unit 421, and the transmission/reception unit 47 includes a communication unit 470. The memory 411 may further include a storage unit (not shown) that stores the image capturing state information received by the image capturing state information receiving unit 415.

撮影状態情報受信部４１５は、ユーザ端末２の撮影状態情報取得部２２０で取得した撮
影状態情報を通信部４７０を介して受信する。

The image capturing state information receiving unit 415 receives the image capturing state information acquired by the image capturing state information acquiring unit 220 of theuser terminal 2 via the communication unit 470 .

位置算出部４１７は、少なくともユーザ端末２の撮影状態情報と指定位置情報、仮想空
間情報４２１に記憶される仮想空間情報（例えば三次元点群データ）、飛行体４の現在位
置情報（例えばＧＰＳから取得する）に基づき、ユーザ端末２の画面上でユーザが指定し
た指定位置が、仮想空間または現実空間の何れの位置であるかを算出する。詳細な算出方
法については、後述する。

The position calculation unit 417 calculates whether the designated position designated by the user on the screen of theuser terminal 2 is a position in virtual space or real space, based on at least the shooting state information and designated position information of theuser terminal 2, the virtual space information (e.g., three-dimensional point cloud data) stored in the virtual space information 421, and the current position information of the flying object 4 (obtained from a GPS, for example). A detailed calculation method will be described later.

仮想空間情報記憶部４２１は、例えばユーザ端末２から撮影可能な範囲の三次元点群デ
ータを含む仮想空間情報を記憶する。三次元点群データは、例えばＬＩＤＡＲ（Ｌｉｇｈ
ｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）やＤｅｐｔｈを測定できる撮影部ま
たはセンサにより取得した仮想空間内の三次元座標データであり、事前に飛行して取得し
たり、ネットワークを介して、例えば管理サーバ１などから必要な範囲のデータを取得し
てきてもよい。また、事前に飛行体４の現実空間の三次元座標と、仮想空間内の三次元座
標の対応付けを行い、これを仮想空間情報記憶部４２１に記憶しておいてもよい。

The virtual space information storage unit 421 stores virtual space information including, for example, three-dimensional point cloud data of a range that can be photographed from theuser terminal 2. The three-dimensional point cloud data is, for example, a LIDAR (Light
The three-dimensional coordinate data is three-dimensional coordinate data in the virtual space acquired by an imaging unit or a sensor capable of measuring the distance (time, detection and ranging) and depth, and may be acquired in advance by flying theaircraft 4 or may be acquired over a network from, for example, themanagement server 1. Also, the three-dimensional coordinates of theaircraft 4 in the real space and the three-dimensional coordinates in the virtual space may be associated in advance, and the associated data may be stored in the virtual space information storage unit 421.

なお、本実施の形態においては、飛行体４上のプロセッサ４１３の機能として、位置算
出部４１７を備えている例を基に説明しているが、これに限らず、例えばユーザ端末２の
プロセッサ２０や管理サーバ１のプロセッサ１０、飛行体格納装置５のプロセッサなどの
機能として備え、位置算出に必要な情報を該当プロセッサに読み出して算出するようにし
てもよい。これにより、位置算出のための処理負荷を所望のプロセッサに担わせることが
できる。

In this embodiment, the position calculation unit 417 is provided as a function of the processor 413 on the flyingobject 4, but the present invention is not limited to this. For example, the processor 20 of theuser terminal 2, the processor 10 of themanagement server 1, the processor of the flyingobject storage device 5, etc. may be provided as a function, and the information required for position calculation may be read out to the relevant processor and calculated. This allows the processing load for position calculation to be borne by the desired processor.

また、ユーザ端末２の撮影部２６の撮影画像を基に位置算出及び飛行体を制御している
が、これに代えて、飛行体４の撮影部の撮影画像を基に位置算出及び飛行体を制御するよ
うにしてもよい。この際、ユーザ端末２の撮影部２６による撮影画像と同様に、飛行体４
の撮影部の撮影画像をユーザ端末２の画面上に表示させることで位置算出を実現してもよ
い。ユーザ端末２の撮影部２６による撮影画像を基にした場合には、ユーザが撮影環境を
目視しながら、そこにユーザ端末２の撮影部２６を向けて、客観的かつ直感的に位置を指
定することで飛行体４を制御することが可能であるが、飛行体４の撮影部の撮影画像を基
にした場合には、あたかもユーザが直接動いているかのように、主観的かつ直感的に位置
を指定することで飛行体の制御することが可能となる。

In addition, the position calculation and the control of the flying object are performed based on the image captured by the image capture unit 26 of theuser terminal 2. However, instead of this, the position calculation and the control of the flying object may be performed based on the image captured by the image capture unit of the flyingobject 4. In this case, the position calculation and the control of the flying object may be performed based on the image captured by the image capture unit 26 of theuser terminal 2.
The position calculation may be realized by displaying an image captured by the image capturing unit 26 of theuser terminal 2 on the screen of theuser terminal 2. When the image captured by the image capturing unit 26 of theuser terminal 2 is used as the basis, the user can control the flyingobject 4 by pointing the image capturing unit 26 of theuser terminal 2 at the captured environment while visually observing the environment and objectively and intuitively specifying a position, whereas when the image captured by the image capturing unit of the flyingobject 4 is used as the basis, the user can control the flying object by subjectively and intuitively specifying a position as if the user were moving directly.

＜位置算出方法の一例＞

図７－１０を参照して、本実施形態にかかる位置算出方法について説明する。図７には
、本実施形態にかかる位置算出方法のフローチャートが例示されている。図８－１０は、
本発明の実施の形態にかかる位置算出方法に関する説明の一例を示す図である。また、一
例として、飛行体４上のプロセッサ４１３の機能として、位置算出部４１７を備え、ユー
ザ端末２の撮影部２６の撮影画像を基に位置算出を行う構成により説明する。

<Example of position calculation method>

The position calculation method according to the present embodiment will be described with reference to Figures 7-10. Figure 7 shows a flowchart of the position calculation method according to the present embodiment. Figures 8-10 show:
FIG. 1 is a diagram showing an example of a position calculation method according to an embodiment of the present invention. As an example, a position calculation unit 417 is provided as a function of a processor 413 on anaircraft 4, and position calculation is performed based on an image captured by an image capture unit 26 of auser terminal 2.

まず、図８に示されるように、ユーザ端末２の画面上で、撮影部２６により取得された
撮影画像Ｓ上の所定の位置をポインタＰ等で指定する（ＳＱ１０１）。

First, as shown in FIG. 8, a predetermined position on the captured image S captured by the image capturing unit 26 is designated on the screen of theuser terminal 2 with the pointer P or the like (SQ101).

次に、飛行体４は、撮影状態情報受信部４１５により、ＳＱ１０１においてユーザ端末
２の画面上で指定した所定の位置（画面上のｘｙ座標位置）及び所定の位置を指定した際
の撮影状態情報（撮影画角、撮影角度、撮影方位、ユーザ端末位置情報）を取得する（Ｓ
Ｑ１０２）。

Next, the flyingobject 4 acquires, by the shooting state information receiving unit 415, the predetermined position (x-y coordinate position on the screen) specified on the screen of theuser terminal 2 in SQ101 and shooting state information (shooting angle of view, shooting angle, shooting orientation, user terminal position information) when the predetermined position is specified (S
Q102).

次に、飛行体４は、位置算出部４１７により、上述のｘｙ座標位置と撮影状態情報に基
づき、ユーザ端末の位置（三次元座標）から、画面上で指定した所定の位置（画面上のｘ
ｙ座標位置）に対応する、少なくとも仮想空間内での位置（三次元座標）への角度及び方
位を算出する（ＳＱ１０３）。

Next, the flyingobject 4 calculates the position (three-dimensional coordinates) of the user terminal based on the above-mentioned x-y coordinate position and the shooting state information by the position calculation unit 417.
Then, the angle and direction to at least a position (three-dimensional coordinates) in the virtual space corresponding to the y-coordinate position is calculated (SQ103).

より具体的には、図９を用いてｙ軸方向の角度の算出方法について例示する。

More specifically, a method for calculating the angle in the y-axis direction will be illustrated with reference to FIG.

まず、撮影部の中心からのずれ幅ｄ_ｙは、画面上のｙ座標の原点を上端とした場合、画
面上のｙ軸方向の指定位置ｙから、解像度で決まる高さｄ_ｈの半値を引いた値の絶対値で
あり、下記数１の関係が成り立つ。

First, the deviation width d_y from the center of the imaging unit is the absolute value of the specified position y in the y-axis direction on the screen minus half the height d_h determined by the resolution, assuming that the origin of the y coordinate on the screen is the top end, and the relationship of thefollowing equation 1 holds.

次に、撮影部の向きからのずれ角度α_hを基に、下記数２の関係が成り立つ。

Next, based on the deviation angle_αh from the direction of the imaging unit, the relationship of the followingformula 2 is established.

次に、画角ＦＯＶ_ｈの半値を基に、下記数３の関係が成り立つ。

Next, based on the half value of the angle of view FOV_h , the relationship of the followingformula 3 holds.

ここで、例えば、数２に記載の数式に数３に記載の数式を距離distanceを基に代入し、
撮影部の向きからのずれ角度α_hについて整理すると、下記数４の関係が成り立つ。

Here, for example, theformula 3 is substituted into theformula 2 based on the distance,
When the deviation angle_αh from the direction of the imaging unit is rearranged, the relationship of the followingformula 4 holds.

なお、この時、撮影部の向きからのずれ角度α_hは、下記数５の関係も満たすものであ
る。

In this case, the deviation angle_αh from the direction of the imaging unit also satisfies the relationship of thefollowing equation 5.

最後に、取得可能な値を上記数４に代入していくことで、ｙ軸方向における撮影部の向
きからのずれ角度α_hが算出される。

Finally, by substituting obtainable values intoEquation 4 above, the deviation angle_αh from the orientation of the imaging unit in the y-axis direction is calculated.

また、ｘ軸方向の方位も、これと同様の算出方法により、ｘ軸方向における撮影部の向
きからのずれ方位α_ｗが算出される。

In addition, the direction of the x-axis is also calculated by a similar calculation method to calculate the deviation direction_αw from the direction of the imaging unit in the x-axis direction.

再度図７のフローチャートに戻り、位置算出方法について説明する。次に、飛行体４は
、位置算出部４１７により、ユーザ端末２の位置Ｐ_ｓ及びＳＱ１０３で算出したずれ角度
α_h並びにずれ方位α_ｗ、飛行体４の位置Ｐ_ｄを仮想空間内の三次元座標に対応付け、ユ
ーザ端末２の位置Ｐ_ｓからずれ角度α_h並びにずれ方位α_ｗへ直線を延ばした際に、最初
に接触した点データＤ（または点群モデルＭ）をユーザが指定した位置（または対象物）
として算出する（ＳＱ１０４）。

Returning to the flowchart of Fig. 7, the position calculation method will be described. Next, the position calculation unit 417 of the flyingobject 4 associates the position_Ps of theuser terminal 2, the deviation angle_αh and deviation direction_αw calculated in SQ103, and the position_Pd of the flyingobject 4 with three-dimensional coordinates in the virtual space, and locates the point data D (or point cloud model M) that first comes into contact when a straight line is extended from the position_Ps of theuser terminal 2 to the deviation angle_αh and deviation direction_αw at the position (or object) specified by the user.
(SQ104).

より具体的には、図１０を用いてユーザが指定した位置の算出方法について例示する。
説明を簡略化するために、まずはｘ軸方向において説明する。

More specifically, a method for calculating a position designated by a user will be illustrated with reference to FIG.
For simplicity, the x-axis direction will be described first.

図１０の左図には、ユーザ端末２の位置Ｐ_ｓと上述の数式等により算出したずれ方位α
_ｗ、画像上で指定した対象物及び指定した位置との関係が示されている。そして、これら
の値及び飛行体４の位置Ｐ_ｄは、飛行体４の位置算出部４１７により、例えば三次元点群
データがマッピングされた仮想空間内に適用され、図１０の右図のような位置関係となる
。

The left diagram of FIG. 10 shows the position_Ps of theuser terminal 2 and the offset azimuth α calculated by the above-mentioned formula, etc.
The relationship between_w , the object specified on the image, and the specified position is shown. These values and the position_Pd of theaircraft 4 are applied by the position calculation unit 417 of theaircraft 4 to, for example, a virtual space in which the three-dimensional point cloud data is mapped, resulting in a positional relationship as shown in the right diagram of FIG.

ここで、ユーザ端末２の位置Ｐ_ｓからずれ方位α_ｗの方向に仮想的な直線を延ばし、最
初に接触した点データＤの位置が、ユーザが指定した位置として算出される。同様に、ず
れ角度α_hを用いてｙ軸方向においても同様のことが並行して行われているため、結果と
して、ユーザが指定した位置に対応する、仮想空間上における点データの三次元座標位置
（仮想指定位置）が算出される。

Here, a virtual straight line is extended from the position_Ps of theuser terminal 2 in the direction of the deviation azimuth_αw , and the position of the point data D that was first touched is calculated as the position specified by the user. Similarly, a similar process is performed in parallel in the y-axis direction using the deviation angle_αh , and as a result, the three-dimensional coordinate position of the point data in the virtual space (virtual specified position) that corresponds to the position specified by the user is calculated.

最後に、飛行体４の位置Ｐ_ｄに基づき、仮想空間上の三次元座標と、現実空間上の三次
元座標との対応関係から、現実空間上におけるユーザが指定した位置を算出する（ＳＱ１
０５）。なお、本実施の形態においては、飛行体４が仮想空間情報を有しているために飛
行体４の位置Ｐ_ｄに基づき現実空間上の位置を算出しているが、ユーザ端末２が仮想空間
情報を有している場合には、必ずしも飛行体４の位置Ｐ_ｄに関する情報は必要ではなく、
ユーザ端末２の位置Ｐ_ｓのみで足り得る。

Finally, based on the position_Pd of the flyingobject 4, the position designated by the user in the real space is calculated from the correspondence between the three-dimensional coordinates in the virtual space and the three-dimensional coordinates in the real space (SQ1
In this embodiment, the flyingobject 4 has virtual space information, so the position in real space is calculated based on the position_Pd of the flyingobject 4. However, if theuser terminal 2 has virtual space information, information regarding the position_Pd of the flyingobject 4 is not necessarily required.
The position_Ps of theuser terminal 2 alone may be sufficient.

これにより、ユーザがユーザ端末２の画面上で指定した位置を、現実空間上の三次元座
標位置として算出することが可能となり、これを用いて様々な飛行体の制御が簡易に可能
となる。

This makes it possible to calculate the position specified by the user on the screen of theuser terminal 2 as a three-dimensional coordinate position in real space, which can be used to easily control various flying objects.

＜飛行体の制御例１－１＞

例えば、上述のユーザ端末２の画面上で指定された位置の現実空間上の三次元座標を用
いて、その位置へ飛行体４を飛行させるように制御してもよい。当該制御は、飛行体４の
プロセッサ４１３やユーザ端末２のプロセッサ２０により実行されてもよいし、管理サー
バ１のプロセッサ１０により実行されてもよい。これにより、三次元点群データを取得済
みの対象物の近くであれば、ユーザ端末２の画面上で指定をするだけで、容易にその位置
まで飛行体４を飛行させることが可能になる。

<Aircraft control example 1-1>

For example, the flyingobject 4 may be controlled to fly to a position specified on the screen of the above-mentioneduser terminal 2 using the three-dimensional coordinates in real space of the position. The control may be executed by the processor 413 of the flyingobject 4, the processor 20 of theuser terminal 2, or the processor 10 of themanagement server 1. This makes it possible to easily fly the flyingobject 4 to a position near an object for which three-dimensional point cloud data has been acquired, simply by specifying the position on the screen of theuser terminal 2.

＜飛行体の制御例１－２＞

上述の飛行体の制御例１－１では、ユーザが指定した位置まで飛行体４を飛行させてい
たが、それに加えて、その位置を含む対象物の形状を判別し、ユーザが指定した位置（及
びそこから所定距離オフセットした位置）から点検等のフライトミッションを実行するよ
うにしてもよい。対象物の形状は、三次元点群データを参照してもよいし、飛行体４に搭
載のＬＩＤＡＲ等により対象物の三次元点群データをその場で取得してもよい。そして、
例えばユーザが指定した位置をフライトミッション開始位置として、対象物の三次元点群
データを基に飛行経路を決定し、フライトミッションを実行するようにしてもよい。これ
らの処理は、例えば管理サーバ１においても、飛行体４が記憶している仮想空間情報を記
憶しておき、飛行経路生成部１１２において当該飛行経路を生成するようにしてもよい。
また、フライトミッションの指定は、ユーザが位置を指定するまでにいずれかのフライト
ミッションが指定されていればよい。

<Aircraft control example 1-2>

In the above-mentioned flying object control example 1-1, the flyingobject 4 is flown to a position specified by the user, but in addition to that, the shape of the target object including that position may be determined, and a flight mission such as an inspection may be executed from the position specified by the user (and a position offset from that position by a predetermined distance). The shape of the target object may be determined by referring to three-dimensional point cloud data, or the three-dimensional point cloud data of the target object may be acquired on the spot by a LIDAR or the like mounted on the flyingobject 4. Then,
For example, a position designated by the user may be set as the flight mission start position, a flight route may be determined based on the three-dimensional point cloud data of the target object, and the flight mission may be executed. These processes may also be performed in themanagement server 1, for example, by storing the virtual space information stored in the flyingobject 4 and generating the flight route in the flight route generating unit 112.
Furthermore, the flight mission may be specified by the time the user specifies a position.

＜飛行体の制御例１－３＞

上述の飛行体の制御例１－１、１－２では、ユーザが指定した位置として点データの三
次元座標を用いているが、これに代えて、当該点データを含む対象物を判定し、当該対象
物の形状を三次元点群データから判別し、当該対象物に対するフライトミッションのため
の飛行経路を予め生成するようにしてもよい。これにより、ユーザは飛行体を制御する位
置の指定を厳密に行わずとも対象物へのフライトミッションを実行することができる。

<Aircraft Control Example 1-3>

In the above-mentioned control examples 1-1 and 1-2 of the flying object, the three-dimensional coordinates of the point data are used as the position specified by the user, but instead of this, an object including the point data may be determined, the shape of the object may be determined from the three-dimensional point cloud data, and a flight path for a flight mission to the object may be generated in advance. This allows the user to execute a flight mission to the object without strictly specifying the position to control the flying object.

＜飛行体の制御例１－４＞

例えば、ユーザが指定した位置へ飛行体４を飛行させた後、飛行体４と通信可能な装置
と通信を行ってもよい。例えば、当該装置は、飛行体格納装置５であり、飛行体４におい
て取得した情報を飛行体格納装置５を介して管理サーバ１等に送信したり、飛行体格納装
置５に格納されるための通信処理を行ったり、飛行体格納装置５内の飛行体と交代または
共同してフライトミッションを行うための通信処理を行うなどしてもよい。これらいずれ
の動作を行うかは、ユーザがユーザ端末２の画面上で位置を指定する際に、ユーザ端末２
において動作も指定するように構成してもよい。

<Aircraft Control Example 1-4>

For example, after flying the flyingobject 4 to a position specified by the user, the flyingobject 4 may communicate with a device capable of communicating with the flyingobject 4. For example, the device in question may be the flyingobject storage device 5, and may transmit information acquired by the flyingobject 4 to themanagement server 1 or the like via the flyingobject storage device 5, perform communication processing for storage in the flyingobject storage device 5, or perform communication processing for performing a flight mission in place of or in cooperation with the flying object in the flyingobject storage device 5. Which of these operations is to be performed is determined by theuser terminal 2 when the user specifies a position on the screen of theuser terminal 2.
The operation may also be specified in the above.

＜飛行体の制御例２－１＞ 例えば、上述のように、ユーザ端末２の画面上で指定された
位置の現実空間上の三次元座標を算出する際に、仮想空間上でユーザ端末位置Ｐ_ｓから仮
想的な直線を延ばした際に、何れの三次元点群データにも接触しない場合、または、所定
距離延ばしても三次元点群データに接触しない場合には、飛行体４は所定のフェイルセー
フ動作を行うようにしてもよい。当該フェイルセーフ動作としては、例えばその場または
最後にユーザが指定した位置やユーザ端末２の位置まで飛行してホバリングを行ったり、
着陸を行ったりしてもよい。また、ユーザ端末２へのアラート表示（例えば、三次元点群
データに接触しない旨、位置算出ができない旨の表示）を行ってもよい。

<Control Example 2-1 of Aircraft> For example, as described above, when calculating the three-dimensional coordinates in real space of a position specified on the screen of theuser terminal 2, if a virtual straight line is extended from the user terminal position_Ps in the virtual space and does not come into contact with any three-dimensional point cloud data, or if the straight line does not come into contact with any three-dimensional point cloud data even after being extended a specified distance, theaircraft 4 may perform a specified fail-safe operation. The fail-safe operation may, for example, fly to the spot or to the position last specified by the user or to the position of theuser terminal 2 and hover,
Alternatively, the drone may land. Also, an alert may be displayed on the user terminal 2 (for example, a message indicating that the drone will not come into contact with the three-dimensional point cloud data, or that the position cannot be calculated).

＜飛行体の制御例２－２＞

例えば、上述のように、ユーザが指定した位置まで飛行体４を飛行制御している際に、
飛行体４に搭載の撮影部またはセンサにより障害物を判定した時には、所定のフェイルセ
ーフ動作（その場で停止してホバリングを行ったり、着陸を行ったりしてもよいし、直前
に指定された位置やユーザ端末２の位置まで戻ってもよいし、三次元点群データで障害物
の形状が判別可能な場合には、障害物を避けるように飛行を続けてもよい）やアラート表
示を実行するようにしてもよい。また、例えば図１１に記載されるような位置関係である
場合には、ユーザが指定した位置にある対象物自体が障害物となり得るため、同様に所定
のフェイルセーフ動作（特に、飛行経路を変更する場合は、三次元点群データを利用して
、対象物の周りを周回するルートや上空側を超えるルートを生成するなど）やアラート表
示を実行するようにしてもよい。さらに、例えば、飛行体４の搭載の撮影部で色情報を判
定し、予め登録された色の割合が高い場合（例えば、芝生や木の葉っぱの方向へ進んでし
まった場合を想定して緑色を登録したり、地面等の土の色である茶色を登録したりしても
よい）にも、所定のフェイルセーフ動作やアラート表示を行うようにしてもよい。

<Aircraft control example 2-2>

For example, as described above, when the flight of theaircraft 4 is being controlled to a position designated by the user,
When an obstacle is detected by the camera unit or sensor mounted on the flyingobject 4, a predetermined fail-safe operation (may stop on the spot and perform hovering or landing, may return to the position specified immediately before or the position of theuser terminal 2, or may continue flying to avoid the obstacle if the shape of the obstacle can be identified by the three-dimensional point cloud data) or an alert display may be executed. In addition, for example, in the case of a positional relationship as shown in FIG. 11, the object itself at the position specified by the user may become an obstacle, so a predetermined fail-safe operation (particularly, when changing the flight path, a route that goes around the object or a route that goes beyond the sky side may be generated using the three-dimensional point cloud data) or an alert display may be executed. Furthermore, for example, color information may be determined by the camera unit mounted on the flyingobject 4, and a predetermined fail-safe operation or an alert display may be executed when the proportion of pre-registered colors is high (for example, green may be registered in the case where the flying object moves toward grass or leaves, or brown, which is the color of soil on the ground, may be registered).

＜飛行体の制御例２－３＞

上述の飛行体４の制御は、主にユーザが指定した位置まで飛行体４を直進させることを
想定しているが、例えばユーザが位置を指定した際に、予め取得した三次元点群データに
よって、ユーザが指定した位置へ直進した場合に、指定位置よりも前に障害物に衝突する
ことが判別可能な場合には、ユーザが位置を指定した段階で、障害物の形状を三次元点群
データより判別し、それを避ける飛行経路を生成してもよい。また、アラート表示（例え
ば、障害物に衝突してしまう旨や飛行経路を変更した旨など）してもよい。

<Aircraft control example 2-3>

The above-mentioned control of the flyingobject 4 is mainly intended to make the flyingobject 4 fly straight to a position specified by the user, but if it is possible to determine from the three-dimensional point cloud data acquired in advance when the flyingobject 4 flies straight to the position specified by the user when the flyingobject 4 flies straight to the position specified by the user, the shape of the obstacle may be determined from the three-dimensional point cloud data at the stage when the user specifies the position, and a flight path that avoids the obstacle may be generated. Also, an alert may be displayed (for example, to inform the flyingobject 4 that it will fly into an obstacle or that the flight path has been changed).

＜飛行体の制御例３－１＞

上述の実施の形態では、一例として、ユーザ端末２の撮影部２６の撮影画像を基に位置
算出を行う構成を説明していたが、これに代えて、飛行体４の撮影部の撮影画像を基に位
置算出を行うようにしてもよい。この構成は、壁を含む物体を何れの方向でも指定可能な
屋内（例えば、居室内や倉庫内、工場内、ビル内など）において特に効果を発揮し、飛行
体４の撮影部による視点から主観的かつ直感的に、飛行体４の進行方向を指定することが
可能である。なお、例えば、ユーザが指定した位置まで飛行している途中で、飛行体４の
撮影部の方向を変えて、ユーザが位置を再指定することで、飛行体４の進行方向を変更す
るように制御してもよい。

<Aircraft control example 3-1>

In the above embodiment, as an example, a configuration in which position calculation is performed based on an image captured by the image capture unit 26 of theuser terminal 2 has been described. Alternatively, position calculation may be performed based on an image captured by the image capture unit of the flyingobject 4. This configuration is particularly effective indoors (e.g., inside a room, a warehouse, a factory, a building, etc.) where objects including walls can be specified in any direction, and it is possible to subjectively and intuitively specify the traveling direction of the flyingobject 4 from the viewpoint of the image capture unit of the flyingobject 4. Note that, for example, the flyingobject 4 may be controlled to change its traveling direction by changing the direction of the image capture unit of the flyingobject 4 while flying to a position specified by the user, and the user may re-specify the position.

このように、簡易に現場で飛行体の制御が可能な位置算出方法及び飛行体制御方法、情
報処理システムを提供することが可能となる。

In this way, it is possible to provide a position calculation method, an aircraft control method, and an information processing system that enable easy on-site control of an aircraft.

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定
して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良
することができると共に、本発明にはその均等物が含まれることは言うまでもない。

The above-described embodiment is merely an example for facilitating understanding of the present invention, and is not intended to limit the present invention. The present invention can be modified or improved without departing from the spirit of the present invention, and it goes without saying that the present invention includes equivalents thereof.

１ 管理サーバ

２ ユーザ端末

４ 飛行体






1 Management Server

2. User terminal

4. Flying Objects

Claims (7)

Translated fromJapanese

ユーザ端末の画面上で指定された位置の算出方法であって、

前記ユーザ端末の画面上で、撮影部により取得された撮影画像上の所定の位置を指定す
るステップと、

前記所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置、及び、前記所定
の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端末位置情報
を含む撮影状態情報を受信するステップと、

前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次
元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置
への角度及び方位を算出するステップと、

少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度
及び方位を仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座
標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最
初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、
前記仮想空間内の仮想指定位置として算出するステップと、

前記仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係に基づき、前記
仮想指定位置から現実空間上におけるユーザが指定した指定位置の三次元座標位置を算出
するステップと、を含む、

ことを特徴とする位置算出方法。

A method for calculating a position designated on a screen of a user terminal, comprising the steps of:

Specifying a predetermined position on a captured image acquired by an image capturing unit on a screen of the user terminal;

receiving a two-dimensional coordinate position on a screen of the user terminal corresponding to the predetermined position, and shooting state information including at least a shooting angle of view, a shooting angle, a shooting orientation, and user terminal position information when the predetermined position is specified;

Calculating an angle and a direction from the three-dimensional coordinate position indicated by the user terminal position information to a three-dimensional coordinate position corresponding to the two-dimensional coordinate position on a screen of the user terminal based on the two-dimensional coordinate position and the shooting state information;

Corresponding at least the three-dimensional coordinate position indicated by the user terminal position information and the calculated angle and orientation to three-dimensional coordinates in a virtual space, and when a virtual straight line is extended from the three-dimensional coordinate position indicated by the user terminal position information to the calculated angle and orientation, the three-dimensional coordinate position indicated by the point data that first comes into contact with the straight line corresponds to the position specified by the user.
calculating a virtual designated position in the virtual space;

and calculating a three-dimensional coordinate position of a designated position designated by a user in real space from the virtual designated position based on a correspondence relationship between the three-dimensional coordinates in the virtual space and the three-dimensional coordinates in real space.

A position calculation method comprising:

請求項１に記載の位置算出方法であって、

前記点データは、仮想空間内の三次元点群データのうちの一つである、

ことを特徴とする位置算出方法。

2. The position calculation method according to claim 1,

The point data is one of three-dimensional point cloud data in a virtual space.

A position calculation method comprising:

請求項１または２に記載の位置算出方法であって、

前記点データは、飛行体において記憶されている、

ことを特徴とする位置算出方法。

3. The position calculation method according to claim 1, further comprising:

The point data is stored in the aircraft.

A position calculation method comprising:

請求項１または２に記載の位置算出方法であって、

前記点データは、ユーザ端末において記憶されている、

ことを特徴とする位置算出方法。

3. The position calculation method according to claim 1, further comprising:

The point data is stored in a user terminal.

A position calculation method comprising:

請求項１ないし４に記載の位置算出方法であって、

前記撮影部は、ユーザ端末に備えられている、

ことを特徴とする位置算出方法。

5. A position calculation method according to claim 1, further comprising the steps of:

The photographing unit is provided in a user terminal.

A position calculation method comprising:

請求項１ないし４に記載の位置算出方法であって、

前記撮影部は、飛行体に備えられている、

ことを特徴とする位置算出方法。

5. A position calculation method according to claim 1, further comprising the steps of:

The photographing unit is provided on an aircraft.

A position calculation method comprising:

ユーザ端末の画面上で指定された位置を算出する情報処理システムであって、

前記情報処理システムは、撮影部と、指定位置情報取得部と、撮影状態情報受信部と、
位置算出部を備え、

前記指定位置情報取得部は、

前記ユーザ端末の画面上で、前記撮影部により取得された撮影画像上のユーザが指定し
た所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置を取得し、

前記撮影状態情報受信部は、

前記所定の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端
末位置情報を含む撮影状態情報を受信し、

前記位置算出部は、

前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次
元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置
への角度及び方位を算出し、

少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度
及び方位を仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座
標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最
初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、
前記仮想空間内の仮想指定位置として算出し、

前記仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係に基づき、前記
仮想指定位置から現実空間上におけるユーザが指定した指定位置の三次元座標位置を算出
する、

ことを特徴とする情報処理システム。






An information processing system for calculating a position designated on a screen of a user terminal,

The information processing system includes an image capturing unit, a designated position information acquiring unit, an image capturing state information receiving unit,
A position calculation unit is provided,

The designated position information acquisition unit

acquiring, on a screen of the user terminal, a two-dimensional coordinate position on the screen of the user terminal corresponding to a predetermined position designated by the user on the captured image acquired by the imaging unit;

The photographing state information receiving unit is

Receive shooting state information including at least a shooting angle of view, a shooting angle, a shooting direction, and a user terminal position information when the predetermined position is specified;

The position calculation unit is

Calculating an angle and a direction from the three-dimensional coordinate position indicated by the user terminal position information to a three-dimensional coordinate position corresponding to the two-dimensional coordinate position on a screen of the user terminal based on the two-dimensional coordinate position and the shooting state information;

Corresponding at least the three-dimensional coordinate position indicated by the user terminal position information and the calculated angle and orientation to three-dimensional coordinates in a virtual space, and when a virtual straight line is extended from the three-dimensional coordinate position indicated by the user terminal position information to the calculated angle and orientation, the three-dimensional coordinate position indicated by the point data that first comes into contact with the straight line corresponds to the position specified by the user.
Calculate the specified virtual position in the virtual space;

calculating a three-dimensional coordinate position of a designated position designated by a user in real space from the virtual designated position based on a correspondence relationship between the three-dimensional coordinates in the virtual space and the three-dimensional coordinates in real space;

An information processing system comprising:

Images