JP2022124250A

Movatterモバイル変換

Info

Publication number: JP2022124250A
Application number: JP2021021906A
Authority: JP
Inventors: 杰旻周; Jiemin Zhou; 明邵; Ming Shao
Original assignee: SZ DJI Technology Co Ltd
Current assignee: SZ DJI Technology Co Ltd
Priority date: 2021-02-15
Filing date: 2021-02-15
Publication date: 2022-08-25

Abstract

To facilitate execution of calibration processing which removes an influence of reflection by underwater particles.SOLUTION: In a processing device with a processor, the processor controls a calibration device provided in a camera to deviate from a first state in which the calibration device is not included in the visual field of the camera to a second state in which the calibration device is included in the visual field of the camera, and performs calibration processing on the basis of an image picked up by the camera when the calibration device is in the second state.SELECTED DRAWING: Figure 3

Description

Translated fromJapanese

本発明は、処理装置、キャリブレーション方法、カメラおよび水中ドローンに関する。 The present invention relates to a processing device, a calibration method, a camera and an underwater drone.

撮像装置を備えて水中を移動可能な水中ドローンや、防水機能を備えたスポーツカメラ等が存在している。 There are underwater drones equipped with imaging devices that can move underwater, sports cameras with waterproof functions, and the like.

特許文献１には、ケースを介して伝わる振動を緩衝してカメラを保護することができる水中カメラが記載されている。Patent Literature 1 describes an underwater camera that can protect the camera by damping vibrations transmitted through a case.

特許文献２には、水中ドローンを用いた海底探査システムが記載されている。Patent Literature 2 describes an undersea exploration system using an underwater drone.

非特許文献１には、水中でのＲＧＢ－Ｄイメージについて、色を復元するアルゴリズムが記載されている。 Non-PatentDocument 1 describes an algorithm for restoring colors for RGB-D images in water.

特開２０１９－０３５９２１号公報JP 2019-035921 A特開２０１９－０８９４２２号公報JP 2019-089422 A

Derya Akkaynak、"Sea-thru Akkaynak & Treibitz CVPR 2019"、［online］、［令和２年７月３日検索］、インターネット〈URL：https://www.deryaakkaynak.com/sea-thru〉Derya Akkaynak, "Sea-thru Akkaynak & Treibitz CVPR 2019", [online], [searched July 3, 2020], Internet <URL: https://www.deryaakkaynak.com/sea-thru>

水中ドローンが備えた撮像装置やスポーツカメラ等によって水中で静止画や動画を撮像した場合、水中粒子による反射の影響で、撮像された画像中の色が実際の色とずれる問題が生じることがある。撮像画像中の色のずれを、元の色へと復元するためのツールが既に存在している（例えば非特許文献１参照）。 When still images or videos are captured underwater by an imaging device equipped with an underwater drone or a sports camera, there is a problem that the colors in the captured image may differ from the actual colors due to the reflection of particles in the water. . Tools already exist for restoring color shifts in captured images to the original colors (see, for example, Non-Patent Document 1).

水中で撮像された画像（以下、水中撮像画像と称する）から、水中粒子による反射の影響を取り除くためには、キャリブレーション処理が必要である。このキャリブレーション処理を行うには、カメラと被写体との間の距離情報と、水中にある黒い物体（自発光しない物体）についての情報とが必要である。 A calibration process is necessary to remove the influence of reflection by underwater particles from an image captured underwater (hereinafter referred to as an underwater captured image). In order to perform this calibration processing, distance information between the camera and the subject and information on black objects (objects that do not emit light by themselves) in the water are required.

しかしながら、水中ドローンやスポーツカメラ等は水中を移動するので、キャリブレーション処理に必要な上記の情報を常に取得できるとは限らない。そのため、既存技術によっては、水中撮像画像から水中粒子による反射の影響を取り除くキャリブレーション処理を行うのは容易ではなかった。 However, since underwater drones, sports cameras, etc. move underwater, it is not always possible to acquire the above information necessary for calibration processing. Therefore, depending on the existing technology, it was not easy to perform calibration processing to remove the influence of reflection from underwater particles from an underwater captured image.

そこで本開示は、水中撮像画像から水中粒子による反射の影響を取り除くキャリブレーション処理を容易に行うことができる処理装置、キャリブレーション方法、カメラおよび水中ドローンを提供することを目的とする。 Therefore, an object of the present disclosure is to provide a processing device, a calibration method, a camera, and an underwater drone that can easily perform calibration processing for removing the influence of reflection from underwater particles from an underwater captured image.

一態様において、処理装置が備えたプロセッサは、カメラが備えるキャリブレーション装置を、前記キャリブレーション装置が前記カメラの視野に入らない第１状態から、前記キャリブレーション装置が前記カメラの視野に入る第２状態へと変位させるように制御し、前記キャリブレーション装置が前記第２状態にある時に前記カメラが撮像した撮像画像に基づいて、キャリブレーション処理を行う。 In one aspect, a processor included in a processing device changes a calibration device included in a camera from a first state in which the calibration device is out of the field of view of the camera to a second state in which the calibration device is in the field of view of the camera. state, and performs calibration processing based on an image captured by the camera when the calibration device is in the second state.

上記構成において、前記カメラは水中での撮像が可能であり、前記キャリブレーション処理は、前記カメラが撮像した撮像画像から、水中粒子による反射の影響を取り除く為に行われてよい。 In the above configuration, the camera is capable of capturing an image underwater, and the calibration processing may be performed to remove the influence of reflection due to underwater particles from the captured image captured by the camera.

上記構成において、前記プロセッサは、前記キャリブレーション装置が前記第２状態にある時に前記カメラが撮像した撮像画像に映り込んだ前記キャリブレーション装置のデプス情報を算出し、算出された前記デプス情報に基づいて、前記キャリブレーション処理を実行してよい。 In the above configuration, the processor calculates depth information of the calibration device reflected in the captured image captured by the camera when the calibration device is in the second state, and calculates depth information based on the calculated depth information. Then, the calibration process may be executed.

上記構成において、前記キャリブレーション装置が伸長可能な棒状を呈してよい。 In the above configuration, the calibration device may have an extendable bar shape.

上記構成において、前記キャリブレーション装置は黒色であってよい。 In the above configuration, the calibration device may be black.

上記構成において、前記キャリブレーション装置は、前記第２状態において、前記撮像画像の端部から中央部へと向かって伸長するように映り込む位置に配置されていてよい。 In the above configuration, in the second state, the calibration device may be arranged at a position where it is reflected in the captured image so as to extend from the end toward the center.

一態様において、プロセッサを備えた処理装置による、カメラのキャリブレーション方法は、前記プロセッサが、前記カメラが備えるキャリブレーション装置を、前記キャリブレーション装置が前記カメラの視野に入らない第１状態から、前記キャリブレーション装置が前記カメラの視野に入る第２状態へと変位させるように制御するステップと、前記プロセッサが、前記キャリブレーション装置が前記第２状態にある時に前記カメラが撮像した撮像画像に基づいて、キャリブレーション処理を行うステップと、を有する。 In one aspect, a method for calibrating a camera by a processing device having a processor includes: the processor calibrating a calibration device provided to the camera from a first state in which the calibration device is not in the field of view of the camera; controlling the calibration device to be displaced to a second state in which the calibration device is in the field of view of the camera; , and performing a calibration process.

一態様において、カメラが上述の処理装置および上述のキャリブレーション装置を備える。 In one aspect, a camera comprises the processing device described above and the calibration device described above.

一態様において、水中ドローンが上述のカメラを備える。 In one aspect, an underwater drone comprises a camera as described above.

上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The above summary of the present invention is not an exhaustive list of all features of the present disclosure. Subcombinations of these feature groups can also be inventions.

本開示は、水中粒子による反射の影響を取り除くキャリブレーション処理を容易に行うことができる処理装置、キャリブレーション方法、カメラおよび水中ドローンを提供できる。 INDUSTRIAL APPLICABILITY The present disclosure can provide a processing device, a calibration method, a camera, and an underwater drone that can easily perform calibration processing for removing the influence of reflections caused by underwater particles.

本開示の一実施形態に係る処理装置１の一例を示す概念図1 is a conceptual diagram showing an example of aprocessing device 1 according to an embodiment of the present disclosure; FIG.処理装置１を備えたカメラ２の一例を示す模式図Schematic diagram showing an example of acamera 2 provided with aprocessing device 1カメラ２のキャリブレーション装置２２を伸長させた状態を示す模式図Schematic diagram showing a state in which thecalibration device 22 of thecamera 2 is extended.キャリブレーション装置２２を伸長させたカメラ２についての、各パラメータを示す模式図Schematic diagram showing each parameter of thecamera 2 with thecalibration device 22 extended.処理装置１が実行するキャリブレーションの一例を示すフローチャートFlowchart showing an example of calibration executed by theprocessing device 1水中撮像画像にキャリブレーション装置２２が映り込んだ状態を示す概念図FIG. 4 is a conceptual diagram showing a state in which thecalibration device 22 is reflected in an underwater captured image;水中撮像画像から水中粒子による影響を取り除く処理の一例を示すフローチャートFlowchart showing an example of processing for removing the influence of underwater particles from an underwater captured image

以下、発明の実施の形態を通じて本開示を説明するが、以下の実施の形態は特許請求の
範囲に係る発明を限定するものではない。実施の形態の中で説明されている特徴の組み合
わせの全てが発明の解決手段に必須とは限らない。Hereinafter, the present disclosure will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. Not all combinations of features described in the embodiments are essential for the solution of the invention.

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項
が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル
又はレコードに表示される通りであれば異議を唱えない。但し、それ以外の場合、一切の
著作権を留保する。The claims, specification, drawings, and abstract contain material that is subject to copyright protection. The copyright owner has no objection to the facsimile reproduction by any person of these documents as they appear in the Patent Office files or records. However, otherwise, all copyrights are reserved.

（実施形態）
以下の実施形態では、理解を容易とするため、水中で用いることが可能なスポーツカメラで水中を撮像するという前提で本開示を詳述する。しかしながら、これにより特許請求の範囲に記載の主題を限定することは意図されていない。例えば、カメラは、水中を移動可能な移動体の一つである水中ドローンに搭載された撮像装置であってもよい。(embodiment)
In the following embodiments, in order to facilitate understanding, the present disclosure will be described in detail on the premise that an underwater image is captured by a sports camera that can be used underwater. It is not intended, however, to limit the claimed subject matter thereby. For example, the camera may be an imaging device mounted on an underwater drone, which is one of mobile bodies that can move underwater.

図１は、本開示の一実施形態に係る処理装置１の一例を示す概念図である。処理装置１は、プロセッサ１１とメモリ１２とを備える。 FIG. 1 is a conceptual diagram showing an example of aprocessing device 1 according to an embodiment of the present disclosure. Theprocessing device 1 comprises aprocessor 11 and amemory 12 .

プロセッサ１１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成される。 Theprocessor 11 is configured using, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a DSP (Digital Signal Processor).

メモリ１２は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ１２は、各種プログラムや、各種プログラムが用いるデータを格納する。 Thememory 12 may be a computer-readable recording medium such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), and At least one flash memory such as a USB (Universal Serial Bus) memory may be included. Thememory 12 stores various programs and data used by the various programs.

本実施の形態においては、メモリ１２はキャリブレーションプログラム１２１を格納している。メモリ１２に格納されたキャリブレーションプログラム１２１をプロセッサ１１が実行することにより、後述のキャリブレーション処理（図５参照）や、水中粒子による反射の影響を除去する処理（図７参照）等が行われる。 In this embodiment,memory 12stores calibration program 121 . By executing thecalibration program 121 stored in thememory 12 by theprocessor 11, a calibration process (see FIG. 5), which will be described later, and a process for removing the influence of reflection due to particles in water (see FIG. 7) are performed. .

なお、図示は省略するが、処理装置１はプロセッサ１１とメモリ１２以外の構成要素を備えていてもよい。例えば、処理装置１は、処理装置１の外部との情報通信を行う通信インターフェース、距離センサや温度センサ等の各種センサ、ユーザが情報を入力するボタンやマウス、キーボード、マイク等の入力装置、ユーザに情報を出力するディスプレイやスピーカ等の出力装置等をさらに備えていてもよい。 Although illustration is omitted, theprocessing device 1 may include components other than theprocessor 11 and thememory 12 . For example, theprocessing device 1 includes a communication interface that performs information communication with the outside of theprocessing device 1, various sensors such as a distance sensor and a temperature sensor, input devices such as buttons, a mouse, a keyboard, and a microphone for the user to input information, and a user interface. An output device such as a display or a speaker for outputting information to the device may be further provided.

図２は、処理装置１を備えたカメラ２の一例を示す模式図である。図３は、カメラ２のキャリブレーション装置２２を伸長させた状態を示す模式図である。図２および図３に基づいて、カメラの構成例と、キャリブレーション装置２２の変位について説明する。 FIG. 2 is a schematic diagram showing an example of thecamera 2 provided with theprocessing device 1. As shown in FIG. FIG. 3 is a schematic diagram showing a state in which thecalibration device 22 of thecamera 2 is extended. A configuration example of the camera and the displacement of thecalibration device 22 will be described with reference to FIGS. 2 and 3. FIG.

本実施の形態においては、カメラ２は防水機能を有するスポーツカメラである。カメラ２は、例えば水中ドローンが備える撮像装置であってもよい。カメラ２は、水中を撮像可能である。カメラ２は、本体２０と、レンズ２１と、後述のキャリブレーション装置２２とを備える。図２および図３はさらに、カメラ２の視野ＦＯＶを例示的に示している。 In this embodiment, thecamera 2 is a waterproof sports camera. Thecamera 2 may be, for example, an imaging device provided in an underwater drone. Thecamera 2 is capable of imaging underwater. Thecamera 2 includes amain body 20, alens 21, and acalibration device 22 which will be described later. 2 and 3 also exemplarily show the field of view FOV of thecamera 2. FIG.

カメラ２は、図１に示されている処理装置１を内蔵してよい。一方、カメラ２は、処理装置１が備えている各構成要素を別個に備えていてもよい。 Thecamera 2 may incorporate theprocessing unit 1 shown in FIG. On the other hand, thecamera 2 may have each component included in theprocessing device 1 separately.

本実施の形態ではスポーツカメラであるカメラ２は、図示を省略するシャッターボタンを備えている。カメラ２が水中にある状態で、ユーザがシャッターボタンを押すことにより、カメラ２が水中を撮像する。ただし、カメラ２は遠隔操作が可能なタイプのものであってもよい。例えば陸上に居るユーザが、図示を省略するスマートフォン等の携帯端末やコントローラ等を操作することにより、操作信号がカメラ２へと伝送され、操作信号を受信したカメラ２が水中を撮像してもよい。 Thecamera 2, which is a sports camera in this embodiment, has a shutter button (not shown). When the user presses the shutter button while thecamera 2 is underwater, thecamera 2 takes an underwater image. However, thecamera 2 may be of a type that can be operated remotely. For example, a user on land may operate a mobile terminal such as a smartphone, a controller, or the like (not shown) to transmit an operation signal to thecamera 2, and thecamera 2 that receives the operation signal may capture an underwater image. .

本体２０は、カメラ２が有する各構成要素を保持する。カメラ２が有する各構成要素には、例えば、撮像制御部、撮像素子、メモリ、加速度センサ、シャッタ駆動部、ゲイン制御部、フラッシュ等が含まれ得る。これらはカメラの構成要素として一般的なものであってよいため、図示と詳しい説明とを省略する。本体２０は、カメラ２に内蔵された各構成要素を水から保護する防水機能を備えている。 Themain body 20 holds each component of thecamera 2 . Components of thecamera 2 may include, for example, an imaging control section, an imaging device, a memory, an acceleration sensor, a shutter driving section, a gain control section, a flash, and the like. Since these elements may be common constituent elements of a camera, illustration and detailed description thereof are omitted. Themain body 20 has a waterproof function to protect each component built in thecamera 2 from water.

レンズ２１は、本体２０から取り外し可能なものであっても、本体２０と一体型のものであってもよい。レンズ２１を通って入射した光は、撮像素子の撮像面上に結像する。撮像素子は、撮像面上に結像した光学像を光電変換し、画像信号として出力する。撮像素子には、ＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補型ＭＯＳ）イメージセンサが用いられてよい。なお、カメラ２は、視野ＦＯＶの範囲内にある被写体を撮像可能である。カメラ２によって撮像可能な領域を、以下、撮像領域と表現する。 Thelens 21 may be detachable from themain body 20 or integrated with themain body 20 . Light incident through thelens 21 forms an image on the imaging surface of the imaging element. The imaging device photoelectrically converts an optical image formed on the imaging surface and outputs the result as an image signal. A CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor may be used as the imaging device. Note that thecamera 2 can capture an image of a subject within the range of the field of view FOV. An area that can be imaged by thecamera 2 is hereinafter referred to as an imaging area.

本実施の形態において、処理装置１はカメラ２に内蔵されている。しかし、処理装置１はカメラ２の外側にあり、処理装置１とカメラ２とがデータ通信可能に接続されていてもよい。 In this embodiment, theprocessing device 1 is built into thecamera 2 . However, theprocessing device 1 may be located outside thecamera 2, and theprocessing device 1 and thecamera 2 may be connected for data communication.

キャリブレーション装置２２は、カメラ２の視野ＦＯＶに入らない第１状態から、カメラ２の視野ＦＯＶに入る第２状態へと変位可能な装置である。図２は、第１状態にあるキャリブレーション装置２２を図示しており、図３は、第２状態にあるキャリブレーション装置２２を図示している。なお、カメラ２が通常の撮像を行う際には、キャリブレーション装置２２を第１状態へと変位させる。カメラ２が後述のキャリブレーション処理を行う際には、キャリブレーション装置２２を第２状態へと変位させる。処理装置１のプロセッサ１１が、キャリブレーション装置２２の第１状態と第２状態との間の変位を制御する。 Thecalibration device 22 is a device that can be displaced from a first state out of the field of view FOV of thecamera 2 to a second state of the field of view FOV of thecamera 2 . Figure 2 illustrates thecalibration device 22 in a first state and Figure 3 illustrates thecalibration device 22 in a second state. Note that when thecamera 2 performs normal imaging, thecalibration device 22 is displaced to the first state. When thecamera 2 performs calibration processing, which will be described later, thecalibration device 22 is displaced to the second state. Aprocessor 11 of theprocessing device 1 controls the displacement of thecalibration device 22 between the first state and the second state.

本実施の形態においては、キャリブレーション装置２２は、伸長可能な黒色の棒状を呈する。なお、キャリブレーション装置２２と視野ＦＯＶと間の交差と、図４に示す各種パラメータを明確に表示するため、黒色の棒状を呈するキャリブレーション装置を図中では白抜きで表現している。 In this embodiment, thecalibration device 22 has the shape of an extendable black bar. In order to clearly display the intersection between thecalibration device 22 and the field of view FOV and the various parameters shown in FIG. 4, the black rod-shaped calibration device is represented in white in the drawing.

図２と図３とを対比すればわかるように、キャリブレーション装置２２が第１状態から第２状態へと変位すると、キャリブレーション装置２２は、カメラ２の視野ＦＯＶを通り抜けるように伸長する。 As can be seen by comparing FIGS. 2 and 3, when thecalibration device 22 is displaced from the first state to the second state, thecalibration device 22 extends through the field of view FOV of thecamera 2 .

なお、本実施の形態においては、キャリブレーション装置２２はカメラ２の下部中央からカメラ２の前方に向かって伸長するように構成されている。ただし、キャリブレーション装置２２の形状、構造、および位置はこれには限定されない。キャリブレーション装置２２は、例えば、複数の黒いアームを１以上の関節で接続した、折り畳み形状のものであってよい。 In this embodiment, thecalibration device 22 is configured to extend from the center of the lower portion of thecamera 2 toward the front of thecamera 2 . However, the shape, structure, and position of thecalibration device 22 are not limited to this. The calibratingdevice 22 may be, for example, a folding shape with a plurality of black arms connected by one or more joints.

図４は、キャリブレーション装置２２を伸長させたカメラ２についての、各パラメータを示す模式図である。仮に図４の上方向を実際の上方向とした時に、レンズ２１の中心Ｏから降ろした線とキャリブレーション装置２２との交点を点Ａとする。また、視野ＦＯＶがキャリブレーション装置２２とぶつかる点を点Ｂとする。キャリブレーション装置２２の、カメラ２に固定されている端とは反対側の先端を、点Ｃとする。 FIG. 4 is a schematic diagram showing each parameter of thecamera 2 with thecalibration device 22 extended. Assuming that the upward direction in FIG. 4 is the actual upward direction, point A is the intersection of a line drawn from the center O of thelens 21 and thecalibration device 22 . A point B is a point where the field of view FOV collides with thecalibration device 22 . A point C is the tip of thecalibration device 22 opposite to the end fixed to thecamera 2 .

レンズ２１の中心Ｏから点Ａまでの距離（高さ）Ｈは、カメラ２にとって既知の値である。距離Ｈは、例えば、カメラ２の製造時に定まる値である。なお、レンズ２１が本体２０から取り外し可能なタイプのものである場合は、カメラ２の図示を省略するレンズマウンタに取付けられたレンズ２１の識別情報等をカメラ２が取得し、本体２０に対するレンズ２１の中心Ｏの相対位置をカメラ２が算出することができる。そのため、レンズ２１が取り外し可能なタイプのものである場合も、距離Ｈをカメラ２にとって既知の値とすることができる。 A distance (height) H from the center O of thelens 21 to the point A is a known value for thecamera 2 . The distance H is, for example, a value determined when thecamera 2 is manufactured. If thelens 21 is removable from themain body 20, thecamera 2 acquires the identification information of thelens 21 mounted on a lens mounter (not shown) of thecamera 2, and thelens 21 is attached to themain body 20. Thecamera 2 can calculate the relative position of the center O of . Therefore, even if thelens 21 is of the detachable type, the distance H can be a known value for thecamera 2 .

キャリブレーション装置２２のカメラ２に固定されている端から点Ａまでの距離Ｌ０は、カメラ２にとって既知の値である。レンズ２１が取り外し可能なタイプのものである場合も、上述の距離Ｈと同様に、距離Ｌ０をカメラ２にとって既知の値とすることができる。また、キャリブレーション装置２２のカメラ２に固定されている端から、その反対側の端である点Ｃまでの距離Ｌもまた、カメラ２にとって既知の値である。 The distance L0 from the end of thecalibration device 22 fixed to thecamera 2 to the point A is a known value for thecamera 2 . Even if thelens 21 is of the detachable type, the distance L0 can be a value known to thecamera 2, similar to the distance H described above. Also, the distance L from the end of thecalibration device 22 fixed to thecamera 2 to the opposite end, the point C, is also a known value for thecamera 2 .

点Ａから点Ｂまでの距離Ｌ１の値は、プロセッサ１１が下記の計算式を計算することにより取得することができる。
Ｌ１＝ｃｔｇ（θ_ＦＯＶ）＊Ｈ
ここでθ_ＦＯＶは、線分ＯＢと、点Ｏを通る光軸との間のなす角である。The value of the distance L1 from the point A to the point B can be obtained by theprocessor 11 calculating the following formula.
L1=ctg(_θFOV )*H
where_θFOV is the angle between the line segment OB and the optical axis passing through the point O.

点Ｂから点Ｃまでの距離Ｌ２の値は、プロセッサ１１が描きの計算式を計算することにより取得することができる。
Ｌ２＝Ｌ－Ｌ１－Ｌ０The value of the distance L2 from the point B to the point C can be obtained by theprocessor 11 calculating the drawing formula.
L2=L-L1-L0

従ってプロセッサ１１は、カメラ２にとって既知の値に基づいて、距離Ｈ、距離Ｌ、距離Ｌ０、距離Ｌ１、および距離Ｌ２の全ての値を取得することができる。 Therefore,processor 11 can obtain all values of distance H, distance L, distance L0, distance L1, and distance L2 based on values known tocamera 2 .

図５は、処理装置１が実行するキャリブレーションの一例を示すフローチャートである。以下、処理装置１が備えるプロセッサ１１が、各処理を実行する前提で説明する。ただし、各処理の実行主体は、処理装置１が備えるプロセッサ１１以外でもよい。 FIG. 5 is a flow chart showing an example of calibration performed by theprocessing device 1 . The following description is based on the premise that theprocessor 11 included in theprocessing device 1 executes each process. However, the execution subject of each process may be other than theprocessor 11 included in theprocessing device 1 .

ユーザがカメラ２のシャッターボタンを半押しする等の操作を行うことにより、プロセッサ１１は、ユーザからのキャリブレーション開始リクエストを受け付ける（Ｓｔ５０１）。 When the user performs an operation such as half-pressing the shutter button of thecamera 2, theprocessor 11 receives a calibration start request from the user (St501).

プロセッサ１１は、キャリブレーション装置２２を、第１状態から第２状態へと変位させるように制御する（Ｓｔ５０２）。本実施の形態では、プロセッサ１１が発出する制御信号に基づいて、キャリブレーション装置２２が伸長し、図２に示されている第１状態から、図３に示されている第２状態へと変位する。 Theprocessor 11 controls thecalibration device 22 to be displaced from the first state to the second state (St502). In this embodiment, based on the control signal issued by theprocessor 11, thecalibration device 22 expands and shifts from the first state shown in FIG. 2 to the second state shown in FIG. do.

プロセッサ１１は、距離Ｌ１および距離Ｌ２の値を算出する（Ｓｔ５０３）。Processor 11 calculates the values of distance L1 and distance L2 (St503).

プロセッサ１１は、算出された距離Ｌ１および距離Ｌ２の値に基づいて、キャリブレーション処理を実行する（Ｓｔ５０４）。なお、このキャリブレーション処理は、例えば非特許文献１にて用いられているような既存のアルゴリズムに従って行われてよい。Processor 11 executes calibration processing based on the calculated values of distance L1 and distance L2 (St504). Note that this calibration process may be performed according to an existing algorithm such as that used inNon-Patent Document 1, for example.

図６は、水中撮像画像にキャリブレーション装置２２が映り込んだ状態を示す概念図である。カメラ２が撮像したキャリブレーション用の撮像画像ＩＭＧには、第２状態にあるキャリブレーション装置２２が映り込んでいる。撮像画像ＩＭＧはカメラ２の視野ＦＯＶに対応している。本実施の形態において、第２状態にあるキャリブレーション装置２２は、撮像画像ＩＭＧの下側の端部から中央部へと向かって伸長するように映り込む。 FIG. 6 is a conceptual diagram showing a state in which thecalibration device 22 is reflected in an underwater captured image. Thecalibration device 22 in the second state is reflected in the captured image IMG for calibration captured by thecamera 2 . The captured image IMG corresponds to the field of view FOV of thecamera 2 . In the present embodiment,calibration device 22 in the second state is reflected in imaged image IMG so as to extend from the lower end toward the center.

プロセッサ１１は、撮像画像ＩＭＧに映り込んだキャリブレーション装置２２のデプス情報を算出する。なお、撮像画像ＩＭＧの下端に映り込んだ点Ｂについて、カメラ２からの距離を示すデプス（ｄｅｐｔｈ）の値はＬ１である。この値Ｌ１は、プロセッサ１１が上述の数式に基づいて算出することができる。また、撮像画像ＩＭＧの中央やや下寄りに映り込んだ点Ｃについて、カメラ２からの距離を示すデプス（ｄｅｐｔｈ）の値はＬ１＋Ｌ２である。プロセッサ１１は上述の数式に基づいて値Ｌ１とＬ２をそれぞれ算出できるため、同様に、Ｌ１＋Ｌ２の値も算出することができる。 Theprocessor 11 calculates depth information of thecalibration device 22 reflected in the captured image IMG. Note that the depth value indicating the distance from thecamera 2 to the point B reflected at the lower end of the captured image IMG is L1. This value L1 can be calculated by theprocessor 11 based on the above formula. Further, the value of the depth indicating the distance from thecamera 2 is L1+L2 for the point C reflected slightly below the center of the captured image IMG. Since theprocessor 11 can calculate the values L1 and L2 respectively based on the above formula, it can similarly calculate the value of L1+L2.

すなわち、キャリブレーション装置２２を第２状態に変位させることにより、プロセッサ１１は、キャリブレーション処理を行うのに必要な、カメラ２と被写体との間の距離情報と、水中にある黒い物体（キャリブレーション装置２２）についての情報とを取得することができる。 That is, by displacing thecalibration device 22 to the second state, theprocessor 11 obtains the distance information between thecamera 2 and the subject and black objects in the water (calibration Information about the device 22) can be obtained.

図７は、水中撮像画像から水中粒子による影響を取り除く処理の一例を示すフローチャートである。以下、処理装置１が備えるプロセッサ１１が各処理を実行する前提で説明する。ただし、各処理の実行主体は、処理装置１が備えるプロセッサ１１以外でもよい。 FIG. 7 is a flowchart showing an example of processing for removing the influence of underwater particles from an underwater captured image. The following description assumes that theprocessor 11 included in theprocessing device 1 executes each process. However, the execution subject of each process may be other than theprocessor 11 included in theprocessing device 1 .

ユーザが、半押状態であったカメラ２のシャッターボタンをさらに押し込む等の操作を行うことにより、カメラ２が撮像を開始する（Ｓｔ７０１）。 When the user further presses the half-pressed shutter button of thecamera 2, thecamera 2 starts imaging (St701).

プロセッサ１１は、ステップＳｔ７０１で撮像された撮像画像に映る各部分のデプス（距離）を算出する（Ｓｔ７０２）。例えばプロセッサ１１は、撮像画像ＩＭＧに映り込んだ被写体ＯＢＪ１およびＯＢＪ２のデプス（距離）を算出する。被写体を含む各部分のデプス（距離）の算出には、距離センサやステレオ画像等の、既存の手段が用いられてよい。 Theprocessor 11 calculates the depth (distance) of each portion appearing in the captured image captured in step St701 (St702). For example, theprocessor 11 calculates the depth (distance) of the objects OBJ1 and OBJ2 reflected in the captured image IMG. An existing means such as a distance sensor or a stereo image may be used to calculate the depth (distance) of each part including the subject.

プロセッサ１１は、ステップＳｔ７０２で取得したデプス情報に基づいて、撮像画像ＩＭＧから水中粒子による反射の影響を取り除く（Ｓｔ７０３）。水中粒子による反射の影響を取り除くためのアルゴリズムは、例えば非特許文献１に記載されているような既存のものが用いられてよい。 Based on the depth information acquired in step St702, theprocessor 11 removes the influence of reflection by underwater particles from the captured image IMG (St703). An existing algorithm, such as that described inNon-Patent Document 1, for example, may be used to remove the effects of reflections due to particles in water.

以上のようにして、本開示の実施形態に係る処理装置１は、カメラ２による撮像画像ＩＭＧから水中粒子による反射の影響を容易に取り除くことができる。 As described above, theprocessing device 1 according to the embodiment of the present disclosure can easily remove the influence of reflection due to underwater particles from the image IMG captured by thecamera 2 .

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。 Various embodiments have been described above with reference to the drawings, but it goes without saying that the present invention is not limited to such examples. It is obvious that a person skilled in the art can conceive of various modifications or modifications within the scope described in the claims, and these also belong to the technical scope of the present invention. Understood. Moreover, each component in the above embodiments may be combined arbitrarily without departing from the spirit of the invention.

特許請求の範囲、明細書、及び図面中において示した装置、方法、およびプログラムにおける動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The execution order of each processing such as actions, procedures, steps, and stages in the devices, methods, and programs shown in the claims, the specification, and the drawings is particularly "before", "before", etc. Unless explicitly stated that the output of the previous process is used in the subsequent process, it can be implemented in any order. Regarding the operation flow in the claims, specification, and drawings, even if "first", "next", etc. are used for convenience, it does not mean that it is essential to perform in this order. do not have.

本開示は、水中粒子による反射の影響を取り除くキャリブレーション処理を容易に行うことができる処理装置、キャリブレーション方法、カメラおよび水中ドローンとして有用である。 INDUSTRIAL APPLICABILITY The present disclosure is useful as a processing device, a calibration method, a camera, and an underwater drone that can easily perform calibration processing for removing the influence of reflections caused by underwater particles.

１処理装置
１１プロセッサ
１２メモリ
１２１キャリブレーションプログラム
２カメラ
２０本体
２１レンズ
２２キャリブレーション装置
ＩＭＧ撮像画像
ＯＢＪ１、ＯＢＪ２被写体1 processingdevice 11processor 12memory 121calibration program 2camera 20body 21lens 22 calibration device IMG captured images OBJ1 and OBJ2 subject

Claims

Translated fromJapanese

プロセッサを備えた処理装置であって、
前記プロセッサは、カメラが備えるキャリブレーション装置を、前記キャリブレーション装置が前記カメラの視野に入らない第１状態から、前記キャリブレーション装置が前記カメラの視野に入る第２状態へと変位させるように制御し、
前記キャリブレーション装置が前記第２状態にある時に前記カメラが撮像した撮像画像に基づいて、キャリブレーション処理を行う、
処理装置。A processing device comprising a processor,
The processor controls a calibration device provided in a camera to be displaced from a first state in which the calibration device is out of the field of view of the camera to a second state in which the calibration device is in the field of view of the camera. death,
performing a calibration process based on an image captured by the camera when the calibration device is in the second state;
processing equipment.

前記カメラは水中での撮像が可能であり、
前記キャリブレーション処理は、前記カメラが撮像した撮像画像から、水中粒子による反射の影響を取り除く為に行われる、
請求項１に記載の処理装置。The camera is capable of imaging underwater,
The calibration process is performed to remove the influence of reflection by underwater particles from the captured image captured by the camera.
2. The processing apparatus of claim 1.

前記プロセッサは、前記キャリブレーション装置が前記第２状態にある時に前記カメラが撮像した撮像画像に映り込んだ前記キャリブレーション装置のデプス情報を算出し、算出された前記デプス情報に基づいて、前記キャリブレーション処理を実行する、
請求項１または請求項２に記載の処理装置。The processor calculates depth information of the calibration device reflected in the captured image captured by the camera when the calibration device is in the second state, and performs the calibration based on the calculated depth information. run the application process,
3. The processing apparatus according to claim 1 or 2.

前記キャリブレーション装置が伸長可能な棒状を呈する、請求項１から請求項３のうちいずれか一項に記載の処理装置。 4. A processing device according to any one of claims 1 to 3, wherein the calibration device presents the shape of an extendable rod.

前記キャリブレーション装置は黒色である、請求項４に記載の処理装置。 5. The processing device of claim 4, wherein said calibration device is black.

前記キャリブレーション装置は、前記第２状態において、前記撮像画像の端部から中央部へと向かって伸長するように映り込む位置に配置されている、請求項４または請求項５に記載の処理装置。 6. The processing device according to claim 4, wherein in the second state, the calibration device is arranged at a position in which the imaged image is projected so as to extend from an end portion toward a central portion thereof. .

プロセッサを備えた処理装置による、カメラのキャリブレーション方法であって、
前記プロセッサが、前記カメラが備えるキャリブレーション装置を、前記キャリブレーション装置が前記カメラの視野に入らない第１状態から、前記キャリブレーション装置が前記カメラの視野に入る第２状態へと変位させるように制御するステップと、
前記プロセッサが、前記キャリブレーション装置が前記第２状態にある時に前記カメラが撮像した撮像画像に基づいて、キャリブレーション処理を行うステップと、
を有する、カメラのキャリブレーション方法。A camera calibration method by a processing device comprising a processor, comprising:
The processor displaces a calibration device provided by the camera from a first state in which the calibration device is not in the field of view of the camera to a second state in which the calibration device is in the field of view of the camera. a controlling step;
a step in which the processor performs calibration processing based on an image captured by the camera when the calibration device is in the second state;
A method for calibrating a camera, comprising:

請求項１から請求項６のうちいずれか一項に記載の処理装置および前記キャリブレーション装置を備えたカメラ。 A camera comprising the processing device according to any one of claims 1 to 6 and the calibration device.

請求項８に記載のカメラを備えた水中ドローン。 An underwater drone comprising the camera according to claim 8.