본 발명은 다이아몬드 아루코 마커를 이용한 드론 착륙지점의 3차원 좌표 추정 방법 및 이를 실행하는 시스템에 관한 것이다.The present invention relates to a method for estimating three-dimensional coordinates of a drone landing point using a diamond Aruko marker and a system for executing the same.
최근 세계적으로 UAV 시장 성장에 따라 관련 센서 및 항법 시스템 기반 시장도 동반 성장되었다.With the recent global growth of the UAV market, the market for related sensors and navigation systems has also grown.
이러한 성장은 UAV 비행 및 미션 수행의 핵심적인 요소이다. 수년 동안 유인 및 무인 항공기의 항법은 GPS와 같은 표준 항법 센서를 기반으로 한다.This growth is a key element of UAV flight and mission performance. For years, navigation for manned and unmanned aircraft has relied on standard navigation sensors like GPS.
드론으로 수행하는 미션의 종류가 다양해짐에 따라 목표 플랫폼에 여러 상황에서 정밀한 착륙을 목적으로 하는 UAV 관련 기술의 관심이 더욱 증대되었다.As the types of missions performed by drones become more diverse, interest in UAV-related technologies aimed at precise landings on target platforms in various situations has increased.
수년간 표준으로 제시된 GPS 항법 기술은 위치 지정에서 높은 정확도를 요구하는 이러한 특정 목적에 대해 신뢰성이 낮다. 정확도의 신뢰도를 높이기 위해 제시된 다른 방법은 컴퓨터 비전을 기반으로 한다.GPS navigation technology, which has been the standard for many years, is unreliable for these specific purposes, which require high accuracy in positioning. Another method proposed to improve accuracy relies on computer vision.
여기서, 마커 인식을 이용한 드론 자동제어는 이전에도 많이 연구되었으며, 드론이 운전 중 카메라로 마커를 인식하여 자동적으로 다양한 동작을 제어할 수 있었다.Here, automatic drone control using marker recognition has been studied extensively in the past, and drones can recognize markers with a camera while driving and automatically control various movements.
마커 인식은 디지털 이미지 프로세싱 기술과 연결되어 OpenCV CxImage 등과 같은 많은 라이브러리를 만들어 냈으며, 드론뿐만 아니라 다른 응용 어플리케이션과 연계되어 발명되고 있었다.Marker recognition is linked to digital image processing technology, which has led to the creation of many libraries such as OpenCV CxImage, and is being developed in conjunction with other applications as well as drones.
또한, 드론제어는 이전부터 드론의 잠재성을 인정받아 무선통신을 통한 자동제어 연구가 꾸준히 이루어지고 있다.In addition, drone control has been continuously researched through wireless communication as the potential of drones has been recognized.
다만, 기존의 마커인식 기반의 드론 자동 제어는 마커가 자연적/비자연적 요인에 의해 그림자가 지거나 드론의 카메라 상에 맺히는 이미지가 기울어져 시야각이 좁아질 경우 등에 마커 인식률이 현저히 떨어져 정확한 제어할 수 없다는 단점이 존재하였다.However, the existing marker recognition-based drone automatic control has a disadvantage in that the marker recognition rate drops significantly and accurate control is not possible when the marker casts a shadow due to natural/unnatural factors or the image formed on the drone's camera is tilted, narrowing the field of view.
본 발명이 해결하고자 하는 과제는 종래의 문제점을 해결할 수 있는 다이아몬드 아루코 마커를 이용한 드론 착륙지점의 3차원 좌표 추정 방법 및 이를 실행하는 시스템을 제공하는 데 그 목적이 있다.The purpose of the present invention is to provide a method for estimating three-dimensional coordinates of a drone landing point using a diamond Aruko marker that can solve conventional problems, and a system for executing the same.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 다이아몬드 아루코 마커를 이용한 드론 착륙지점의 3차원 좌표 추정 방법은 드론의 프로세서에서 기 설정된 목표지점에 배치된 다이아몬드 마커를 촬영한 촬영영상으로부터 드론과 상기 다이아몬드 마커 간의 실제 거리를 산출하여 상기 다이아몬드 마커의 2차원 좌표를 산출하는 단계; 상기 프로세서에서 드론 좌표계, 짐볼 좌표계, 글로벌 좌표계, 상기 다이아몬드 마커의 2차원 좌표를 기초로 착륙 로컬 좌표계를 생성하는 단계; 상기 프로세서에서 다이아몬드 마커 이미지 내에서 적어도 2개 이상의 식별자(3차원 좌표)를 인식하는 단계; 상기 프로세서에서 인식된 적어도 2개 이상의 식별자의 3차원 좌표(x,y,z)의 각 축 평균값을 산출 또는 추정하는 단계; 및 상기 프로세서에서 산출 또는 추정된 3차원 좌표(x,x,z)의 각 축 평균값을 갖는 3차원 좌표의 해당지점을 착륙지점으로 인식하는 단계를 포함한다.In order to solve the above problem, a method for estimating a three-dimensional coordinate of a drone landing point using a diamond Aruco marker according to an embodiment of the present invention includes the steps of calculating an actual distance between a drone and a diamond marker from an image taken of a diamond marker placed at a preset target point by a processor of a drone to calculate two-dimensional coordinates of the diamond marker; generating a landing local coordinate system based on a drone coordinate system, a gimbal coordinate system, a global coordinate system, and the two-dimensional coordinates of the diamond marker by the processor; recognizing at least two identifiers (three-dimensional coordinates) in an image of a diamond marker by the processor; calculating or estimating an average value of each axis of the three-dimensional coordinates (x, y, z) of the at least two identifiers recognized by the processor; and recognizing a corresponding point of a three-dimensional coordinate having an average value of each axis of the three-dimensional coordinates (x, x, z) calculated or estimated by the processor as a landing point.
일 실시예에서 상기 적어도 2개 이상의 식별자를 인식하는 단계는 외부 노이즈로 인하여 촬영영상 내에 비정상적인 식별자(3차원 좌표)가 인식될 경우, 임계값 간의 비교를 통해 필터링 여부를 판단하는 단계를 포함한다.In one embodiment, the step of recognizing at least two identifiers includes a step of determining whether to filter through comparison between threshold values when an abnormal identifier (3D coordinate) is recognized in the captured image due to external noise.
일 실시예에서, 상기 2차원 좌표를 산출하는 단계는 하기의 식 1을 통해 드론의 카메라 초점거리를 산출하고, 식 2를 통해 드론과 다이아몬드 마커까지의 실제거리(D)를 계산하는 것을 특징으로 한다.In one embodiment, the step of calculating the two-dimensional coordinates is characterized by calculating the camera focal length of the drone through Equation 1 below, and calculating the actual distance (D) between the drone and the diamond marker through Equation 2.
[식 1][Formula 1]
F=(D÷W)×PF=(D÷W)×P
[식 2][Formula 2]
D=(F×W)÷PD=(F×W)÷P
여기서, F = 카메라의 초점길이, W = 다이아몬드 마커의 실제(크기)길이, P = 픽셀단위의 너비, D = 카메라에 다이아몬드 마커까지의 실제거리이다.Here, F = focal length of the camera, W = actual (size) length of the diamond marker, P = width in pixels, D = actual distance from the camera to the diamond marker.
일 실시예에서, 상기 착륙 로컬 좌표계를 생성하는 단계는 드론 좌표계, 짐볼 좌표계, 글로벌 좌표계, 다이아몬드 마커 좌표계를 정의한 후, 드론의 회전행렬 및 짐벌의 회전행렬을 하기의 식 3 및 식 4를 이용하여 산출하는 것을 특징으로 한다.In one embodiment, the step of generating the landing local coordinate system is characterized by defining a drone coordinate system, a gimbal coordinate system, a global coordinate system, and a diamond marker coordinate system, and then calculating a rotation matrix of the drone and a rotation matrix of the gimbal using the following equations 3 and 4.
[식 3][Formula 3]
여기서, Rd는 드론의 회전행렬이고, Rg는 짐벌의 피치 회전 행렬이다.Here, Rd is the rotation matrix of the drone, and Rg is the pitch rotation matrix of the gimbal.
일 실시예에서, 상기 다이아몬드 마커는 체스보드 아루코(ChArUco) 내에 아루코(ArUco)를 다이아몬드 형태 배치한 마커로서, 3x3 사각형과 흰색 사각형 안에 4개의 ArUco 마커로 구성된 체스판 형태 마커인 것을 특징으로 한다.In one embodiment, the diamond marker is a marker in which ArUco is arranged in a diamond shape within a chessboard ChArUco, characterized in that it is a chessboard-shaped marker composed of four ArUco markers within a 3x3 square and a white square.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 기록매체는 청구항 제1항 내지 제5항 중 어느 하나의 항에 기재된 다이아몬드 아루코 마커를 이용한 드론의 3차원 착륙지점의 좌표 추정 방법을 실행하는 프로그램이 기록된 것을 특징으로 한다.According to one embodiment of the present invention for solving the above problem, a recording medium is characterized in that a program is recorded thereon for executing a method for estimating coordinates of a three-dimensional landing point of a drone using a diamond Aruko marker as described in any one of claims 1 to 5.
본 발명의 일 실시예에 따른 다이아몬드 아루코 마커를 이용한 드론 착륙지점의 3차원 좌표 추정 방법 및 이를 실행하는 시스템을 이용하면, 외부 환경에 따른 영상 품질이 큰 폭으로 편차가 생겨 오차율이 올라갈 수 있더라도, 드론의 시야폭(FOV) 내 마커가 존재하고 있다면 착륙 중 풍압이나 외부 환경에 따라서도 정확한 3차원 좌표추정을 할 수 있고, 더 나아가 Diamond marker를 무인 드론 충전 스테이션에 적용시 마커 내부에 식별자별 의미를 부여하여 착륙에 관한 조건과 정보를 제공함으로써 활용성이 높은 이점을 제공한다.According to an embodiment of the present invention, a method for estimating a three-dimensional coordinate of a drone landing point using a diamond Aruco marker and a system for executing the same can be used to estimate accurate three-dimensional coordinates even when the error rate increases due to a large deviation in image quality depending on the external environment, if a marker exists within the field of view (FOV) of the drone, and further, when the diamond marker is applied to an unmanned drone charging station, it provides conditions and information regarding landing by assigning meaning to each identifier inside the marker, thereby providing the advantage of high usability.
도 1은 본 발명의 일 실시예에 따른 다이아몬드 아루코 마커를 이용한 드론 착륙지점의 3차원 좌표 추정 방법을 설명한 흐름도이다.
도 2는 도 1에 도시된 다이아몬드 아루코 마커를 이용한 드론 착륙지점의 3차원 좌표 추정 방법을 실행하는 프로그램이 기록된 기록매체의 구성도이다.
도 3은 드론의 짐벌 및 비행동작을 설명하기 위한 예시도이다.
도 4는 단일 ArUco 마커의 다양한 예시도이다.
도 5는 드론 좌표계, 짐볼 좌표계, 글로벌 좌표계 및 다이아몬드 마커의 좌표계가 적용된 로컬 좌표계을 설명하기 위한 예시도이다.
도 6은 본원에서 제시하는 다이아몬드 마커의 일 예시도이다.
도 7은 글로벌 좌표계와 로컬 좌표계의 비교도이다.FIG. 1 is a flowchart illustrating a method for estimating three-dimensional coordinates of a drone landing point using a diamond Aruko marker according to one embodiment of the present invention.
FIG. 2 is a configuration diagram of a recording medium in which a program for executing a method for estimating three-dimensional coordinates of a drone landing point using the diamond Aruko marker illustrated in FIG. 1 is recorded.
Figure 3 is an example diagram for explaining the gimbal and flight operation of a drone.
Figure 4 shows various examples of a single ArUco marker.
Figure 5 is an example diagram for explaining a local coordinate system to which a drone coordinate system, a gimbal coordinate system, a global coordinate system, and a diamond marker coordinate system are applied.
Figure 6 is an example of a diamond marker presented in this invention.
Figure 7 is a comparison diagram of the global coordinate system and the local coordinate system.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다. 본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존 재하는 경우도 포함한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings so that those skilled in the art can easily practice the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In addition, in order to clearly explain the present invention in the drawings, parts that are not related to the description are omitted, and similar reference numerals are assigned to similar parts throughout the specification. Throughout the specification, when a part is said to be "connected" to another part, this includes not only the case where it is "directly connected," but also the case where it is "electrically connected" or "indirectly connected" with another element in between. Throughout the specification, when a member is said to be located "on," "above," "above," "below," "under," or "below" another member, this includes not only the case where the member is in contact with the other member, but also the case where another member exists between the two members.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout this specification, whenever a part is said to "include" a component, this does not mean that it excludes other components, but rather that it may include other components, unless otherwise specifically stated.
이하, 첨부된 도면들에 기초하여 본 발명의 일 실시예에 따른 다이아몬드 아루코 마커를 이용한 드론 착륙지점의 3차원 좌표 추정 방법 및 이를 실행하는 시스템을 보다 상세하게 설명하도록 한다.Hereinafter, a method for estimating a three-dimensional coordinate of a drone landing point using a diamond Aruko marker according to one embodiment of the present invention and a system for executing the same will be described in more detail based on the attached drawings.
먼저, 본 발명을 설명하기에 앞서, 기점마커, 비전 기반 착륙, 드론 착륙 과정을 간략하게 설명하도록 한다.First, before explaining the present invention, a fiducial marker, vision-based landing, and drone landing process will be briefly explained.
먼저, 도 1을 참조, 기점 마커는 통상적으로 유효한 마커 세트와 비행중 카메라를 통해 촬영된 이미지에서 탐지를 통한 미션을 수행하는 알고리즘을 구성된다.First, referring to Figure 1, the fiducial marker is typically composed of a set of valid markers and an algorithm that performs a mission through detection in images captured by an in-flight camera.
가장 간단한 마커 식별법은 평면 점과 같은 기준 마커로 점을 사용하는 것으로 구성되며, 이는 제한된 드론 조건속에서도 기본적인 이미지처리 기술을 사용하여 분할할 수 있다.The simplest marker identification method consists of using points as fiducial markers, such as planar points, which can be segmented using basic image processing techniques even under limited drone conditions.
마커의 식별은 일반적으로 마커의 상대적 위치에서 얻어지며 종종 복잡한 프로세스를 포함한다. 그러나 일반적인 기준 마커는 하나의 대응점(중앙)만 제공하므로 3차원 자세 추정에 한계가 있으므로 정확한 자세 추정을 위해 여러 개의 대응점을 감지해야만 한다.Marker identification is typically derived from their relative positions, often involving a complex process. However, typical fiducial markers provide only a single reference point (the center), limiting 3D pose estimation. Therefore, multiple reference points must be detected for accurate pose estimation.
여러 대응점을 제시하는 다른 유형의 기준 마커는 점의 형태 감지를 기반으로 하여. Cyber code 또는 Visual Code와 같은 형태가 있다.Another type of fiducial marker that suggests multiple correspondence points is based on shape detection, such as Cyber Code or Visual Code.
위의 마커들은 Maxi Code 또는 QR과 같은 2D 바코드 기술에서 파생되지만 여러 대응점을 표현하여 보다 나은 3차원 좌표 추정을 고안하지만 보다 복잡한 점들의 분포로 해상도가 낮은 영상에서 인식시 추정에 제약을 가진다.The above markers are derived from 2D barcode technologies such as Maxi Code or QR, but they represent multiple corresponding points to design better 3D coordinate estimation, but they have limitations in estimation when recognizing in low-resolution images due to the more complex distribution of points.
다른 인기 있는 기준 마커는 아메바 마커라 불리는 ReacTIVision로 얼룩 검출에 기반을 두고 있으며 유전자 알고리즘을 사용하여 디자인을 최적화한 코드일 수 있다.Another popular reference marker is ReacTIVision's so-called amoeba marker, which is based on blob detection and may be code that optimizes the design using genetic algorithms.
유선형의 형태로 일부 연구에서는 빠른 카메라 움직임으로 인한 조명과 날씨의 흐림상황에서 탐지시 보다 나은 인식률을 가진다는 연구가 있었다In some studies, streamlined forms have been shown to have better recognition rates in situations with cloudy lighting and weather due to rapid camera movement.
그 후 보다 나은 접근 방식에 대한 대안은 정사각형 기반 기준 마커 시스템이다. 주요 장점은 4개의 두드러진 점을 사용하여 자세를 추정하고, 내부 영역은 의미를 포함한 식별에 사용된다는 것이다.A more advanced approach is the square-based fiducial marker system. Its main advantage is that it uses four salient points to estimate pose, and the inner region is used for semantic identification.
정사각형 기준 임의 패턴 마커에서 가장 많이 사용된 마커기법 중 하나는 ARToolKit으로, 지난 10년 동안 특히 학계에서 광범위하게 사용된 오픈 소스 프로젝트이다. ARToolkit 마커는 유효한 패턴의 데이터베이스에 저장된 내부 이미지가 있는 넓은 검은색 테두리로 구성된다. 하지만 ARToolkit도 몇 가지 단점이 존재한다. 첫째, 템플릿 일치 접근 방식을 사용한 기법을 사용하므로, 마커의 내부영역의 내용인식에 높은 혼동률을 얻습니다[]. 둘째, 식별 방법은 정사각형의 외부 4점 테두리로 바이너리값을 고정된 임계값에 의지하여 이미지를 인식하므로, 다양한 조명 조건에 매우 민감하다.One of the most widely used marker techniques for square-based arbitrary pattern markers is ARToolKit, an open-source project that has been widely used, particularly in academia, over the past decade. ARToolkit markers consist of a wide black border with an interior image stored in a database of valid patterns. However, ARToolkit also has several shortcomings. First, its technique relies on a template-matching approach, which can lead to high levels of confusion in content recognition within the marker's interior []. Second, its identification method relies on a fixed threshold to recognize binary values within the outer four-point border of a square, making it highly sensitive to varying lighting conditions.
[비전 기반 착륙]Vision-Based Landing
기본적인 착륙방법으로 GPS를 이용한 일반적인 착륙 방법이다.The basic landing method is a general landing method using GPS.
대부분의 드론에는 정의에 따라 자동으로 포인트지점으로 돌아오는 RTH(Return to Home) 또는 RTL(Return to Landing) 기능이 있다. RTH 방법에서 UAV는 홈 좌표점을 기억한다. 해당 기능을 활성화되면 드론은 홈 좌표 지점까지의 짧은 경로를 계획하고 착륙 영역에서 특정 고도를 유지하면서 비행후, 착륙 지점 상공에 도착하면 홈 좌표 및 착륙과 관련된 기능을 수행한다.Most drones have a Return to Home (RTH) or Return to Landing (RTL) function, which automatically returns to a designated point by definition. In the RTH method, the UAV remembers its home coordinates. When this function is activated, the drone plans a short path to the home coordinates, flies at a specific altitude over the landing area, and then, upon arriving at the landing point, performs functions related to the home coordinates and landing.
이 방법의 가장 큰 문제는 GNSS 신호가 약하거나 사용할 수 없을 때 드론이 홈 포인트로 돌아갈 수 없다는 것이다. 또한 표적이 움직이거나 신호가 손실되는 경우 조정할 수 있는 정확성과 다양성이 부족하다.The biggest problem with this method is that the drone cannot return to its home point when the GNSS signal is weak or unavailable. It also lacks the accuracy and versatility to adjust when the target moves or the signal is lost.
[드론 착륙 과정][Drone landing process]
비전 기반 착륙은 알려진 목표물에 대한 시각적 착륙의 주요 개념, 특히 드론과 목표물 사이의 거리, 상대 각도 및 상대 속도를 추정하는 주요 개념을 이용한다. 상업용 드론에서 자주 구현되는 타겟을 수직 시각으로 착륙하는 것을 기본 개념을 제시한다. 비전 기반 솔루션은 기본적인 GNSS보다 훨씬 더 정확하고 역동적인 환경에서 실내 및 실외에서 작동할 수 있다는 이점이 있다. 비전 기반 착륙에서 우리는 목표를 인식하고 목표에 대한 정보를 습득하여 목표로부터의 거리를 측정할 수 있기를 원합니다. 대부분의 비전 기반 솔루션의 표적 대상은 기본적으로 레퍼런스가 학습되어 있어 드론이 대상의 알려진 속성에서 중요한 정보를 인식하고 추출할 수 있습니다. 그예로 표적 대상의 실제 크기를 알고 있기 때문에 비율을 계산하여 실제 목표물까지의 거리를 추정할 수 있다. 또한 미리 정의된 표적지점이 아닌 미정의 된 대상을 타 목표지점으로 설정하여 드론이 착륙 가능 미션 수행 여부를 파악하고 착륙 시나리오를 수행하는 방식에 대한 연구도 진행되고 있다.Vision-based landing leverages the core concepts of visual landing on known targets, specifically estimating the distance, relative angle, and relative velocity between the drone and the target. It presents the basic concept of landing on a target using vertical vision, a common implementation in commercial drones. Vision-based solutions offer the advantage of being significantly more accurate than basic GNSS and operating in dynamic environments, both indoors and outdoors. In vision-based landing, we aim to recognize targets, acquire information about them, and measure their distance. Most vision-based solutions have pre-trained target objects, allowing the drone to recognize and extract important information from their known attributes. For example, knowing the actual size of a target allows the drone to calculate its distance by calculating its ratio. Research is also underway to determine whether a drone can perform a landing mission and to implement landing scenarios by setting an undefined target as a secondary target instead of a predefined target.
한편, 본 발명의 일 실시예에 따른 다이아몬드 아루코 마커를 이용한 드론 착륙지점의 3차원 좌표 추정 방법은 드론에 탐재된 프로세서(10)를 통해 실행될 수 있다.Meanwhile, a method for estimating a three-dimensional coordinate of a drone landing point using a diamond Aruko marker according to one embodiment of the present invention can be executed through a processor (10) installed in a drone.
또한, 상기 프로세서(10)는 거리산출부(11), 좌표산출부(12), 로컬 좌표계 생성부(13), 식별자 인식부(14), 평균값 산출부(15) 및 착륙지점 인식부(16)를 포함할 수 있다.In addition, the processor (10) may include a distance calculation unit (11), a coordinate calculation unit (12), a local coordinate system generation unit (13), an identifier recognition unit (14), an average value calculation unit (15), and a landing point recognition unit (16).
상기 거리산출부(11)는 기 설정된 목표지점에 배치된 다이아몬드 마커를 촬영한 촬영영상으로부터 드론과 상기 다이아몬드 마커 간의 실제 거리를 산출하는 구성일 수 있다.The above distance calculation unit (11) may be configured to calculate the actual distance between the drone and the diamond marker from a captured image of the diamond marker placed at a preset target point.
보다 구체적으로, 상기 거리산출부(11)는 하기의 식 1을 통해 드론의 카메라 초점거리를 산출하고, 식 2를 통해 드론과 다이아몬드 마커(1)까지의 실제거리(D)를 계산할 수 있다.More specifically, the distance calculation unit (11) can calculate the camera focal length of the drone through Equation 1 below, and calculate the actual distance (D) between the drone and the diamond marker (1) through Equation 2.
[식 1][Formula 1]
F=(D÷W)×PF=(D÷W)×P
[식 2][Formula 2]
D=(F×W)÷PD=(F×W)÷P
여기서, F = 카메라의 초점길이, W = 다이아몬드 마커의 실제(크기)길이, P = 픽셀단위의 너비, D = 카메라에 다이아몬드 마커까지의 실제거리이다.Here, F = focal length of the camera, W = actual (size) length of the diamond marker, P = width in pixels, D = actual distance from the camera to the diamond marker.
다음으로, 상기 좌표산출부(12)는 거리산출부(11)에서 산출된 실제거리와 GNSS 좌표정보를 이용하여 다이아몬드 마커(1)의 2차원/3차원 좌표를 산출하는 구성일 수 있다.Next, the coordinate calculation unit (12) may be configured to calculate the 2D/3D coordinates of the diamond marker (1) using the actual distance and GNSS coordinate information calculated by the distance calculation unit (11).
상기 로컬 좌표계 생성부(13)는 드론 좌표계, 짐볼 좌표계, 글로벌 좌표계, 다이아몬드 마커 좌표계를 정의한 후, 드론의 회전행렬 및 짐벌의 회전행렬을 하기의 식 3 및 식 4를 이용하여 산출한다.The above local coordinate system generation unit (13) defines the drone coordinate system, gimbal coordinate system, global coordinate system, and diamond marker coordinate system, and then calculates the drone rotation matrix and the gimbal rotation matrix using the following equations 3 and 4.
[식 3][Formula 3]
[식 4][Formula 4]
여기서, Rd는 드론의 회전행렬이고, Rg는 짐벌의 피치 회전 행렬이다.Here, Rd is the rotation matrix of the drone, and Rg is the pitch rotation matrix of the gimbal.
상기 식별자 인식부(14)는 다이아몬드 마커 이미지 내에서 적어도 2개 이상의 식별자(3차원 좌표)를 인식하는 구성일 수 있다.The above identifier recognition unit (14) may be configured to recognize at least two identifiers (3D coordinates) within a diamond marker image.
상기 식별자 인식부(14)는 외부 노이즈로 인하여 촬영영상 내에 비정상적인 식별자(3차원 좌표)가 인식될 경우, 기 정의된 임계값 간의 비교를 통해 필터링 여부를 판단하고, 기 정의된 임계값 미만이거나 초과할 경우, 비정상적인 식별자를 인식대상에서 필터링한다.The above identifier recognition unit (14) determines whether to filter out an abnormal identifier (3D coordinate) in a captured image due to external noise by comparing it with a predefined threshold value, and if it is less than or exceeds the predefined threshold value, the abnormal identifier is filtered from the recognition target.
상기 평균값 산출부(15)는 인식된 적어도 2개 이상의 식별자의 3차원 좌표(x,y,z)의 각 축 평균값을 산출 또는 추정하는 구성일 수 있다.The above average value calculation unit (15) may be configured to calculate or estimate the average value of each axis of the three-dimensional coordinates (x, y, z) of at least two recognized identifiers.
상기 착륙지점 인식부(16)는 산출 또는 추정된 3차원 좌표(x,x,z)의 각 축 평균값을 갖는 3차원 좌표의 해당지점을 착륙지점으로 인식하는 구성일 수 있다.The above landing point recognition unit (16) may be configured to recognize a corresponding point of a three-dimensional coordinate having an average value of each axis of the calculated or estimated three-dimensional coordinates (x, x, z) as a landing point.
또한, 본 발명에서 언급하는 드론(10)은 광학센서, 카메라, 짐벌, IMU, GNSS 통신부, 회전익기를 포함할 수 있다.In addition, the drone (10) mentioned in the present invention may include an optical sensor, a camera, a gimbal, an IMU, a GNSS communication unit, and a rotary wing.
여기서, 상기 회전익기는 드론의 공중비행동작, 예컨대, Pitch, Roll, Yaw, Throttle 동작되도록 움직임을 제어하는 구성일 수 있다.Here, the rotary wing may be configured to control movement so that the drone can perform aerial maneuvers, such as pitch, roll, yaw, and throttle operations.
도 1은 본 발명의 일 실시예에 따른 다이아몬드 아루코 마커를 이용한 드론 착륙지점의 3차원 좌표 추정 방법을 설명한 흐름도이고, 도 2는 도 1에 도시된 다이아몬드 아루코 마커를 이용한 드론 착륙지점의 3차원 좌표 추정 방법을 실행하는 프로그램이 기록된 기록매체의 구성도이고, 도 3은 드론의 짐벌 및 비행동작을 설명하기 위한 예시도이고, 도 4는 단일 ArUco 마커의 다양한 예시도이고, 도 5는 드론 좌표계, 짐볼 좌표계, 글로벌 좌표계 및 다이아몬드 마커의 좌표계가 적용된 로컬 좌표계을 설명하기 위한 예시도이고, 도 6은 본원에서 제시하는 다이아몬드 마커의 일 예시도이고, 도 7은 글로벌 좌표계와 로컬 좌표계의 비교도이다.FIG. 1 is a flowchart illustrating a method for estimating a three-dimensional coordinate of a drone landing point using a diamond ArUco marker according to an embodiment of the present invention, FIG. 2 is a configuration diagram of a recording medium in which a program for executing the method for estimating a three-dimensional coordinate of a drone landing point using a diamond ArUco marker illustrated in FIG. 1 is recorded, FIG. 3 is an exemplary diagram for explaining a gimbal and flight operation of a drone, FIG. 4 is a diagram showing various exemplary views of a single ArUco marker, FIG. 5 is an exemplary diagram for explaining a drone coordinate system, a gimbal coordinate system, a global coordinate system, and a local coordinate system to which a coordinate system of a diamond marker is applied, FIG. 6 is an exemplary diagram of a diamond marker presented in the present invention, and FIG. 7 is a diagram comparing a global coordinate system and a local coordinate system.
먼저, 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 다이아몬드 아루코 마커를 이용한 드론 착륙지점의 3차원 좌표 추정 방법(S700)은 먼저, 드론의 프로세서에서 기 설정된 목표지점에 배치된 다이아몬드 마커를 촬영한 촬영영상으로부터 드론과 상기 다이아몬드 마커 간의 실제 거리를 산출하여 상기 다이아몬드 마커의 2차원 좌표(Xi, Yi)를 산출(S710)한다.First, as illustrated in FIG. 1, a method (S700) for estimating a three-dimensional coordinate of a drone landing point using a diamond Aruko marker according to an embodiment of the present invention first calculates an actual distance between a drone and the diamond marker from a captured image of a diamond marker placed at a preset target point in a drone processor, thereby calculating two-dimensional coordinates (Xi, Yi) of the diamond marker (S710).
여기서, 상기 S710 과정은 하기의 식 1을 통해 드론의 카메라 초점거리를 산출하고, 식 2를 통해 드론과 다이아몬드 마커까지의 실제거리(D)를 계산할 수 있다.Here, the above S710 process can calculate the drone's camera focal length through Equation 1 below, and calculate the actual distance (D) between the drone and the diamond marker through Equation 2.
[식 1][Formula 1]
F=(D÷W)×PF=(D÷W)×P
[식 2][Formula 2]
D=(F×W)÷PD=(F×W)÷P
여기서, F = 카메라의 초점길이, W = 다이아몬드 마커의 실제(크기)길이, P = 픽셀단위의 너비, D = 카메라에 다이아몬드 마커까지의 실제거리이다.Here, F = focal length of the camera, W = actual (size) length of the diamond marker, P = width in pixels, D = actual distance from the camera to the diamond marker.
이후, 상기 프로세서에서 드론 좌표계, 짐볼 좌표계, 글로벌 좌표계, 상기 다이아몬드 마커의 2차원 좌표를 기초로 착륙 로컬 좌표계를 생성(S720)한다.Thereafter, the above processor generates a landing local coordinate system based on the drone coordinate system, gimbal coordinate system, global coordinate system, and two-dimensional coordinates of the above diamond marker (S720).
보다 구체적으로, 상기 S720 과정은 도 3에 도시된 바와 같이, 드론 좌표계, 짐볼 좌표계, 글로벌 좌표계, 다이아몬드 마커 좌표계를 정의한 후, 드론의 회전행렬 및 짐벌의 회전행렬을 하기의 식 3 및 식 4를 이용하여 산출한다.More specifically, the above S720 process defines the drone coordinate system, the gimbal coordinate system, the global coordinate system, and the diamond marker coordinate system as illustrated in FIG. 3, and then calculates the drone rotation matrix and the gimbal rotation matrix using the following equations 3 and 4.
[식 3][Formula 3]
[식 4][Formula 4]
여기서, Rd는 드론의 회전행렬이고, Rg는 짐벌의 피치 회전 행렬이다.Here, Rd is the rotation matrix of the drone, and Rg is the pitch rotation matrix of the gimbal.
이후, 상기 프로세서에서 다이아몬드 마커 이미지 내에서 적어도 2개 이상의 식별자(3차원 좌표)를 인식(S730)한다.Thereafter, the processor recognizes at least two identifiers (3D coordinates) within the diamond marker image (S730).
상기 S730 과정은 외부 노이즈로 인하여 촬영영상 내에 비정상적인 식별자(3차원 좌표)가 인식될 경우, 임계값 간의 비교를 통해 필터링 여부를 판단하는 단계를 포함할 수 있다.The above S730 process may include a step of determining whether to filter through comparison between threshold values when an abnormal identifier (3D coordinate) is recognized in the captured image due to external noise.
이후, 인식된 적어도 2개 이상의 식별자의 3차원 좌표(x,y,z)의 각 축 평균값을 산출 또는 추정(S740)하고, 산출 또는 추정된 3차원 좌표(x,x,z)의 각 축 평균값을 갖는 3차원 좌표의 해당지점을 착륙지점으로 인식(S750)하는 과정으로 진행된다.Afterwards, the process proceeds to calculating or estimating (S740) the average value of each axis of the three-dimensional coordinates (x, y, z) of at least two recognized identifiers, and recognizing (S750) the corresponding point of the three-dimensional coordinates having the average value of each axis of the calculated or estimated three-dimensional coordinates (x, x, z) as the landing point.
한편, 본 발명에서 제시하는 다이아몬드 마커는 체스보드 아루코(ChArUco) 내에 아루코(ArUco)를 다이아몬드 형태 배치한 마커로서, 3x3 사각형과 흰색 사각형 안에 4개의 ArUco 마커로 구성된 체스판 형태 마커이다.Meanwhile, the diamond marker proposed in the present invention is a marker in which ArUco is arranged in a diamond shape within a chessboard ChArUco, and is a chessboard-shaped marker composed of four ArUco markers within a 3x3 square and a white square.
Chessboard ArUco(ChArUco) 보드와 모양은 비슷하지만 개념적으로는 다르다. ChArUco 보드 및 Diamond marker 모두에서 감지는 감지된 ArUco 마커를 기반으로 하며 ChArUco의 경우 식별자를 단일적으로 인식한다.Chessboard ArUco (ChArUco) boards are similar in appearance to boards, but conceptually different. Detection on both ChArUco boards and diamond markers is based on detected ArUco markers, while ChArUco recognizes a single identifier.
하지만 다이아몬드 마커(Diamond marker)의 경우, 보드에 포함된 마커가 이미지에서 발견되면 자동으로 체스보드 내에 속한 것으로 간주하며 위치를 각각 식별하여 최대 4가지의 식별자로 나타난다.However, in the case of the Diamond marker, if a marker included in the board is found in the image, it is automatically considered to belong within the chessboard and its location is identified individually, resulting in up to four identifiers.
하나의 ArUco 마커 위치를 식별하여 추정되는 3차원 좌표의 오차를 다수의 마커를 지니는 다이아몬드 마커를 통해 보정이 가능하여 높은 정확성을 지닌다.It has high accuracy because the error in the estimated 3D coordinates can be corrected by identifying the location of a single ArUco marker using a diamond marker with multiple markers.
이하의 표 1은 약 12,000 프레임을 가지는 영상을 기반으로 종래의 단일 ArUco 마커와 본원에서 제시하는 다이아몬드 ArUco 마커 간의 인식율 오차를 비교한 표이다.Table 1 below compares the recognition rate error between a conventional single ArUco marker and the diamond ArUco marker proposed in this invention based on an image having approximately 12,000 frames.
표 1과 같이, 두 개의 성능 비교를 통해, 본원에서 제시하는 다이아몬드 ArUco 마커가 단일 ArUco 마커가 드론의 3차원 좌표 추정시의 정확도가 더 높음을 확인할 수 있다.As shown in Table 1, through a comparison of the two performances, it can be confirmed that the diamond ArUco marker proposed in this invention has a higher accuracy in estimating the 3D coordinates of a drone than a single ArUco marker.
더욱이, 실시간으로 좌표를 추정하면, 외부 환경에 따른 영상 품질이 큰폭으로 편차가 생겨 오차율이 올라갈 수 있어, 3차원 좌표 추정 최소화가 곧 자동착륙과 드론 항법 관련 연구에도 직결된다.Moreover, if coordinates are estimated in real time, the image quality may vary significantly depending on the external environment, which may increase the error rate. Therefore, minimizing 3D coordinate estimation is directly related to research related to automatic landing and drone navigation.
따라서, 드론의 시야폭(FOV) 내 마커가 존재하고 있다면 착륙 중 풍압이나 외부 환경에 따라서도 정확한 3차원 좌표추정을 할 수 있다. 더 나아가 Diamond marker를 무인 드론 충전 스테이션에 적용시 마커 내부에 식별자별 의미를 부여하여 착륙에 관한 조건과 정보를 제공함으로써 활용성이 높을 것으로 기대된다.Therefore, if markers exist within the drone's field of view (FOV), accurate 3D coordinate estimation can be achieved even under wind pressure or external conditions during landing. Furthermore, applying the Diamond Marker to unmanned drone charging stations is expected to increase its usability by providing landing conditions and information by assigning meaningful identifiers to the markers.
본 발명의 일 실시예에서 사용된 “부”는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The “unit” used in one embodiment of the present invention may be implemented as a hardware component, a software component, and/or a combination of hardware components and software components. For example, the devices and components described in the embodiments may be implemented using one or more general-purpose computers or special-purpose computers, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing instructions and responding to them. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. Furthermore, the processing device may access, store, manipulate, process, and generate data in response to the execution of the software. For ease of understanding, the processing device is sometimes described as being used alone; however, one of ordinary skill in the art will recognize that the processing device may include multiple processing elements and/or multiple types of processing elements. For example, a processing unit may include multiple processors, or a processor and a controller. Other processing configurations, such as parallel processors, are also possible.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다Software may include a computer program, code, instructions, or a combination of one or more of these, and may configure a processing device to perform a desired operation or, independently or collectively, command the processing device. The software and/or data may be permanently or temporarily embodied in any type of machine, component, physical device, virtual equipment, computer storage medium or device, or transmitted signal wave, for interpretation by the processing device or for providing instructions or data to the processing device. The software may also be distributed over networked computer systems and stored or executed in a distributed manner. The software and data may be stored on one or more computer-readable recording media.
본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment of the present invention may be implemented in the form of program commands that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program commands, data files, data structures, etc., alone or in combination. The program commands recorded on the medium may be those specially designed and configured for the embodiment or may be those known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and hardware devices specially configured to store and execute program commands, such as ROMs, RAMs, and flash memories. Examples of the program commands include not only machine language codes generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter, etc. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiment, and vice versa.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Those skilled in the art will appreciate that modifications and variations of the above-described content may be made without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed herein are intended to illustrate, rather than limit, the technical spirit of the present invention, and the scope of the technical spirit of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included within the scope of the present invention.
100: 다이아몬드 아루코 마커를 이용한 드론 착륙지점의 3차원 좌표 추정 방법을 실행하는 시스템
10: 프로세서
11: 거리산출부
12: 좌표산출부
13: 로컬 좌표계 생성부
14: 식별자 인식부
15: 평균값 산출부
16: 착륙지점 인식부100: A system for executing a method for estimating the three-dimensional coordinates of a drone landing point using a diamond Aruko marker.
10: Processor
11: Distance calculation section
12: Coordinate calculation section
13: Local coordinate system generation section
14: Identifier recognition unit
15: Average calculation section
16: Landing point recognition unit
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220181662AKR102850613B1 (en) | 2022-12-22 | 2022-12-22 | A three-dimensional coordinate estimation method of a drone landing point using a diamond Aruko marker and a recording medium recording a program that executes it |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220181662AKR102850613B1 (en) | 2022-12-22 | 2022-12-22 | A three-dimensional coordinate estimation method of a drone landing point using a diamond Aruko marker and a recording medium recording a program that executes it |
| Publication Number | Publication Date |
|---|---|
| KR20240099813A KR20240099813A (en) | 2024-07-01 |
| KR102850613B1true KR102850613B1 (en) | 2025-08-27 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220181662AActiveKR102850613B1 (en) | 2022-12-22 | 2022-12-22 | A three-dimensional coordinate estimation method of a drone landing point using a diamond Aruko marker and a recording medium recording a program that executes it |
| Country | Link |
|---|---|
| KR (1) | KR102850613B1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150269408A1 (en) | 2013-07-25 | 2015-09-24 | Disney Enterprises, Inc. | Visual localization of unmanned aerial vehicles based on marker detection and processing |
| US20160034607A1 (en) | 2014-07-31 | 2016-02-04 | Aaron Maestas | Video-assisted landing guidance system and method |
| US20210405654A1 (en) | 2018-03-22 | 2021-12-30 | Infinium Robotics Pte Ltd | Autonomous taking off, positioning and landing of unmanned aerial vehicles (uav) on a mobile platform |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150269408A1 (en) | 2013-07-25 | 2015-09-24 | Disney Enterprises, Inc. | Visual localization of unmanned aerial vehicles based on marker detection and processing |
| US20160034607A1 (en) | 2014-07-31 | 2016-02-04 | Aaron Maestas | Video-assisted landing guidance system and method |
| US20210405654A1 (en) | 2018-03-22 | 2021-12-30 | Infinium Robotics Pte Ltd | Autonomous taking off, positioning and landing of unmanned aerial vehicles (uav) on a mobile platform |
| Publication number | Publication date |
|---|---|
| KR20240099813A (en) | 2024-07-01 |
| Publication | Publication Date | Title |
|---|---|---|
| JP7456537B2 (en) | Aircraft control device, aircraft control method, and program | |
| CN113657256B (en) | A method for sea-air collaborative visual tracking and autonomous recovery of unmanned boat-borne UAVs | |
| CN109658461B (en) | A UAV positioning method based on cooperative two-dimensional code in virtual simulation environment | |
| Gui et al. | Airborne vision-based navigation method for UAV accuracy landing using infrared lamps | |
| KR102289752B1 (en) | A drone for performring route flight in gps blocked area and methed therefor | |
| CN112106111A (en) | Calibration method, calibration equipment, movable platform and storage medium | |
| US8503730B2 (en) | System and method of extracting plane features | |
| CN113436276B (en) | Visual relative positioning-based multi-unmanned aerial vehicle formation method | |
| CN113643380A (en) | Mechanical arm guiding method based on monocular camera vision target positioning | |
| Eynard et al. | Real time UAV altitude, attitude and motion estimation from hybrid stereovision | |
| CN110570463A (en) | target state estimation method and device and unmanned aerial vehicle | |
| CN112119428A (en) | Method, device, unmanned aerial vehicle, system and storage medium for acquiring landing position | |
| Kwak et al. | Emerging ICT UAV applications and services: Design of surveillance UAVs | |
| CN118570290A (en) | Unmanned aerial vehicle relative pose positioning method and system | |
| CN116578035A (en) | Autonomous landing control system of rotor UAV based on digital twin technology | |
| WO2021146969A1 (en) | Distance measurement method, movable platform, device, and storage medium | |
| WO2021237535A1 (en) | Collision processing method and device, and medium | |
| Davis et al. | Reflective fiducials for localization with 3D light detection and ranging scanners | |
| KR102850613B1 (en) | A three-dimensional coordinate estimation method of a drone landing point using a diamond Aruko marker and a recording medium recording a program that executes it | |
| Fang et al. | A High Accuracy and Large-Scale Detection for Fixed-Wing UAV Autonomous Ground Landing With GNSS-Denied | |
| EP3770809A1 (en) | Method and apparatus for estimating user's pose by using three-dimensional virtual space model | |
| CN114599582A (en) | Specifying device, flight object, specifying method, and program | |
| CN115202395B (en) | UAV landing control method, control device and storage medium | |
| WO2021072766A1 (en) | Flight control method and system, unmanned aerial vehicle, and storage medium | |
| Tran et al. | A multiple marker design for precision and redundant visual landing in drone delivery |
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | St.27 status event code:A-0-1-A10-A12-nap-PA0109 | |
| PA0201 | Request for examination | St.27 status event code:A-1-2-D10-D11-exm-PA0201 | |
| P22-X000 | Classification modified | St.27 status event code:A-2-2-P10-P22-nap-X000 | |
| P22-X000 | Classification modified | St.27 status event code:A-2-2-P10-P22-nap-X000 | |
| PG1501 | Laying open of application | St.27 status event code:A-1-1-Q10-Q12-nap-PG1501 | |
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection | St.27 status event code:A-1-2-D10-D21-exm-PE0902 | |
| P11-X000 | Amendment of application requested | St.27 status event code:A-2-2-P10-P11-nap-X000 | |
| P13-X000 | Application amended | St.27 status event code:A-2-2-P10-P13-nap-X000 | |
| R15-X000 | Change to inventor requested | St.27 status event code:A-3-3-R10-R15-oth-X000 | |
| R16-X000 | Change to inventor recorded | St.27 status event code:A-3-3-R10-R16-oth-X000 | |
| PE0701 | Decision of registration | St.27 status event code:A-1-2-D10-D22-exm-PE0701 | |
| PG1601 | Publication of registration | St.27 status event code:A-4-4-Q10-Q13-nap-PG1601 |