






본 발명은 드론을 이용한 3차원 지도 제작 방법에 관한 것으로, 구체적으로 지도제작영역에 대한 드론영상데이터와 위성영상데이터를 수집하고, 복수의 지상기준점을 기반으로 드론영상데이터 및 위성영상데이터를 이용하여 지도제작영역에 대한 영상 정합을 수행한 후에, 정합영상의 모델링을 통해 정사영상을 구축하여 3차원 지도를 제작함으로써, 원하는 지역의 실제 상황을 정확하게 표현할 수 있을 뿐만 아니라 3차원 지형 정보를 효과적으로 획득할 수 있는 드론을 이용한 3차원 지도 제작 방법에 관한 것이다.The present invention relates to a method for producing a 3D map using a drone. After performing image registration for the map production area, by constructing an ortho image through modeling of the registration image to produce a 3D map, it is possible to accurately express the actual situation of the desired area and to obtain 3D topographical information effectively. It relates to a method for creating a 3D map using a drone that can be used.
무인항공기(UAV : unmanned aerial vehicle)는 조종사를 태우지 않고, 공기역학적 힘에 의해 부양하여 자율적으로 또는 원격조종으로 비행을 하며, 무기 또는 일반화물을 실을 수 있는 일회용 또는 재사용할 수 있는 동력 비행체로 정의될 수 있는데, 이러한 무인항공기 체계는 드론(drone)으로 지칭되기도 한다.An unmanned aerial vehicle (UAV) is a disposable or reusable power vehicle that flies autonomously or remotely controlled by aerodynamic force without a pilot, and can carry weapons or general cargo. It can be defined, but such an unmanned aerial vehicle system is also referred to as a drone.
상술한 바와 같은 드론 기술의 발달에 따라 드론을 이용한 다양한 기술들이 여러 형태로 연구 개발되고 있는데, 드론은 초기에 주로 군사용으로 개발되었지만, 점차 활용 분야가 확대되어 최근에는 시설물 관리, 해안 감시, 환경 감시, 대형 건축물 감시, 산불 감시, 산림 감시, 야간 무인 순찰, 무인 택배 서비스, 농약살포기, 범죄 색출, 범죄 추적, 작전 수행, 익스트림 스포츠 촬영, 지형 모델링, 구조물 모델링 등과 같은 다양한 용도로 사용되고 있으며 드라마, 예능, 관광지 촬영 등에도 사용되고 있다.With the development of drone technology as described above, various technologies using drones are being researched and developed in various forms. Drones were initially developed mainly for military purposes, but the fields of application have gradually expanded, and recently, facility management, coastal surveillance, and environmental monitoring It is used for various purposes such as surveillance of large buildings, surveillance of forest fires, surveillance of forests, unmanned night patrol, unmanned delivery service, pesticide sprayer, crime detection, criminal tracking, operation, extreme sports filming, terrain modeling, structure modeling, etc. , It is also used for photographing tourist attractions.
한편, 고해상도 위성영상이 촬영 및 제공되고, GIS(geographic information system) 기술의 비약적인 발달로 인하여 다양한 지형정보를 취득하여 이를 체계적으로 관리할 수 있는 여건이 조성되고 있다.On the other hand, high-resolution satellite images are being photographed and provided, and due to the rapid development of GIS (geographic information system) technology, conditions are being created to acquire various topographical information and systematically manage them.
특히, 인공위성 중 IKONOS, QuickBird, SPOT, KOMSAT 등과 같은 고중해상도 광학위성을 통한 지리정보 기반 데이터인 수치지형도 제작 및 영상지도 제작과 능동적 센서를 탑재한 RADARSAT을 이용한 도시지형정보 및 재해정보를 취득하여 도시관리, 각종 건설관리, 자원관리, 환경관리 등에 활용이 급증하고 있다.In particular, digital topographic map production and image map production, which are geographic information-based data through high-medium-resolution optical satellites such as IKONOS, QuickBird, SPOT, and KOMSAT among artificial satellites, and urban topographic information and disaster information obtained using RADARSAT equipped with an active sensor Management, various construction management, resource management, environmental management, etc. utilization is rapidly increasing.
또한, 지형공간정보자료를 GIS와 연계시켜 다양한 용도의 정보체계를 구축하는 것이 필요하게 되었고, 중저해상도의 위성영상자료를 이용하여 취득된 각종 정보와 고해상 영상자료와의 통합 및 다중센서 자료들의 통합은 영상정보의 활용성을 다양화시키기 위한 다양한 연구 및 발명이 진행되고 있다.In addition, it has become necessary to establish an information system for various purposes by linking geospatial information data with GIS, and integration of various information obtained using medium and low resolution satellite image data with high resolution image data and integration of multi-sensor data In order to diversify the utilization of image information, various researches and inventions are being conducted.
상술한 바와 같은 드론을 이용하여 촬영된 드론촬영역상과, 위성영상자료 등을 활용하여 원하는 지역의 실제 상황을 정확하게 표현하는 수치정사영상과 3차원 지도의 제작을 위한 다양한 기법들이 연구 개발되고 있는 실정이다.As described above, various techniques are being researched and developed for the production of digital orthographic images and 3D maps that accurately express the actual situation of the desired area by using inverted images taken by drones and satellite image data, etc. am.
본 발명의 목적은, 지도제작영역에 대한 드론영상데이터와 위성영상데이터를 수집하고, 복수의 지상기준점을 기반으로 드론영상데이터 및 위성영상데이터를 이용하여 지도제작영역에 대한 영상 정합을 수행한 후에, 정합영상의 모델링을 통해 정사영상을 구축하여 3차원 지도를 제작함으로써, 원하는 지역의 실제 상황을 정확하게 표현할 수 있을 뿐만 아니라 3차원 지형 정보를 효과적으로 획득할 수 있는 드론을 이용한 3차원 지도 제작 방법을 제공하는데 있다.The purpose of the present invention is to collect drone image data and satellite image data for the map production area, and perform image matching for the map production area using the drone image data and satellite image data based on a plurality of ground control points. , A 3D map production method using a drone that can accurately express the actual situation of a desired area and effectively obtain 3D topographical information by constructing an orthoimage through modeling of a matched image to produce a 3D map. is in providing
또한, 본 발명은, 드론영상데이터에서 복수의 지상기준점을 기준으로 복수의 제 1 지상기준점을 결정하고, 위성영상데이터에서 복수의 지상기준점을 기준으로 복수의 제 2 지상기준점을 결정한 후에, 복수의 제 1 지상기준점과 복수의 제 2 지상기준점의 각 형상정보를 이용하여 상호 매칭시켜 영상 정합을 수행함으로써, 두 개의 서로 다른 영상데이터를 효과적으로 영상 정합시킬 수 있는 드론을 이용한 3차원 지도 제작 방법을 제공하는데 있다.In addition, the present invention determines a plurality of first ground reference points based on a plurality of ground control points in drone image data and determines a plurality of second ground reference points based on a plurality of ground reference points in satellite image data, Provide a 3D map production method using a drone that can effectively match two different image data by performing image matching by matching each other using each shape information of a first ground control point and a plurality of second ground control points are doing
그리고 본 발명이 해결하고자 하는 과제는, 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.And the problem to be solved by the present invention is not limited to the above-mentioned technical problems, and other technical problems not mentioned are clearly understood by those skilled in the art from the description below. It could be.
상기 목적은, 드론을 이용하여 지도제작영역이 촬영된 드론영상데이터를 수집하는 단계; 상기 지도제작영역이 촬영된 위성영상데이터를 수집하는 단계; 상기 드론영상데이터에서 측량된 복수의 지상기준점을 기준으로 제 1 삼각망을 형성하여 복수의 제 1 지상기준점을 결정하는 단계; 상기 위성영상데이터에서 상기 복수의 지상기준점을 기준으로 제 2 삼각망을 형성하여 복수의 제 2 지상기준점을 결정하는 단계; 상기 복수의 제 1 지상기준점 및 복수의 제 2 지상기준점을 이용하여 상기 지도제작영역에 대한 영상 정합을 수행하는 단계; 및 상기 영상 정합을 통해 수득된 정합영상의 모델링을 통해 정사영상을 구축하여 3차원 지도를 제작하는 단계;를 포함하여 달성될 수 있다.The above object is to collect drone image data in which a map production area is photographed using a drone; collecting satellite image data of the mapping area; determining a plurality of first ground control points by forming a first triangular network based on a plurality of ground control points surveyed from the drone image data; determining a plurality of second ground reference points by forming a second triangular network based on the plurality of ground reference points in the satellite image data; performing image matching on the mapping area using the plurality of first ground control points and the plurality of second ground control points; and constructing an orthoimage through modeling of the matched image obtained through the image matching to produce a 3D map.
구체적으로, 상기 복수의 제 1 지상기준점을 결정하는 단계는, 상기 드론영상데이터의 좌표계와 분광단위를 기준좌표계 및 기준분광단위로 각각 변환한 후에, 상기 복수의 지상기준점의 상호 거리에 따라 드론영상 평면을 분할하여 상기 제 1 삼각망을 형성하고, 상기 제 1 삼각망의 각 꼭지점을 상기 복수의 제 1 지상기준점으로 결정할 수 있다.Specifically, in the step of determining the plurality of first ground reference points, after converting the coordinate system and the spectral unit of the drone image data into a reference coordinate system and a reference spectral unit, respectively, the drone image according to the mutual distance of the plurality of ground reference points. The first triangular network may be formed by dividing the plane, and each vertex of the first triangular network may be determined as the plurality of first ground reference points.
구체적으로, 상기 복수의 제 2 지상기준점을 결정하는 단계는, 상기 위성영상데이터의 좌표계와 분광단위를 상기 기준좌표계 및 기준분광단위로 각각 변환한 후에, 상기 복수의 지상기준점의 상호 거리에 따라 위성영상 평면을 분할하여 상기 제 2 삼각망을 형성하고, 상기 제 2 삼각망의 각 꼭지점을 상기 복수의 제 2 지상기준점으로 결정할 수 있다.Specifically, the step of determining the plurality of second ground reference points may include converting the coordinate system and the spectral unit of the satellite image data into the reference coordinate system and the reference spectral unit, respectively, according to the mutual distances of the plurality of ground reference points. The second triangular network may be formed by dividing the image plane, and each vertex of the second triangular network may be determined as the plurality of second ground reference points.
구체적으로, 상기 영상 정합을 수행하는 단계는, 상기 복수의 제 1 지상기준점과 상기 복수의 제 2 지상기준점을 상호 매칭시켜 상기 영상 정합을 수행할 수 있다.Specifically, in the performing of the image matching, the image matching may be performed by mutually matching the plurality of first ground control points and the plurality of second ground control points.
구체적으로, 상기 복수의 제 1 지상기준점 및 복수의 제 2 지상기준점은, 각 형상정보를 이용하여 상호 매칭시킬 수 있다.Specifically, the plurality of first ground reference points and the plurality of second ground reference points may be matched with each other using shape information.
구체적으로, 상기 3차원 지도를 제작하는 단계는, 상기 정합영상이 포인트 클라우드 형태 또는 메시 형태로 모델링될 수 있다.Specifically, in the step of producing the 3D map, the matched image may be modeled in the form of a point cloud or mesh.
구체적으로, 상기 3차원 지도를 제작하는 단계는, 상기 포인트 클라우드 형태로 모델링되는 경우 수치표면모델(DSM : digital surface model), 수치표고모델(DEM : digital elevation model) 및 수치지형모델(DTM : digital terrain model) 중에서 선택된 적어도 하나를 이용하여 모델링될 수 있다.Specifically, the step of producing the 3D map may include a digital surface model (DSM), a digital elevation model (DEM), and a digital terrain model (DTM) when modeled in the form of a point cloud. terrain model) can be modeled using at least one selected.
구체적으로, 상기 3차원 지도를 제작하는 단계는, 모델링된 상기 정합영상을 영상 좌표에 따라 재배열하여 상기 정사영상을 구축할 수 있다.Specifically, in the step of producing the 3D map, the orthoimage may be constructed by rearranging the modeled registered image according to image coordinates.
본 발명에 따르면, 지도제작영역에 대한 드론영상데이터와 위성영상데이터를 수집하고, 복수의 지상기준점을 기반으로 드론영상데이터 및 위성영상데이터를 이용하여 지도제작영역에 대한 영상 정합을 수행한 후에, 정합영상의 모델링을 통해 정사영상을 구축하여 3차원 지도를 제작함으로써, 원하는 지역의 실제 상황을 정확하게 표현할 수 있을 뿐만 아니라 3차원 지형 정보를 효과적으로 획득할 수 있다.According to the present invention, after collecting drone image data and satellite image data for the map production area and performing image matching for the map production area using the drone image data and satellite image data based on a plurality of ground control points, By creating a 3D map by constructing an orthoimage through modeling of a matched image, it is possible to accurately express the actual situation of a desired region and effectively acquire 3D topographical information.
또한, 본 발명에 따르면, 드론영상데이터에서 복수의 지상기준점을 기준으로 복수의 제 1 지상기준점을 결정하고, 위성영상데이터에서 복수의 지상기준점을 기준으로 복수의 제 2 지상기준점을 결정한 후에, 복수의 제 1 지상기준점과 복수의 제 2 지상기준점의 각 형상정보를 이용하여 상호 매칭시켜 영상 정합을 수행함으로써, 두 개의 서로 다른 영상데이터를 효과적으로 영상 정합시킬 수 있다.In addition, according to the present invention, after determining a plurality of first ground reference points based on a plurality of ground reference points in drone image data and determining a plurality of second ground reference points based on a plurality of ground reference points in satellite image data, By performing image matching by mutually matching each other using shape information of the first ground control point and the plurality of second ground control points, two different image data can be effectively image matched.
도 1은 본 발명의 실시예에 따라 드론을 이용하여 3차원 지도를 제작하는 과정을 나타낸 플로우차트이고,
도 2는 본 발명의 실시예에 따른 드론을 이용한 3차원 지도 제작 시스템을 예시한 도면이며,
도 3 및 도 4는 본 발명의 실시예에 따라 복수의 제 1 지상기준점을 결정하는 것을 설명하기 위한 도면이고,
도 5는 본 발명의 실시예에 따라 영상 정합을 수행하는 것을 설명하기 위한 도면이며,
도 6은 본 발명의 실시예에 따라 수치표면모델을 이용한 모델링을 예시한 도면이고,
도 7은 본 발명의 실시예에 따라 구축되는 정사영상을 예시한 도면이다.1 is a flowchart showing a process of producing a 3D map using a drone according to an embodiment of the present invention;
2 is a diagram illustrating a 3D map production system using a drone according to an embodiment of the present invention;
3 and 4 are diagrams for explaining determining a plurality of first ground control points according to an embodiment of the present invention;
5 is a diagram for explaining performing image matching according to an embodiment of the present invention;
6 is a diagram illustrating modeling using a numerical surface model according to an embodiment of the present invention;
7 is a diagram illustrating an orthoimage constructed according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세하게 설명하면 다음과 같다. 다만, 본 발명을 설명함에 있어서, 이미 공지된 기능 혹은 구성에 대한 설명은, 본 발명의 요지를 명료하게 하기 위하여 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in describing the present invention, descriptions of already known functions or configurations will be omitted to clarify the gist of the present invention.
그리고, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.Also, terms used in this specification are for describing embodiments and are not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. The terms 'comprises' and/or 'comprising' used in the specification do not exclude the presence or addition of one or more other elements.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따라 드론을 이용하여 3차원 지도를 제작하는 과정을 나타낸 플로우차트이고, 도 2는 본 발명의 실시예에 따른 드론을 이용한 3차원 지도 제작 시스템을 예시한 도면이며, 도 3 및 도 4는 본 발명의 실시예에 따라 복수의 제 1 지상기준점을 결정하는 것을 설명하기 위한 도면이고, 도 5는 본 발명의 실시예에 따라 영상 정합을 수행하는 것을 설명하기 위한 도면이며, 도 6은 본 발명의 실시예에 따라 수치표면모델을 이용한 모델링을 예시한 도면이고, 도 7은 본 발명의 실시예에 따라 구축되는 정사영상을 예시한 도면이다.1 is a flowchart illustrating a process of producing a 3D map using a drone according to an embodiment of the present invention, and FIG. 2 is a diagram illustrating a 3D map production system using a drone according to an embodiment of the present invention. 3 and 4 are diagrams for explaining determining a plurality of first ground reference points according to an embodiment of the present invention, and FIG. 5 is a diagram for explaining image matching according to an embodiment of the present invention. 6 is a diagram illustrating modeling using a numerical surface model according to an embodiment of the present invention, and FIG. 7 is a diagram illustrating an orthoimage constructed according to an embodiment of the present invention.
도 1을 참조하면, 드론(10)을 이용하여 지도제작영역이 촬영된 드론영상데이터를 수집할 수 있다(단계110).Referring to FIG. 1 , it is possible to collect drone image data of a map production area captured using a drone 10 (step 110).
이러한 드론영상데이터를 수집하는 단계(110)에서는 지도제작영역에서 측량된 지상기준점의 좌표에 따라 드론(10)을 비행시켜 수집할 수 있다.In the
예를 들면, 드론(10)은 드론 본체에 비행수단, 촬영수단, 무선통신모듈, GPS 수신기, 압력센서, 자이로센서 등을 포함하여 무선 제어에 따라 원하는 지역에 무인으로 비행하고, 그 지역을 촬영하여 드론영상데이터를 무선으로 지도제작을 위한 지도제작장치(30)로 전송할 수 있다. 이러한 지도제작장치(30)는 드론(10)의 무선제어를 수행하는 제어센터에 구비되거나, 혹은 그 제어센터를 포함하여 구비될 수 있다.For example, the
여기에서, 드론 본체에는 드론(10)의 작동 및 제어를 위한 다양한 구성부가 구비될 수 있는데, 추진모터, 프로펠러 등을 포함하는 비행수단을 이용하여 무인 비행하고자 하는 지역을 기 설정된 경로 또는 무선 제어된 경로에 따라 비행할 수 있고, 촬영수단을 이용하여 3차원 지도 제작 작업을 위한 드론영상데이터를 획득할 수 있다.Here, the drone main body may be provided with various components for operation and control of the
그리고, 드론(10)은 무선통신모듈을 이용하여 제어센터로부터 송출되는 좌표 신호를 수신할 수 있고, GPS 수신기를 이용하여 위성영상수집장치(20)에 구비된 위성항법시스템(GPS)으로부터 GPS 신호를 수신할 수 있으며, 압력센서를 이용하여 드론 본체의 고도를 검출하기 위해 주변의 기압을 실시간 측정할 수 있고, 자이로센서를 이용하여 드론 본체의 상하 반전을 감지하기 위해 구비될 수 있다.In addition, the
여기에서, 드론(10)은 위치정보와 관련된 각종 위성정보를 위성영상수집장치(20)의 위성항법시스템(GPS : global positioning system) 및 관성항법시스템(INS : inertial navigation system)을 통해 획득할 수 있다.Here, the
상술한 바와 같은 구성을 갖는 드론(10)은 지도제작영역을 무인 비행하기 위해 지상기준점을 측량하여 지상기준점의 좌표를 획득하고, 지도제작영역에서 측량된 지상기준점의 좌표에 따라 비행경로를 결정하며, 결정된 비행경로에 따라 측량된 지상기준점의 좌표를 참조하여 드론(10)을 비행시켜 해당 영역을 촬영한 후, 촬영된 드론영상데이터를 수집할 수 있다.The
다음에, 위성영상수집장치(20)에서는 지도제작영역이 촬영된 위성영상데이터를 수집할 수 있다(단계120).Next, the satellite
이러한 위성영상데이터를 수집하는 단계(120)에서는 위성영상수집장치(20)로서, 위성항법시스템(GPS) 및 관성항법시스템(INS)을 이용하여 수집할 수 있다.In the
예를 들면, 위성영상수집장치(20)는 위성항법시스템(GPS) 및 관성항법시스템(INS)을 포함할 수 있는데, 위성항법시스템(GPS)은 적어도 24개 이상의 GPS 위성으로 이루어지며, GPS 위성들 각각의 고유 신호와 궤도 파라미터를 이용하여 각 GPS 위성의 정밀한 위치를 산출할 수 있고, 드론(10) 또는 지도제작장치(30)에 구비된 GPS 수신기를 이용하여 산출된 GPS 위성들의 각 위치정보와 삼변측량을 통해 드론(10) 또는 지도제작장치(30)의 정확한 위치를 산출할 수 있다.For example, the satellite
또한, 관성항법시스템(INS)은 관성센서 역할을 하는 자이로와 가속도계를 포함하여 드론(10)의 회전과 위치 이동을 계산 및 제어하여 원하는 위치로 비행하도록 도와주는 시스템으로, 위성항법시스템(GPS) 및 관성항법시스템(INS)을 통해 촬영된 고해상도 위성영상데이터를 수신 및 수집할 수 있다.In addition, the inertial navigation system (INS) is a system that helps the
상술한 바와 같은 위성항법시스템(GPS) 및 관성항법시스템(INS)은 통합시스템으로 하여 위성영상수집장치(20)로 구축될 수 있다.The satellite navigation system (GPS) and the inertial navigation system (INS) as described above may be built into the satellite
상술한 바와 같이 위성항법시스템(GPS) 및 관성항법시스템(INS)을 포함하는 위성영상수집장치(20)에서 제공되는 각종 위성정보들은 드론(10) 및 지도제작장치(30)로 제공될 수 있다.As described above, various satellite information provided by the satellite
다음에, 지도제작장치(30)에서는 측량된 복수의 지상기준점을 기준으로 드론영상데이터에서 제 1 삼각망을 형성하여 복수의 제 1 지상기준점을 결정할 수 있다(단계130).Next, the
이러한 복수의 제 1 지상기준점을 결정하는 단계(130)에서는, 드론영상데이터의 좌표계와 분광단위를 기준좌표계 및 기준분광단위로 각각 변환한 후에, 복수의 지상기준점의 상호 거리에 따라 드론영상 평면을 분할하여 제 1 삼각망을 형성하고, 제 1 삼각망의 각 꼭지점을 복수의 제 1 지상기준점으로 결정할 수 있다.In the
예를 들면, 드론영상데이터와 위성영상데이터는 각 기하정보와 각 분광단위가 서로 상이하기 때문에, 기준좌표계 및 기준분광단위로 변환해 주어야 하는데, 기준좌표계로는 UTM 좌표계(universal transverse mercator coordinate system) 등을 적용할 수 있고, 기준분광단위로는 데시벨(dB) 단위 등을 적용할 수 있다.For example, drone image data and satellite image data have different geometric information and each spectral unit, so they must be converted into a reference coordinate system and a reference spectral unit. The reference coordinate system is the universal transverse mercator coordinate system etc. may be applied, and a decibel (dB) unit may be applied as a reference spectral unit.
그리고, 기준좌표계 및 기준분광단위로 변환된 드론영상데이터에서 측량된 복수의 지상기준점의 상호 거리에 따라 드론영상 평면을 분할할 수 있는데, 도 3의 (a)에 도시한 바와 같이 측량된 복수의 지상기준점의 상호 거리에 따라 드론영상 평면을 분할하여 보르노이 다이어그램(Voronoi diagram)을 제작하고, 도 3의 (b)에 도시한 바와 같이 보로노이 다이어그램의 복수의 지상기준점을 이용하여 들로네 삼각분할(Delaunay triangulation)을 수행할 수 있다.In addition, the drone image plane can be divided according to the mutual distances of the plurality of ground control points measured in the drone image data converted into the reference coordinate system and the reference spectral unit. A Voronoi diagram is produced by dividing the drone image plane according to the mutual distance of the ground reference points, and as shown in FIG. 3 (b), Delaunay triangulation using a plurality of ground reference points of the Voronoi diagram ( Delaunay triangulation).
또한, 들로네 삼각분할로 형성된 삼각형을 제 1 삼각망으로 하여 형성할 수 있으며, 제 1 삼각망의 각 꼭지점을 복수의 제 1 지상기준점으로 하여 결정할 수 있다.In addition, a triangle formed by Delaunay triangulation may be formed as a first triangular network, and each vertex of the first triangular network may be determined as a plurality of first ground control points.
한편, 상술한 바와 같이 형성된 제 1 삼각망은 다시 상대적으로 더 작은 제 1 서브 삼각망으로 분할될 수 있는데, 도 4의 (a)에 도시한 바와 같이 복수의 지상기준점이 1, 2, 3인 경우 이들을 이용한 들로네 삼각분할로 형성된 삼각형에서 각 변의 중앙점을 연결하는 4, 5, 6의 1차 서브 삼각형을 형성할 수 있으며, 제 1 삼각망은 4개의 1차 서브 삼각형으로 분할될 수 있다.Meanwhile, the first triangular network formed as described above can be further divided into relatively smaller first sub-triangular networks. As shown in FIG. 4 (a), a plurality of ground reference points are 1, 2, and 3 In this case, it is possible to form 4, 5, and 6 first-order sub-triangles connecting the center points of each side in the triangle formed by Delaunay triangulation using these, and the first triangular network can be divided into four first-order sub-triangles.
또한, 도 4의 (a)에 도시한 바와 같은 4개의 1차 서브 삼각형에서 각각의 1차 서브 삼각형을 다시 각 변의 중앙점을 연결하여 도 4의 (b)에 도시한 바와 같이 2차 서브 삼각형(즉, 7, 8, 9를 연결하는 2차 서브 삼각형, 7, 10, 11을 연결하는 2차 서브 삼각형, 8, 12, 13을 연결하는 2차 서브 삼각형, 9, 14, 15를 연결하는 2차 서브 삼각형)을 형성할 수 있으며, 4개의 1차 서브 삼각형은 분할되어 16개의 2차 서브 삼각형으로 분할될 수 있다.In addition, in the four primary sub-triangles as shown in FIG. 4(a), each primary sub-triangle is again connected to the center point of each side to form a secondary sub-triangle as shown in FIG. 4(b). (That is, a quadratic subtriangle connecting 7, 8, and 9, a quadratic subtriangle connecting 7, 10, and 11, a quadratic subtriangle connecting 8, 12, and 13, and a quadratic subtriangle connecting 9, 14, and 15) quadratic sub-triangles), and the four primary sub-triangles can be divided into 16 secondary sub-triangles.
상술한 바와 같이 분할된 2차 서브 삼각형들의 각 꼭지점(즉, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15)을 복수의 제 1 지상기준점으로 결정할 수 있다. 여기에서, 중복된 꼭지점들은 하나로 하여 추가될 수 있고, 이러한 서브 삼각망의 분할은 영상 정합 시 정합 효율성을 향상시킬 수 있도록 적어도 2회 이상 수행될 수 있다.As described above, each vertex (ie, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15) of the divided quadratic sub-triangles is set to a plurality of second sub-triangles. 1 can be determined as a ground control point. Here, overlapping vertices may be added as one, and division of the sub-triangular network may be performed at least twice or more to improve matching efficiency during image matching.
다음에, 지도제작장치(30)에서는 복수의 지상기준점을 기준으로 위성영상데이터에서 제 2 삼각망을 형성하여 복수의 제 2 지상기준점을 결정할 수 있다(단계140),Next, the
이러한 복수의 제 2 지상기준점을 결정하는 단계(130)에서는, 위성영상데이터의 좌표계와 분광단위를 기준좌표계 및 기준분광단위로 각각 변환한 후에, 복수의 지상기준점의 상호 거리에 따라 위성영상 평면을 분할하여 제 2 삼각망을 형성하고, 제 2 삼각망의 각 꼭지점을 복수의 제 2 지상기준점으로 결정할 수 있다.In
상술한 바와 같은 복수의 제 2 지상기준점의 구체적인 결정 과정에서, 기준좌표계 및 기준분광단위로 변환하는 전처리, 보르노이 다이어그램과 들로네 삼각분할, 제 2 삼각망 형성, 복수의 제 2 지상기준점 결정, 제 2 서브 삼각망 형성 등의 과정은 상기 130 단계와 유사하므로 그 구체적인 설명은 생략하기로 한다.In the specific process of determining the plurality of second ground control points as described above, preprocessing of conversion to the reference coordinate system and reference spectral unit, Bornoi diagram and Delaunay triangulation, formation of a second triangular network, determination of a plurality of second ground control points, Since the process of forming 2 sub-triangular networks is similar to step 130, detailed description thereof will be omitted.
다음에, 지도제작장치(30)에서는 복수의 제 1 지상기준점 및 복수의 제 2 지상기준점을 이용하여 지도제작영역에 대한 영상 정합을 수행할 수 있다(단계150).Next, the
이러한 영상 정합을 수행하는 단계(150)에서는, 복수의 제 1 지상기준점과 복수의 제 2 지상기준점을 상호 매칭시켜 영상 정합을 수행하되, 복수의 제 1 지상기준점 및 복수의 제 2 지상기준점은 각 형상정보를 이용하여 상호 매칭시킬 수 있다.In
예를 들면, 복수의 제 1 지상기준점 및 복수의 제 2 지상기준점은 각각 형상 정보로 표현할 수 있는데, 국부적(local) 영역에서 영상 내 중심점(빨간색 사각형 영역의 q)을 기준으로 주변에 존재하는 복수의 제 1 지상기준점(하얀색 사각형 영역의 pi)과의 유사성을 통해 형상 정보를 표현할 수 있다.For example, each of the plurality of first ground control points and the plurality of second ground control points can be expressed as shape information, and a plurality of points existing around the central point (q of the red square area) in the image in a local area. Shape information can be expressed through similarity with the first ground reference point (pi of the white rectangular area) of .
여기에서, 형상 정보를 표현하는 과정에 대해 설명하면, 도 5의 (a)에 도시한 바와 같이 일정 영역 안에서 5*5 픽셀 크기의 중심점(q)과 영역 안의 복수의 제 1 지상기준점(pi)이 존재할 경우 5*5 화소 크기의 중심점(q)과 복수의 제 1 지상기준점(pi)와의 차이의 제곱합으로 SSD(sum of square difference)가 계산될 수 있다.Here, the process of expressing the shape information will be described. As shown in FIG. When exists, a sum of square difference (SSD) may be calculated as the sum of squares of differences between the center point q having a size of 5*5 pixels and the plurality of first ground reference points pi.
그리고, 계산된 SSD를 중심점의 분광 분산값과 허용 가능한 잡음값 중 최대값으로 정규화하여 상관관계 표면(correlation surface) Sq(x,y)을 다음의 수학식 1과 같이 표현할 수 있고, 이는 도 5의 (b)와 같이 나타낼 수 있다.In addition, the calculated SSD is normalized by the maximum value of the spectral dispersion value of the central point and the allowable noise value, so that the correlation surface Sq (x,y) can be expressed as
여기에서, SSDq(x,y)는 (x,y)에서의 SSD를 의미하고, varnoise는 허용 가능한 잡음값(예를 들면, 3000 등으로 설정됨)을 의미하며, varauto(q)은 중심점의 분산값을 의미한다.Here, SSDq (x,y) means the SSD at (x,y), varnoise means the acceptable noise value (eg, set to 3000, etc.), and varauto (q) is the variance value of the center point.
다음에, 정규화된 Sq(x,y)는 도 5의 (c)에 도시한 바와 같이 크기 및 회전 변환된 객체를 동일하게 표현하는 로그 폴라(log-polar) 좌표계로 변환된 후에, 세부 영역으로 분할될 수 있다. 여기에서, 로그 폴라 변환은 2개 반경과 9개의 각으로 분할할 수 있다.Next, the normalized Sq (x, y) is converted into a log-polar coordinate system that equally expresses the size and rotation transformed object as shown in (c) of FIG. 5, and then the detailed area can be divided into Here, the log polar transform can be divided into 2 radii and 9 angles.
그리고, 각 분할된 영역은 영역 내에서 최대값으로 표현될 수 있고, 도 5의 (d)에 도시한 바와 같이 형상 정보를 표현하는 구성요소로 하여 LSS(local self similarity)를 생성할 수 있다. 이러한 형상 정보의 표현은 분광값에 불변하게 표현하기 위해서 0부터 1까지의 범위로 선형 스트레칭될 수 있다.In addition, each divided area may be expressed as a maximum value within the area, and as shown in FIG. 5(d), local self similarity (LSS) may be generated as a component expressing shape information. The expression of this shape information may be linearly stretched in the range of 0 to 1 in order to express it invariably to the spectral value.
상술한 바와 같이 생성된 LSS값들을 벡터형태로 연결하여 DLSS(dense local self similarity)를 생성할 수 있는데, DLSS는 LSS보다 상대적으로 더 확장된 영역을 설정하고, 확장된 영역 안에서 LSS 값들을 연결하여 생성한 벡터를 의미한다.Dense local self similarity (DLSS) can be created by connecting the LSS values generated as described above in a vector form. represents the vector created.
상술한 바와 같은 형상 정보(예를 들면, LSS, DLSS 등)로 표현되는 복수의 제 1 지상기준점과 복수의 제 2 지상기준점은 각각의 형상 정보에 따라 상호 매칭될 수 있으며, 이러한 상호 매칭을 통해 이미지 크기의 조절, 이미지 회전 등을 포함하는 영상 정합을 수행하여 정합영상을 생성할 수 있다.The plurality of first ground control points and the plurality of second ground control points represented by the shape information (eg, LSS, DLSS, etc.) as described above may be mutually matched according to each shape information, and through such mutual matching A registered image may be generated by performing image registration including image size adjustment, image rotation, and the like.
여기에서, 복수의 제 1 지상기준점과 복수의 제 2 지상기준점의 상호 매칭에서는 형상 정보로 표현되는 LSS값의 상관관계 또는 DLSS의 상관관계가 0.3-0.45의 임계값을 갖도록 하여 영상이 오정합되지 않도록 방지할 수 있으며, 제 1 지상기준점과 쌍을 이루는 제 2 지상기준점의 xy 변위량을 고려하여 상호 매칭될 수 있다.Here, in the mutual matching of the plurality of first ground control points and the plurality of second ground control points, the correlation of LSS values or the correlation of DLSS represented by shape information has a threshold value of 0.3-0.45 so that the images are not mismatched. It is possible to prevent this from happening, and it can be mutually matched in consideration of the amount of xy displacement of the second ground control point paired with the first ground control point.
다음에, 지도제작장치(30)에서는 영상 정합을 통해 수득된 정합영상의 모델링을 통해 정사영상을 구축하여 3차원 지도를 제작할 수 있다(단계160).Next, in the
이러한 3차원 지도를 제작하는 단계(160)에서는 정합영상이 포인트 클라우드 형태 또는 메시 형태로 모델링될 수 있는데, 포인트 클라우드 형태로 모델링되는 경우 수치표면모델(DSM : digital surface model), 수치표고모델(DEM : digital elevation model) 및 수치지형모델(DTM : digital terrain model) 중에서 선택된 적어도 하나를 이용하여 모델링될 수 있다.In the
여기에서, 수치표면모델(DSM)은 수목, 건물 등의 인공지물을 모두 포함하는 지표면 정보로서, 항공 LiDAR(light detection and ranging) 시스템을 이용하여 변하는 표고(elevation)값으로 채워진 포인트 클라우드(point cloud)의 집합체를 도출할 수 있다. 여기에서, 건물 지붕, 수목 상부, 전력선 및 다른 형상 표고도 포함할 있다.Here, the digital surface model (DSM) is ground surface information including all artificial features such as trees and buildings, and is a point cloud filled with changing elevation values using an aviation LiDAR (light detection and ranging) system. ) can be derived. Here, you may also include building roofs, treetops, power lines, and other feature elevations.
그리고, 수치표고모델(DEM)은 수목 등과 같은 자연지물과 건물 등의 인공지물을 포함하지 않는 지표면 자료로서, 아무것도 안 덮인 지표면의 표면을 X, Y의 함수로 표현한 것으로, 지형을 일정한 크기의 격자로 나누어 표고갑을 격자형으로 표현한 래스터 방식(raster)과, 불규칙삼각망으로 나누어 지표면을 표현한 TIN(triangular irregular network) 방식이 있는데, 다리와 도로 같은 지표면이 아닌 점들을 제거하여 부드러운 수치표고모델을 획득할 수 있다.In addition, the digital elevation model (DEM) is ground surface data that does not include natural features such as trees and artificial features such as buildings. There is a raster method in which the elevation is divided into grids and a triangular irregular network (TIN) method in which the ground surface is expressed by dividing into irregular triangles. A smooth digital elevation model is obtained by removing non-surface points such as bridges and roads. can do.
한편, 수치지형모델(DTM)은 정당한 밀도로 분포하는 지점들의 위치 및 표고의 수치 정보로서, 아무것도 안 덮인 지표지형의 선형특징(linear features)을 포함하며, 스테레오 사진 측량을 통해 획득할 수 있고, 일정 간격의 점분포와 등고선으로부터 보간법을 통해 수치표고모델을 도출할 수 있다.On the other hand, a digital terrain model (DTM) is numerical information on the location and elevation of points distributed at a reasonable density, including linear features of the surface topography covered with nothing, and can be obtained through stereo photogrammetry, A digital elevation model can be derived from the point distribution and contour lines at regular intervals through interpolation.
또한, 3차원 지도를 제작하는 단계(160)에서는 모델링된 정합영상을 영상 좌표에 따라 재배열하여 정사영상을 구축할 수 있다.In addition, in
한편, 정합영상이 메시 형태로 모델링될 경우 정합영상의 이미지로부터 깊이 정보를 계산하고, 계산된 깊이 정보를 기초로 지도제작영역의 메시(mesh) 이미지를 형성할 수 있으며, 드론영상데이터를 기초로 생성된 텍스처를 영상좌표에 따라 재배열하여 지도제작영역의 메시 이미지에 매핑시키는 방식으로 정사영상을 구축할 수 있다.Meanwhile, when the matched image is modeled in a mesh form, depth information may be calculated from the image of the matched image, and a mesh image of the mapping area may be formed based on the calculated depth information. An ortho image can be constructed by rearranging the generated texture according to the image coordinates and mapping it to the mesh image of the mapping area.
따라서, 본 발명의 실시예에 따르면, 지도제작영역에 대한 드론영상데이터와 위성영상데이터를 수집하고, 복수의 지상기준점을 기반으로 드론영상데이터 및 위성영상데이터를 이용하여 지도제작영역에 대한 영상 정합을 수행한 후에, 정합영상의 모델링을 통해 정사영상을 구축하여 3차원 지도를 제작함으로써, 원하는 지역의 실제 상황을 정확하게 표현할 수 있을 뿐만 아니라 3차원 지형 정보를 효과적으로 획득할 수 있다.Therefore, according to an embodiment of the present invention, drone image data and satellite image data for the map production area are collected, and image matching for the map production area is performed using the drone image data and satellite image data based on a plurality of ground control points. After performing, by constructing an orthoimage through modeling of the matched image to produce a 3D map, it is possible to accurately represent the actual situation of a desired region and effectively obtain 3D terrain information.
또한, 본 발명의 실시예에 따르면, 드론영상데이터에서 복수의 지상기준점을 기준으로 복수의 제 1 지상기준점을 결정하고, 위성영상데이터에서 복수의 지상기준점을 기준으로 복수의 제 2 지상기준점을 결정한 후에, 복수의 제 1 지상기준점과 복수의 제 2 지상기준점의 각 형상정보를 이용하여 상호 매칭시켜 영상 정합을 수행함으로써, 두 개의 서로 다른 영상데이터를 효과적으로 영상 정합시킬 수 있다.In addition, according to an embodiment of the present invention, a plurality of first ground reference points are determined based on a plurality of ground reference points in drone image data, and a plurality of second ground reference points are determined based on a plurality of ground reference points in satellite image data. Afterwards, by performing image matching by matching each other using shape information of the plurality of first ground control points and the plurality of second ground control points, two different image data can be effectively image matched.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210066886AKR102525519B1 (en) | 2021-05-24 | 2021-05-24 | Drone used 3d mapping method |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210066886AKR102525519B1 (en) | 2021-05-24 | 2021-05-24 | Drone used 3d mapping method |
| Publication Number | Publication Date |
|---|---|
| KR20220158570A KR20220158570A (en) | 2022-12-01 |
| KR102525519B1true KR102525519B1 (en) | 2023-04-24 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210066886AActiveKR102525519B1 (en) | 2021-05-24 | 2021-05-24 | Drone used 3d mapping method |
| Country | Link |
|---|---|
| KR (1) | KR102525519B1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102760355B1 (en)* | 2024-11-29 | 2025-01-31 | 서울대학교산학협력단 | Device and method for extracting 3d point cloud at construction site |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102626568B1 (en)* | 2023-01-30 | 2024-01-22 | 주식회사 유오케이 | Method for construction site management and computer program recorded on record-medium for executing method therefor |
| KR102621781B1 (en)* | 2023-05-16 | 2024-01-09 | 주식회사 라이드플럭스 | Method, computing device and computer program for extracting surface data from point cloud data |
| CN117115207A (en)* | 2023-09-11 | 2023-11-24 | 绿萌科技股份有限公司 | Visual appearance detection-oriented fruit moving target detection method |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170076438A1 (en) | 2015-08-31 | 2017-03-16 | Cape Analytics, Inc. | Systems and methods for analyzing remote sensing imagery |
| KR101775372B1 (en)* | 2017-05-02 | 2017-09-07 | (주)에스이랩 | Position accuracy enhancement system for Arirang satellite(Kompsat) image |
| KR102121974B1 (en) | 2019-12-05 | 2020-06-12 | 대한민국 | Disaster damage investigation·analysis system using drone and disaster damage investigation·analysis method |
| KR102154950B1 (en) | 2020-01-30 | 2020-09-10 | 주식회사 디지털커브 | Method and apparatus for matching image captured by unmanned air vehicle with map, cadaster, or satellite image |
| KR102195051B1 (en) | 2020-09-25 | 2020-12-24 | 김화경 | System and method for creating spatial information using image information from drone and computer program for the same |
| KR102239562B1 (en) | 2019-12-10 | 2021-04-13 | 주식회사 스트리스 | Fusion system between airborne and terrestrial observation data |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100912715B1 (en)* | 2007-12-17 | 2009-08-19 | 한국전자통신연구원 | Digital photogrammetry method and device by heterogeneous sensor integrated modeling |
| KR20110082903A (en) | 2010-01-12 | 2011-07-20 | (주) 충청에스엔지 | Ortho Correction of Aerial Photos and Optimization of Ortho Image Production |
| KR102195168B1 (en)* | 2017-11-21 | 2020-12-24 | 한국전자통신연구원 | 3d reconstruction terrain matching method of and apparatus thereof |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170076438A1 (en) | 2015-08-31 | 2017-03-16 | Cape Analytics, Inc. | Systems and methods for analyzing remote sensing imagery |
| KR101775372B1 (en)* | 2017-05-02 | 2017-09-07 | (주)에스이랩 | Position accuracy enhancement system for Arirang satellite(Kompsat) image |
| KR102121974B1 (en) | 2019-12-05 | 2020-06-12 | 대한민국 | Disaster damage investigation·analysis system using drone and disaster damage investigation·analysis method |
| KR102239562B1 (en) | 2019-12-10 | 2021-04-13 | 주식회사 스트리스 | Fusion system between airborne and terrestrial observation data |
| KR102154950B1 (en) | 2020-01-30 | 2020-09-10 | 주식회사 디지털커브 | Method and apparatus for matching image captured by unmanned air vehicle with map, cadaster, or satellite image |
| KR102195051B1 (en) | 2020-09-25 | 2020-12-24 | 김화경 | System and method for creating spatial information using image information from drone and computer program for the same |
| Title |
|---|
| Kim, H. K., et al., "Applications of image analysis techniques for the drone photography in water resources engineering" J. Korea Water Resour. Assoc. Vol. 53, No. 6 (2020)* |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102760355B1 (en)* | 2024-11-29 | 2025-01-31 | 서울대학교산학협력단 | Device and method for extracting 3d point cloud at construction site |
| Publication number | Publication date |
|---|---|
| KR20220158570A (en) | 2022-12-01 |
| Publication | Publication Date | Title |
|---|---|---|
| KR102525519B1 (en) | Drone used 3d mapping method | |
| KR102567800B1 (en) | Drone used 3d mapping method | |
| KR102007567B1 (en) | Stereo drone and method and system for calculating earth volume in non-control points using the same | |
| KR102001728B1 (en) | Method and system for acquiring three dimentional position coordinates in non-control points using stereo camera drone | |
| KR102557775B1 (en) | Drone used 3d mapping method | |
| CN106017472B (en) | Global route planning method, global route planning system and unmanned plane | |
| Vallet et al. | Photogrammetric performance of an ultra light weight swinglet" UAV" | |
| KR101933216B1 (en) | River topography information generation method using drone and geospatial information | |
| Nex et al. | UAV for 3D mapping applications: a review | |
| Ahmad et al. | Digital aerial imagery of unmanned aerial vehicle for various applications | |
| KR102567799B1 (en) | Drone used 3d mapping method | |
| WO2021082396A1 (en) | Unmanned aerial vehicle flight network modeling method based on low-altitude airspace restriction conditions | |
| CN110220502A (en) | It is a kind of that dynamic monitoring method is built based on paddling for stereoscopic monitoring technology | |
| CN114867988A (en) | Map comprising data for determining a route for an aircraft during a GNSS fault | |
| KR102587445B1 (en) | 3d mapping method with time series information using drone | |
| CN119467239B (en) | Data acquisition method and system for offshore wind turbine generator | |
| KR102488553B1 (en) | Drone used 3d mapping method | |
| KR20180127568A (en) | Method and apparatus of generating 3-dimension route applied geographic information | |
| Kaimaris et al. | UAV and the comparison of image processing software | |
| Gbopa et al. | Unmanned Aerial Vehicles for Three‑dimensional Mapping and Change Detection Analysis | |
| Udin et al. | Digital Terrain Model extraction using digital aerial imagery of Unmanned Aerial Vehicle | |
| Starek et al. | Application of unmanned aircraft systems for coastal mapping and resiliency | |
| CN109163718A (en) | A kind of unmanned plane autonomous navigation method towards groups of building | |
| Do et al. | Accuracy evaluation and terrain model creation of urban space using unmanned aerial vehicle system | |
| Caballero et al. | An automated UAV-assisted 2D mapping system for First Responders |
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | Patent event code:PA01091R01D Comment text:Patent Application Patent event date:20210524 | |
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection | Comment text:Notification of reason for refusal Patent event date:20221101 Patent event code:PE09021S01D | |
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration | Patent event code:PE07011S01D Comment text:Decision to Grant Registration Patent event date:20230419 | |
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment | Comment text:Registration of Establishment Patent event date:20230420 Patent event code:PR07011E01D | |
| PR1002 | Payment of registration fee | Payment date:20230420 End annual number:3 Start annual number:1 | |
| PG1601 | Publication of registration |