KR101314120B1 - Three-dimensional urban modeling apparatus and three-dimensional urban modeling method - Google Patents

Abstract

Translated fromKorean

수치표고 모델과 항공 및 지상에서 촬영한 영상을 이용하여 도시 건물의 3차원 외형과 3차원 지형을 모델링하고 사실적인 텍스쳐를 추출하도록 한 3차원 도시 모델링 장치 및 방법을 제시한다. 제시된 장치는 입력받은 항공 영상 및 지상 영상에 대한 촬영 당시의 촬영장치의 위치와 자세의 데이터를 보정하는 보정부, 보정부에 의한 보정 결과가 반영된 항공 영상 및 지상 영상을 근거로 3차원의 건물 모델을 생성하는 건물 모델 생성부, 입력받은 수치표고 모델을 3차원 메쉬화하여 3차원의 지형 모델을 생성하는 지형 모델 생성부, 항공 영상 및 지상 영상을 이용하여 건물 모델과 지형 모델에 대한 텍스쳐를 추출하는 텍스쳐 추출부, 및 텍스쳐를 이용한 건물 모델과 지형 모델의 정합에 의해 3차원의 도시 모델을 생성하는 모델 정합부를 포함한다. 수치 지형 데이터와 항공 영상, 지상 영상을 이용하여 사실적인 텍스쳐를 가진 3차원 메쉬를 생성할 수 있게 된다. 항공 및 지상 영상을 모두 활용함으로 인해 어떠한 뷰에서도 사실적인 장면을 연출할 수 있다.We present a three-dimensional urban modeling device and method for modeling three-dimensional appearance and three-dimensional topography of urban buildings and extracting realistic textures using digital elevation models and images taken from air and ground. The proposed device is a three-dimensional building model based on a correction part that corrects data of the position and attitude of the photographing device at the time of photographing the received aerial image and the ground image, and the aerial image and the ground image reflecting the correction result by the correction part. Building model generation unit for generating a model, terrain model generation unit for generating a three-dimensional terrain model by 3D meshing the received digital elevation model, extracting textures for the building model and the terrain model using aerial image and ground image And a texture extractor for generating a three-dimensional city model by matching a building model and a terrain model using the texture. Using digital terrain data, aerial images, and ground images, three-dimensional meshes with realistic textures can be created. By utilizing both aerial and ground video, you can create realistic scenes from any view.

Description

Translated fromKorean

3차원 도시 모델링 장치 및 방법{Three-dimensional urban modeling apparatus and three-dimensional urban modeling method}Three-dimensional urban modeling apparatus and three-dimensional urban modeling method

본 발명은 3차원 도시 모델링 장치 및 방법에 관한 것으로, 보다 상세하게는 수치표고 모델과 항공 및 지상에서 촬영한 영상을 이용한 3차원 도시 모델링 장치 및 방법에 관한 것이다.The present invention relates to a three-dimensional urban modeling apparatus and method, and more particularly to a three-dimensional urban modeling apparatus and method using a digital elevation model and images taken from the air and ground.

본 발명은 문화체육관광부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-030-02, 과제명: 방통융합형 Full 3D 복원기술 개발(표준화연계)].The present invention is derived from a study conducted as part of the IT source technology development project of the Ministry of Culture, Sports and Tourism [Task Management No .: 2008-F-030-02, Title: Development of FTS Full 3D Restoration Technology (Standardized) ].

초고속 인터넷의 확산에 힘입어, 고해상도 위성영상을 이용한 지도 서비스가 널리 대중화되고 있다.Due to the proliferation of high speed internet, map services using high resolution satellite images are becoming popular.

이에 더하여 지상에서 촬영한 영상을 이용한 로드뷰 또는 스트리트 뷰 형태의 서비스가 새로운 서비스로 각광받고 있다.In addition, a road-view or street-view type of service using images taken from the ground is emerging as a new service.

위성영상을 이용한 지도 서비스는 사용자가 찾고자 하는 지역의 위성영상에 건물, 도로명 등을 표시하고, 출발지와 목적지를 설정하면 경로를 찾아주기도 한다.The map service using satellite imagery displays buildings, road names, etc. on the satellite image of the area you want to find, and finds the route by setting a starting point and a destination.

또한, 그 지역에서 사용자가 지상에서 촬영한 영상을 서버에게로 업로드하여 위성영상 뿐만 아니라, 그 지역의 분위기를 지상 영상으로도 확인할 수 있다. 더불어, 사용자가 직접 제작한 3차원 모델을 공유하여 3차원으로 그 지역을 둘러볼 수도 있다.In addition, by uploading the image taken by the user from the ground in the area to the server, not only the satellite image, but also the atmosphere of the region as the ground image can be confirmed. In addition, you can explore the area in three dimensions by sharing a three-dimensional model created by the user.

하지만, 위성 영상을 이용한 지도 서비스는 지역에 따라 위성 영상의 해상도가 낮아서 분간이 어려운 곳이 있을 수 있고, 조금 단조로운 면이 있다.However, the map service using satellite image may be difficult to distinguish due to the low resolution of satellite image depending on the region, and it may be a bit monotonous.

이에 반해 최근에 시작된 로드뷰, 스트리트 뷰 등의 서비스는 주로 차량에 장착한 전방향 카메라(예컨대, 360도 전체를 한번에 촬영할 수 있는 장치 등)를 사용하여 영상을 획득하고 연속된 파노라마 영상 형식의 서비스를 제공한다. 그에 따라, 사용자는 실제 거리에서 주위를 둘러보는 듯한 환경에서 지역 정보를 알 수 있게 된다. 또한, 촬영시 GPS와 연동하여 촬영한 위치를 알고 있기 때문에, 위성영상과 연계한 서비스가 가능한다.On the other hand, recently launched services such as road view and street view mainly use omnidirectional cameras (e.g., devices capable of capturing 360 degrees at a time) to acquire images and provide continuous panorama video services. To provide. Accordingly, the user can know the local information in an environment that seems to look around on the actual street. In addition, since the location is taken in conjunction with the GPS at the time of shooting, the service can be linked to the satellite image.

이와 같은 종래 기술들은 2차원 평면정보를 서비스하는 것이다.Such prior art services two-dimensional plane information.

한편, 위성영상 또는 항공영상을 이용하여 건물의 3차원 모델을 생성하는 연구도 많이 수행되어오고 있다.On the other hand, many studies have been conducted to generate 3D models of buildings using satellite images or aerial images.

그러나, 대부분 영상에서 건물이 차지하는 영역이 작기 때문에 건물의 정확도가 떨어진다. 또한, 건물의 옆면의 텍스쳐가 없는 경우가 많으며, 전체적으로 텍스쳐의 품질이 떨어지는 문제점이 있다.However, in most images, the building occupies a small area, which reduces the accuracy of the building. In addition, there is often a texture of the side of the building, there is a problem in the quality of the texture as a whole.

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 수치표고 모델과 항공 및 지상에서 촬영한 영상을 이용하여 도시 건물의 3차원 외형과 3차원 지형을 모델링하고 사실적인 텍스쳐를 추출하도록 한 3차원 도시 모델링 장치 및 방법을 제공함에 그 목적이 있다.The present invention has been proposed to solve the above-mentioned problems, which is to model the three-dimensional appearance and three-dimensional topography of urban buildings and extract realistic textures using numerical elevation models and images taken from aerial and ground. An object of the present invention is to provide an apparatus and method for three-dimensional urban modeling.

본 발명은 수치표고 모델(DEM; Digital Elevation Model)에 더하여 수직 (vertical)및 경사(oblique) 방향으로 촬영한 항공 영상을 이용하여 건물의 3차원 모델을 생성하여 텍스쳐를 추출하고, 지상에서 촬영한 영상에서 3차원 모델을 좀 더 자세하게 모델링하거나, 보다 좋은 해상도의 텍스쳐를 추출할 수 있도록 함을 기술적 과제로 한다.The present invention generates a three-dimensional model of the building by using aerial images taken in the vertical and oblique directions in addition to the digital elevation model (DEM) to extract the texture and photographed from the ground. The technical challenge is to model the 3D model in detail in the image, or to extract textures of better resolution.

상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 3차원 도시 모델링 장치는, 입력받은 항공 영상 및 지상 영상에 대한 촬영 당시의 촬영장치의 위치와 자세의 데이터를 보정하는 보정부; 보정부에 의한 보정 결과가 반영된 항공 영상 및 지상 영상을 근거로 3차원의 건물 모델을 생성하는 건물 모델 생성부; 입력받은 수치표고 모델을 3차원 메쉬화하여 3차원의 지형 모델을 생성하는 지형 모델 생성부; 항공 영상 및 지상 영상을 이용하여 건물 모델과 지형 모델에 대한 텍스쳐를 추출하는 텍스쳐 추출부; 및 텍스쳐를 이용한 건물 모델과 지형 모델의 정합에 의해 3차원의 도시 모델을 생성하는 모델 정합부;를 포함한다.In order to achieve the above object, a three-dimensional city modeling apparatus according to a preferred embodiment of the present invention, a correction unit for correcting the data of the position and posture of the photographing device at the time of the recording of the received aerial image and ground image; A building model generation unit generating a 3D building model based on the aerial image and the ground image reflecting the correction result by the correction unit; A terrain model generation unit for generating a three-dimensional terrain model by three-dimensional meshing the received digital elevation model; A texture extractor for extracting textures for a building model and a terrain model using aerial and ground images; And a model matching unit generating a 3D city model by matching the building model with the terrain model using the texture.

보정부는 촬영장치의 위치와 자세의 데이터를 사용하여, 항공 영상 및 지상 영상중에서 모델링할 건물을 촬영한 영상만을 선별하여 보정을 행한다. 이 경우, 촬영장치의 위치와 자세의 데이터를 입력받아 보정부에게로 보내는 위치 자세 데이터 입력부를 추가로 포함한다.The correction unit selects and corrects only an image photographing a building to be modeled from the aerial image and the ground image using data of the position and the attitude of the photographing apparatus. In this case, the apparatus further includes a position posture data input unit which receives data of the position and posture of the photographing apparatus and sends the data to the correction unit.

보정부는 촬영장치의 위치와 자세의 데이터가 없는 영상이 입력된 경우, 미리 구축한 3차원 건물 모델의 정점과 영상의 특징점 대응관계 및 미리 계산한 촬영장치의 내부 인자를 이용하여 항공 영상 및 지상 영상에 대한 촬영 당시의 촬영장치 위치와 자세의 데이터를 계산해 낸다.The correction unit, when the image without the data of the position and attitude of the photographing device is input, the aerial image and the ground image by using the relationship between the vertices of the pre-constructed three-dimensional building model and the feature point of the image and the internal factors of the pre-calculated device Calculate the data of the photographing device position and posture at the time of photographing.

건물 모델 생성부는 건물의 주요 형태를 구성하는 기본 도형을 보정된 영상에 대응시켜 제 1의 3차원 건물 모델을 생성하고, 제 1의 3차원 건물 모델을 3차원 메쉬 편집 기법으로 편집하여 건물의 세부 외형을 모델링함에 의해 3차원의 건물 모델을 생성한다.The building model generator generates the first three-dimensional building model by mapping the basic shapes constituting the main shape of the building to the corrected image, and edits the first three-dimensional building model by using a three-dimensional mesh editing technique. By modeling the appearance, a three-dimensional building model is created.

건물 모델 생성부는 항공 영상을 이용하여 제 1의 3차원 건물 모델을 생성하고, 지상 영상을 이용하여 제 1의 3차원 건물 모델의 지면으로부터 기설정된 영역을 3차원 모델링함에 의해 3차원의 건물 모델을 생성한다.The building model generation unit generates a first three-dimensional building model by using an aerial image and three-dimensional building model by three-dimensional modeling of a predetermined area from the ground of the first three-dimensional building model by using a ground image. Create

텍스쳐 추출부는 건물 모델 생성부에 의한 3차원의 건물 모델을 구성하는 각 면과 영상간의 대응관계를 이용하여 3차원의 건물 모델의 각 면의 텍스쳐를 추출한다.The texture extractor extracts the texture of each face of the three-dimensional building model by using the correspondence between each face and the image constituting the three-dimensional building model by the building model generator.

텍스쳐 추출부는 건물 모델을 구성하는 각 면에 가려짐이 없는 직교 투영된 텍스쳐를 추출한다.The texture extractor extracts orthogonal projected textures that are not obscured on each side of the building model.

텍스쳐 추출부는 항공 영상중에서 수직 방향으로 촬영한 영상과 지형 모델간의 대응관계를 설정하여 텍스쳐를 추출한다.The texture extractor extracts the texture by setting a correspondence relationship between the terrain image and the image taken in the vertical direction from the aerial image.

텍스쳐 추출부는 지형 모델에 대해 가려짐이 없는 텍스쳐를 추출한다.The texture extractor extracts an unobstructed texture for the terrain model.

모델 정합부는 건물 모델을 수치표고 모델의 맵투영 좌표계로 변환시킴에 의해 지형 모델과 정합된 3차원의 도시 모델을 생성한다.
The model matching unit generates a three-dimensional city model matched with the terrain model by converting the building model into a map projection coordinate system of the numerical elevation model.

본 발명의 바람직한 실시양태에 따른 3차원 도시 모델링 방법은, 보정부가, 입력받은 항공 영상 및 지상 영상에 대한 촬영 당시의 촬영장치의 위치와 자세의 데이터를 보정하는 보정 단계; 건물 모델 생성부가, 보정 단계에 의한 보정 결과가 반영된 항공 영상 및 지상 영상을 근거로 3차원의 건물 모델을 생성하는 건물 모델 생성 단계; 지형 모델 생성부가, 입력받은 수치표고 모델을 3차원 메쉬화하여 3차원의 지형 모델을 생성하는 지형 모델 생성 단계; 텍스쳐 추출부가, 항공 영상 및 지상 영상을 이용하여 건물 모델과 지형 모델에 대한 텍스쳐를 추출하는 텍스쳐 추출 단계; 및 모델 정합부가, 텍스쳐를 이용한 건물 모델과 지형 모델의 정합을 통하여 3차원의 도시 모델을 생성하는 모델 정합 단계;를 포함한다.Three-dimensional urban modeling method according to a preferred embodiment of the present invention, the correction unit, a correction step of correcting the data of the position and attitude of the photographing device at the time of the shooting of the received aerial image and the ground image; A building model generation step of generating, by the building model generation unit, a three-dimensional building model based on the aerial image and the ground image reflecting the correction result by the correction step; A terrain model generation unit, generating a three-dimensional terrain model by three-dimensionally meshing the received digital elevation model; A texture extraction step of extracting textures of the building model and the terrain model using the aerial image and the ground image; And a model matching step of generating, by the model matching unit, a three-dimensional urban model through registration of the building model and the terrain model using the texture.

보정 단계는 촬영장치의 위치와 자세의 데이터를 사용하여, 항공 영상 및 지상 영상중에서 모델링할 건물을 촬영한 영상만을 선별하여 보정을 행한다.The correction step selects and corrects only an image of a building to be modeled from the aerial image and the ground image by using the position and posture data of the photographing apparatus.

건물 모델 생성 단계는, 건물의 주요 형태를 구성하는 기본 도형을 보정단계에 의해 보정된 영상에 대응시켜 제 1의 3차원 건물 모델을 생성하는 단계; 및 제 1의 3차원 건물 모델을 3차원 메쉬 편집 기법으로 편집하여 건물의 세부 외형을 모델링하는 단계;를 포함한다.The building model generation step may include: generating a first three-dimensional building model by mapping the basic figure constituting the main shape of the building to the image corrected by the correction step; And modeling the detailed appearance of the building by editing the first three-dimensional building model by a three-dimensional mesh editing technique.

건물 모델 생성 단계는, 항공 영상을 이용하여 제 1의 3차원 건물 모델을 생성하는 단계; 및 지상 영상을 이용하여 제 1의 3차원 건물 모델의 지면으로부터 기설정된 영역을 3차원 모델링하는 단계;를 포함한다.The building model generation step may include generating a first three-dimensional building model using an aerial image; And three-dimensional modeling of the predetermined area from the ground of the first three-dimensional building model using the ground image.

텍스쳐 추출 단계는 건물 모델을 구성하는 각 면과 영상간의 대응관계를 이용하여 건물 모델의 각 면의 텍스쳐를 추출한다.In the texture extraction step, the texture of each face of the building model is extracted by using the correspondence between each face and the image constituting the building model.

텍스쳐 추출 단계는 건물 모델을 구성하는 각 면에 가려짐이 없는 직교 투영된 텍스쳐를 추출한다.The texture extraction step extracts orthogonal projected textures that are not obscured on each side of the building model.

텍스쳐 추출 단계는 항공 영상중에서 수직 방향으로 촬영한 영상과 지형 모델간의 대응관계를 설정하여 텍스쳐를 추출한다.The texture extraction step extracts the texture by setting the correspondence between the terrain image and the image taken in the vertical direction from the aerial image.

텍스쳐 추출 단계는 지형 모델에 대해 가려짐이 없는 텍스쳐를 추출한다.The texture extraction step extracts an unobstructed texture for the terrain model.

모델 정합 단계는 건물 모델을 수치표고 모델의 맵투영 좌표계로 변환시킴에 의해 지형 모델과 정합된 3차원의 도시 모델을 생성한다.The model matching step generates a three-dimensional city model matched with the terrain model by converting the building model into a map projection coordinate system of the numerical elevation model.

이러한 구성의 본 발명에 따르면, 수치 지형 데이터와 항공 영상, 지상 영상을 이용하여 사실적인 텍스쳐를 가진 3차원 메쉬를 생성할 수 있게 된다.According to the present invention having such a configuration, it is possible to generate a three-dimensional mesh having a realistic texture using digital terrain data, aerial image, and ground image.

항공 및 지상 영상을 모두 활용함으로 인해 어떠한 뷰에서도 사실적인 장면을 연출할 수 있다.By utilizing both aerial and ground video, you can create realistic scenes from any view.

수치표고 모델에 정합된 3차원 도시 모델이므로, 3차원 지도 서비스, 도시 계획 등에 다양하게 활용될 수 있는 장점이 있다.Since it is a three-dimensional city model matched to the digital elevation model, there is an advantage that can be used in various ways, such as three-dimensional map services, urban planning.

도 1은 본 발명의 실시예에 따른 3차원 도시 모델링 장치가 채용된 시스템을 설명하기 위한 블럭도이다.
도 2는 본 발명의 실시예에 따른 3차원 도시 모델링 방법을 설명하기 위한 플로우차트이다.1 is a block diagram illustrating a system employing a three-dimensional city modeling apparatus according to an embodiment of the present invention.
2 is a flowchart for explaining a three-dimensional city modeling method according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 3차원 도시 모델링 장치 및 방법에 대하여 설명하면 다음과 같다. 본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니된다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
Hereinafter, a 3D city modeling apparatus and method according to an embodiment of the present invention will be described with reference to the accompanying drawings. Prior to the detailed description of the present invention, terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms. Therefore, the embodiments described in this specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention and do not represent all the technical ideas of the present invention. Therefore, It is to be understood that equivalents and modifications are possible.

다수의 영상(예컨대, 항공 영상, 지상 영상)으로부터 3차원 모델을 생성하기 위해서는 촬영 당시 카메라의 정확한 위치와 자세를 알아야 한다. 또한, 본 발명에서와 같이 도시의 3차원 모델을 생성하기 위해서는 수많은 건물을 3차원 모델링해야 한다. 이를 위해서 수많은 영상이 필요하기 때문에 건물별로 따로 3차원 모델링하여 수치표고 모델의 좌표계(예컨대, TM(Transverse Mercator))에 맞게 정합하는 접근이 필요하다. 따라서, 수많은 항공 영상 및 지상 영상에서 모델링하려는 건물이 촬상된 영상을 선별하는 작업이 선행되어야 한다. 이를 위해서, 촬영 당시의 카메라의 위치와 자세 정보를 별도로 입력받는다. 최근에는 항공 영상(사진 포함) 뿐만 아니라 지상 영상(사진 포함)도 GPS/INS 장비가 연동되어 촬영 당시의 카메라 위치와 자세 정보를 함께 기록하는 기술이 개발되어 있다. 이러한 장비를 활용하여 영상과 함께 카메라의 위치와 자세 데이터를 취득하면 된다. 본 발명에서와 같이 도시지역을 3차원 모델링하기 위해서는 짧은 시간에 많은 영상을 취득해야 하므로, GPS/INS 장비가 탑재된 차량을 운행하면서 영상을 취득할 수 있다. 하지만, 일반적으로 보급된 대부분의 카메라는 GPS가 연동되어 있지 않다. 이런 경우는 사용자가 어떤 건물을 촬영하였는지 특정해줌으로써 GPS/INS 장비의 역할을 대체할 수 있다.
In order to generate a 3D model from a plurality of images (eg, aerial image, ground image), it is necessary to know the exact position and posture of the camera at the time of shooting. In addition, in order to generate a three-dimensional model of the city, as in the present invention, many buildings must be three-dimensional modeled. Since many images are required for this purpose, a 3D modeling for each building is required to match the coordinate system (for example, TM (Transverse Mercator)) of the digital elevation model. Therefore, the work of selecting images captured by buildings to be modeled from numerous aerial images and ground images should be preceded. To this end, the position and posture information of the camera at the time of shooting is separately input. Recently, a technology for recording not only aerial images (including photographs) but also ground images (including photographs) in conjunction with GPS / INS equipment has been developed to record camera position and posture information at the time of shooting. You can use these devices to acquire camera position and posture data along with images. In order to three-dimensional model the urban area as in the present invention, a large number of images must be acquired in a short time, so that the image can be acquired while driving a vehicle equipped with GPS / INS equipment. However, most cameras in general are not GPS-linked. In this case, you can replace the role of the GPS / INS equipment by specifying which building the user has taken.

도 1은 본 발명의 실시예에 따른 3차원 도시 모델링 장치가 채용된 시스템을 설명하기 위한 블럭도이다.1 is a block diagram illustrating a system employing a three-dimensional city modeling apparatus according to an embodiment of the present invention.

도 1의 시스템은 영상 입력부(10), 수치표고 모델 입력부(20), 위치 자세 데이터 입력부(30), 건물 모델 저장부(40), 3차원 모델링부(50), 및 디스플레이부(60)를 포함한다.The system of FIG. 1 includes animage input unit 10, a numerical elevationmodel input unit 20, a position posedata input unit 30, a buildingmodel storage unit 40, a three-dimensional modeling unit 50, and adisplay unit 60. Include.

영상 입력부(10)는 컴퓨터 등에 저장된 도시의 상공에서 촬영한 항공 영상과 지상에서 촬영한 지상 영상을 입력받는다.Theimage input unit 10 receives an aerial image taken from the city stored in the computer and the ground image taken from the ground.

수치표고 모델 입력부(20)는 수치표고 모델(DEM; Digital Elevation Model)을 입력받는다. 여기서, 수치표고 모델이라 함은 일정한 간격으로 지형의 변화지점의 표고를 포함한 3차원(x,y,z) 모형을 말한다.The digital elevationmodel input unit 20 receives a digital elevation model (DEM). Here, the numerical elevation model refers to a three-dimensional (x, y, z) model including the elevation of the change point of the terrain at regular intervals.

위치 자세 데이터 입력부(30)는 항공 영상 및 지상 영상의 촬영시 촬영장치(예컨대, 카메라)의 위치와 자세의 데이터를 위치/자세 센서(도시 생략)로부터 입력받는다.The position posturedata input unit 30 receives data of a position and a posture of a photographing apparatus (eg, a camera) from a position / posture sensor (not shown) when capturing the aerial image and the ground image.

건물 모델 저장부(40)는 다양한 3차원의 건물 모델이 저장되어 있다. 물론, 건물 모델 저장부(40)는 후술할 3차원 모델링부(50)에 의해 생성된 3차원의 건물 모델을 저장하기도 한다. 필요에 따라서, 건물 모델 저장부(40)의 정보는 갱신가능하다.The buildingmodel storage unit 40 stores various three-dimensional building models. Of course, the buildingmodel storage unit 40 also stores the three-dimensional building model generated by the three-dimensional modeling unit 50 to be described later. If necessary, the information of thebuilding model storage 40 can be updated.

3차원 모델링부(50)는 실제의 3차원 도시 모델을 생성한다. 3차원 모델링부(50)의 내부 구성에 대한 자세한 설명은 후술한다.The three-dimensional modeling unit 50 generates an actual three-dimensional city model. Detailed description of the internal configuration of the three-dimensional modeling unit 50 will be described later.

디스플레이부(60)는 3차원 모델링부(50)에서 생성한 3차원 도시 모델을 화면에 출력한다.Thedisplay unit 60 outputs the 3D city model generated by the3D modeling unit 50 to the screen.

3차원 모델링부(50)는 카메라 보정부(72), 건물 모델 생성부(74), 지형 모델 생성부(76), 텍스쳐 추출부(78), 및 모델 정합부(80)를 포함한다.The3D modeling unit 50 includes acamera corrector 72, abuilding model generator 74, aterrain model generator 76, atexture extractor 78, and amodel matcher 80.

카메라 보정부(72)는 영상 입력부(10)로부터의 항공 영상 및 지상 영상에 대한 촬영 당시의 카메라의 위치와 자세의 데이터를 보정한다. 위치 자세 데이터 입력부(30)에 입력된 카메라의 위치 및 자세 데이터는 위치/자세 센서(예컨대, GPS/INS 장비; 도시 생략) 자체의 오차에 더하여 항공기 및 차량의 속도로 인해 오차를 가지게 된다. 그에 따라, 카메라 보정부(72)는 이러한 오차를 줄이고 촬영 당시의 카메라의 위치와 자세를 정확히 알기 위해서 영상간의 대응점을 이용하여 정확한 카메라 보정을 한다. 이때, 촬영 전에 카메라의 초점거리, 주점(principal point) 좌표 등의 내부 인자 및 렌즈 왜곡 계수 등은 미리 계측된다. 특정 건물을 촬상한 영상들이 선별되면 카메라 보정부(72)는 영상의 특징점들을 추출하고 영상간의 대응관계를 설정하며 잘못 설정된 대응관계를 제거하는 절차를 거친다. 각 단계는 기존에 알려진 방법을 사용하거나, 사용자가 직접 설정 또는 편집할 수 있는 인터페이스를 통해 수동으로 수행할 수도 있다. 영상간 대응관계가 설정이 되면 카메라 보정부(72)는 미리 계측한 내부 인자와 대응관계를 이용하여 카메라의 위치와 자세를 계산한다. 그리고, 카메라 보정부(72)는 번들조정(bundle adjustment)과 같은 기법을 통해 재투영(reprojection) 오차를 줄이는 최적화를 수행한다. 즉, 카메라 보정부(72)는 다수의 영상에서 위치/자세 센서(도시 생략)로부터 획득한 촬영 당시의 카메라의 위치와 자세의 데이터를 사용하여, 모델링할 건물을 촬영한 영상만을 선별하여 보정을 행한다. 한편, 카메라 보정부(72)는 촬영 당시의 카메라 위치 및 자세의 데이터가 없는 영상(즉, 위치 자세 데이터 입력부(30)를 갖추지 않은 경우)에 대해서는 건물 모델 저장부(40)에 미리 저장(구축)되어 있는 3차원 건물 모델의 정점과 영상의 특징점 대응관계 및 미리 계산한 카메라 내부 인자 등을 이용하여 영상의 촬영 당시의 카메라 위치와 자세를 계산해 낸다. 이러한 카메라 보정부(72)는 본 발명의 특허청구범위에 기재된 보정부로 이해함이 바람직하다. 도 1에는 위치 자세 데이터 입력부(30)와 건물 모델 저장부(40)가 모두 포함되는 것처럼 도시하였으나, 위치 자세 데이터 입력부(30)와 건물 모델 저장부(40)중 어느 하나만 있어도 본 발명을 구현하는데는 아무런 문제가 없다.Thecamera corrector 72 corrects data of the position and attitude of the camera at the time of photographing the aerial image and the ground image from theimage input unit 10. The position and attitude data of the camera input to the position attitudedata input unit 30 has an error due to the speed of the aircraft and the vehicle in addition to the error of the position / posture sensor (eg, GPS / INS equipment; not shown). Accordingly, thecamera correction unit 72 corrects such an error and corrects the camera accurately by using corresponding points between the images in order to accurately know the position and posture of the camera at the time of shooting. At this time, the internal factors such as the focal length, principal point coordinates, lens distortion coefficients, etc. of the camera are measured before shooting. When images of a specific building are selected, thecamera correction unit 72 performs a procedure of extracting feature points of an image, setting a correspondence between images, and removing an incorrectly established correspondence. Each step can be performed using known methods or manually through an interface that can be set or edited by the user. When the correspondence relationship between the images is set, thecamera correction unit 72 calculates the position and attitude of the camera using the previously measured internal factors and the correspondence relationship. Then, thecamera correction unit 72 performs optimization to reduce the reprojection error through a technique such as bundle adjustment. That is, thecamera correction unit 72 selects and corrects only the image of the image of the building to be modeled by using the data of the position and the posture of the camera at the time of the image acquired from the position / posture sensor (not shown) in the plurality of images. Do it. On the other hand, thecamera correction unit 72 is stored in advance in the buildingmodel storage unit 40 for the image (that is, not equipped with the position posture data input unit 30) without the data of the camera position and posture at the time of shooting (building Calculate the camera position and posture at the time of image capture using the relation of vertices of 3D building model, feature point correspondence of image and pre-calculated internal factor of camera. Such acamera correction unit 72 is preferably understood as a correction unit described in the claims of the present invention. Although FIG. 1 illustrates that the position attitudedata input unit 30 and the buildingmodel storage unit 40 are both included, only one of the position attitudedata input unit 30 and the buildingmodel storage unit 40 implements the present invention. There is no problem.

건물 모델 생성부(74)는 카메라 보정부(72)의 보정 결과를 사용한다. 통상적으로, 카메라 보정된 두 영상에서 대응점을 알고 있으면 각 카메라의 원점과 영상의 특징점을 지나는 3차원 직선을 알 수 있다. 두 영상의 대응점에 대해 3차원 직선의 교점을 계산함으로써 2차원으로 촬상된 점의 3차원 좌표를 알 수 있다. 이와 같은 방식으로 건물 외벽에 대한 무수히 많은 3차원 좌표를 계산하면 이들을 이용해서 3차원 메쉬로 재구성할 수 있다. 이와 같은 방법은 자동으로 3차원 메쉬를 생성할 수 있으나, 이렇게 생성한 메쉬는 인터넷 등의 서비스로 활용하기에는 데이터 크기가 너무 큰 단점이 있다. 이를 해결하기 위해, 건물 모델 생성부(74)는 건물의 주요 형태를 구성하는 직육면체, 평면 등의 기본 도형(프리미티브 도형)을 각 영상의 특징점에 대응되게 삽입하여 1차적으로 대강의 3차원 건물 모델을 만든다. 그리고, 건물 모델 생성부(74)는 건물의 세부적인 외형에 대해 대강의 3차원 건물 모델을 편집하여 모델링한다. 이를 위해, 건물 모델 생성부(74)는 면(face)의 분할, 밀어내기/당기기(push/pull), 병합(merge) 등의 3차원 메쉬 편집 기법을 사용한다. 이와 같은 3차원 모델링 기법을 통해 데이터 크기가 작은 대신 기하학적으로 정확한 3차원 모델을 사실적으로 생성할 수 있다. 이와 다르게는, 건물 모델 생성부(74)는 항공 영상을 이용하여 제 1의 3차원 건물 모델을 생성한다. 그리고, 건물 모델 생성부(74)는 제 1의 3차원 건물 모델의 지면으로부터 기설정된 영역에 대해 지상 영상을 이용하여 3차원 모델링함에 의해 원하는 3차원의 건물 모델을 최종적으로 생성한다. 즉, 많은 건물이 옥상에 구조물을 가지고 있기 때문에, 건물 모델 생성부(74)는 항공 영상들을 이용해서 먼저 3차원 건물을 생성하고, 지상 영상을 이용하여 지면에 가까운 부분의 세밀한 3차원 모델링 작업을 수행한다. 이때, 위치/자세 센서(예컨대, GPS/INS 장비)가 연동되지 않은 지상 카메라로 촬영한 영상이 사용될 수 있다. 이 경우에는 이미 건물 모델 저장부(40)가 3차원 모델링한 건물 모델을 가지고 있으므로 이를 지상 카메라의 내부 인자를 사용한 가상 카메라로 렌더링한다. 그에 따라, 3차원 네비게이션을 통해 촬상된 영상에 근접하게 가상 카메라의 위치와 자세를 찾아낸다. 그리고, 3차원 건물의 중요한 정점(vertex)과 지상 영상의 대응되는 대응점 지정을 통해 지상 영상을 촬영한 당시의 카메라 위치와 자세를 계산할 수 있다. 이렇게 지상 카메라에 대한 카메라 보정을 한 후에 상기의 3차원 모델링 기법을 이용하여 3차원 건물을 더 자세히 모델링할 수 있다.The buildingmodel generation unit 74 uses the correction result of thecamera correction unit 72. In general, if a corresponding point is known in two camera-corrected images, a three-dimensional straight line passing through the origin of each camera and the feature point of the image may be known. By calculating the intersection point of the three-dimensional straight line with respect to the corresponding point of the two images, it is possible to know the three-dimensional coordinates of the two-dimensional imaged point. In this way, countless three-dimensional coordinates of the building's exterior walls can be used to reconstruct them into three-dimensional meshes. Such a method can automatically generate a three-dimensional mesh, but the generated mesh has a disadvantage that the data size is too large to be used as a service such as the Internet. In order to solve this problem, thebuilding model generator 74 inserts a basic shape (primitive shape) such as a rectangular parallelepiped or a plane constituting the main shape of the building corresponding to the feature points of each image. Make Thebuilding model generator 74 edits and models the rough three-dimensional building model for the detailed appearance of the building. To this end, thebuilding model generator 74 uses a three-dimensional mesh editing technique such as dividing a face, pushing / pulling, merging, and the like. This three-dimensional modeling technique allows for the realistic creation of geometrically accurate three-dimensional models instead of small data sizes. Alternatively, thebuilding model generator 74 generates a first 3D building model using an aerial image. Thebuilding model generator 74 finally generates a desired three-dimensional building model by three-dimensional modeling of a predetermined area from the ground of the first three-dimensional building model using a ground image. That is, since many buildings have a structure on the roof, thebuilding model generator 74 first generates a three-dimensional building using aerial images, and then performs detailed three-dimensional modeling of a portion close to the ground using the ground image. To perform. In this case, an image captured by a ground camera to which a position / posture sensor (eg, GPS / INS equipment) is not linked may be used. In this case, since the buildingmodel storage unit 40 already has a three-dimensional model of the building model, it is rendered as a virtual camera using the internal factors of the ground camera. Accordingly, the position and posture of the virtual camera are found close to the image captured through the 3D navigation. Then, the camera position and posture at the time of photographing the ground image can be calculated by designating the corresponding vertex of the 3D building and the corresponding vertex of the ground image. After the camera calibration for the ground camera, the three-dimensional building can be modeled in more detail using the three-dimensional modeling technique.

지형 모델 생성부(76)는 수치표고 모델 입력부(20)로부터의 수치표고 모델을 3차원 메쉬화하여 3차원의 지형 모델을 생성한다. 수치표고 모델은 균등하게 분할된 지면의 각 평면 좌표에 대한 높이 값을 가지고 있으므로, 지형 모델 생성부(76)는 이를 3차원 메쉬화하여 지형의 3차원 모델을 생성한다.The terrainmodel generation unit 76 generates a three-dimensional terrain model by three-dimensional meshing the numerical elevation model from the numerical elevationmodel input unit 20. Since the numerical elevation model has a height value for each plane coordinate of the ground divided evenly, theterrain model generator 76 generates a three-dimensional model of the terrain by three-dimensional meshing it.

텍스쳐 추출부(78)는 영상 입력부(10)로부터의 항공 영상 및 지상 영상을 이용하여 건물 모델 생성부(74)로부터의 건물 모델과 지형 모델 생성부(76)로부터의 지형 모델에 대한 텍스쳐를 추출한다. 건물의 3차원 모델링 과정을 통해 3차원 건물 모델을 구성하는 각 면과 영상간의 대응관계가 파악된다. 텍스쳐 추출부(78)는 이 정보를 이용하여 3차원 건물 모델의 각 면의 텍스쳐를 추출한다. 이때, 고해상도 텍스쳐를 추출하기 위해, 텍스쳐 추출부(78)는 면이 영상에서 가장 넓은 면적을 차지하는 영상에서 호모그래피(homography) 행렬을 이용하여 직교투영된 텍스쳐를 추출한다. 텍스쳐 추출부(78)는 나무 등에 가려진 부분은 다른 위치에서 촬영한 영상에서 텍스쳐를 추출한다. 만약, 가려지지 않게 촬영된 영상이 없을 때는 텍스쳐 추출부(78)는 인페인팅(inpainting) 기법을 이용하여 가리는 물체를 분리하여 삭제하고, 주변의 값으로 채워서 가려짐이 없는 텍스쳐를 생성한다. 한편, 지형 모델의 텍스쳐를 추출하는 경우, 텍스쳐 추출부(78)는 항공 영상중에서 수직(vertical) 방향으로 촬영한 영상에서 지형의 3차원 메쉬와 영상의 대응관계를 설정하여 텍스쳐를 추출한다. 수직 영상(즉, 수직(vertical) 방향으로 촬영한 영상)을 사용하면 텍스쳐 추출부(78)는 호모그래피 행렬을 사용하지 않고 텍스쳐를 추출할 수 있다. 수직 영상이 없는 영역에 대해서는 텍스쳐 추출부(78)는 비스듬하게 촬영한 경사(oblique) 영상이나 지상 영상을 사용한다. 마찬가지로, 가리는 물체가 있을 경우에는 텍스쳐 추출부(78)는 인페인팅 기법을 이용하여 가리는 물체를 삭제한 텍스쳐를 추출한다.Thetexture extractor 78 extracts textures of the building model from thebuilding model generator 74 and the terrain model from theterrain model generator 76 by using the aerial image and the ground image from theimage input unit 10. do. Through the three-dimensional modeling process of the building, the correspondence between the faces and the images of the three-dimensional building model is identified. Thetexture extractor 78 uses this information to extract the texture of each face of the three-dimensional building model. At this time, in order to extract the high resolution texture, thetexture extractor 78 extracts orthogonal textures using a homography matrix in an image in which the plane occupies the largest area in the image. Thetexture extractor 78 extracts a texture from an image captured at another position of a part covered by a tree or the like. If there is no image captured unobscured, thetexture extractor 78 separates and deletes the obscured object by using an inpainting technique, and fills it with surrounding values to generate an unobstructed texture. On the other hand, in the case of extracting the texture of the terrain model, thetexture extractor 78 extracts the texture by setting the correspondence between the three-dimensional mesh of the terrain and the image from the image taken in the vertical direction from the aerial image. When using a vertical image (ie, an image photographed in a vertical direction), thetexture extractor 78 may extract a texture without using a homography matrix. For an area without a vertical image, thetexture extractor 78 uses an oblique image or a ground image taken at an angle. Similarly, when there is an obscured object, thetexture extractor 78 extracts a texture from which the obscured object is deleted using an inpainting technique.

모델 정합부(80)는 텍스쳐 추출부(78)의 텍스쳐를 이용한 건물 모델과 지형 모델의 정합에 의해 3차원의 도시 모델을 생성한다. 건물 모델 생성부(74)에서 생성되는 다수의 3차원 건물 모델은 제각기 로컬 좌표계(x,y,z의 정보를 가짐)를 가지고 있다. 모델 정합부(80)는 각각의 로컬 좌표계를 갖는 3차원 건물 모델을 수치표고 모델에서 사용한 맵투영(map projection) 좌표계로 변환시켜 지형과 건물이 정합된 3차원 도시 모델을 생성한다. 즉, 3차원 건물 모델과 지형 모델의 정합은 3차원 건물 메쉬의 바닥면에 있는 정점을 수직방향으로 평행투사(orthographic projection)한 3차원 지형에 대응시킴으로써 이루어진다. 이와 같이 모델 정합부(80)에 의해 생성된 3차원 도시 모델은 사용자의 조작에 따라 도시 지역을 렌더링하여 디스플레이부(60)를 통해 사용자에게 보여진다.
Themodel matching unit 80 generates a three-dimensional city model by matching the building model and the terrain model using the texture of thetexture extractor 78. The plurality of three-dimensional building models generated by the buildingmodel generating unit 74 each have a local coordinate system (with information of x, y, and z). Themodel matching unit 80 converts the three-dimensional building model having each local coordinate system into a map projection coordinate system used in the numerical elevation model to generate a three-dimensional city model in which the terrain and the building are matched. In other words, the registration of the three-dimensional building model and the terrain model is performed by corresponding the three-dimensional terrain by orthoographic projection of the vertices at the bottom of the three-dimensional building mesh in the vertical direction. As described above, the 3D city model generated by themodel matching unit 80 renders the urban area according to the user's manipulation and is shown to the user through thedisplay unit 60.

상술한 도 1에서는 영상 입력부(10), 수치표고 모델 입력부(20), 위치 자세 데이터 입력부(30), 건물 모델 저장부(40), 및 디스플레이부(60)를 3차원 모델링부(50)와는 별개로 구성시켰다. 필요에 따라서는, 영상 입력부(10), 수치표고 모델 입력부(20), 위치 자세 데이터 입력부(30), 건물 모델 저장부(40), 및 디스플레이부(60)가 3차원 모델링부(50)의 내부에 포함되는 것으로 하여도 무방하다.
In FIG. 1, theimage input unit 10, the numerical elevationmodel input unit 20, the position posedata input unit 30, the buildingmodel storage unit 40, and thedisplay unit 60 are different from the three-dimensional modeling unit 50. Configured separately. If necessary, theimage input unit 10, the numerical elevationmodel input unit 20, the position attitudedata input unit 30, the buildingmodel storage unit 40, and thedisplay unit 60 may be configured as the three-dimensional modeling unit 50. It may be included inside.

이어, 본 발명의 실시예에 따른 3차원 도시 모델링 방법에 대하여 도 2의 플로우차트를 참조하여 설명하면 다음과 같다.Next, a three-dimensional city modeling method according to an embodiment of the present invention will be described with reference to the flowchart of FIG. 2.

영상 입력부(10)는 도시의 상공에서 촬영한 항공 영상과 지상에서 촬영한 지상 영상을 입력받고, 위치 자세 데이터 입력부(30)는 항공 영상 및 지상 영상의 촬영 당시의 카메라의 위치와 자세의 데이터를 위치/자세 센서(도시 생략)로부터 입력받는다(S10). 항공 영상과 지상 영상 및 촬영 당시의 카메라의 위치와 자세의 데이터는 카메라 보정부(72)에게로 전달된다.Theimage input unit 10 receives the aerial image taken from the city and the ground image taken from the ground, the position posturedata input unit 30 receives the data of the position and posture of the camera at the time of shooting the aerial image and the ground image It receives from the position / attitude sensor (not shown) (S10). The aerial image, the ground image, and the position and posture data of the camera at the time of shooting are transmitted to thecamera correction unit 72.

위치 자세 데이터 입력부(30)의 카메라의 위치 및 자세 데이터는 위치/자세 센서(예컨대, GPS/INS 장비; 도시 생략) 자체의 오차에 더하여 항공기 및 차량의 속도로 인해 오차를 가지게 된다. 그에 따라, 카메라 보정부(72)는 이러한 오차를 줄이고 촬영 당시의 카메라의 위치와 자세를 정확히 알기 위해서 영상간의 대응점을 이용하여 정확한 카메라 보정을 한다(S12). 한편, 촬영 당시의 카메라 위치 및 자세의 데이터가 없는 영상에 대해서는 카메라 보정부(72)는 건물 모델 저장부(40)에 미리 구축되어 있는 3차원 건물 모델의 정점과 영상의 특징점 대응관계 및 미리 계산한 카메라 내부 인자 등을 이용하여 영상의 촬영 당시의 카메라 위치와 자세를 계산해 낼 수 있다.The position and attitude data of the camera of the position attitudedata input unit 30 has an error due to the speed of the aircraft and the vehicle in addition to the error of the position / posture sensor (for example, GPS / INS equipment; not shown). Accordingly, thecamera correction unit 72 corrects such an error and corrects the camera accurately by using corresponding points between the images in order to accurately know the position and posture of the camera at the time of shooting (S12). On the other hand, for an image having no data on the camera position and posture at the time of shooting, thecamera correction unit 72 calculates in advance the relationship between the vertices of the three-dimensional building model and the feature point of the image, which are built in the buildingmodel storage unit 40 in advance. A camera internal factor can be used to calculate the camera position and posture at the time of image capture.

카메라 보정부(72)에서의 보정 결과는 건물 모델 생성부(74)에게로 보내진다. 그에 따라, 건물 모델 생성부(74)는 카메라 보정부(72)에 의한 보정 결과가 반영된 항공 영상 및 지상 영상을 근거로 3차원의 건물 모델을 생성한다(S14). 생성된 3차원의 건물 모델은 건물 모델 저장부(40)에 저장된다.The correction result in thecamera correction unit 72 is sent to the buildingmodel generation unit 74. Accordingly, thebuilding model generator 74 generates a three-dimensional building model based on the aerial image and the ground image in which the correction result by thecamera corrector 72 is reflected (S14). The generated three-dimensional building model is stored in the buildingmodel storage unit 40.

이와 같이 3차원의 건물 모델이 생성되는 동안, 수치표고 모델 입력부(20)는 수치표고 모델을 입력받아 지형 모델 생성부(76)에게로 보낸다(S16).While the three-dimensional building model is generated as described above, the numerical elevationmodel input unit 20 receives the numerical elevation model and sends it to the terrain model generation unit 76 (S16).

수치표고 모델은 균등하게 분할된 지면의 각 평면 좌표에 대한 높이 값을 가지고 있으므로, 지형 모델 생성부(76)는 이를 3차원 메쉬화하여 지형의 3차원 모델을 생성한다(S18). 상술한 설명에 의하면 마치 S10, S12, S14, S16, S18의 순서대로 진행되는 것처럼 이해할 수도 있으나, 실제로는 S10 ~ S14의 동작과 S16 ~S18의 동작이 함께 진행되는 것으로 이해함이 바람직하다.Since the numerical elevation model has a height value for each plane coordinate of the ground divided evenly, the terrainmodel generation unit 76 generates a three-dimensional model of the terrain by three-dimensional meshing it (S18). According to the above description, it can be understood as if it proceeds in the order of S10, S12, S14, S16, and S18, but it is preferable to understand that the operations of S10 to S14 and the operations of S16 to S18 proceed together.

상술한 동작에 의해 생성된 3차원의 건물 모델과 3차원의 지형 모델은 텍스쳐 추출부(78)에게로 전달된다.The three-dimensional building model and the three-dimensional terrain model generated by the above-described operation are transmitted to thetexture extractor 78.

텍스쳐 추출부(78)는 영상 입력부(10)로부터의 항공 영상 및 지상 영상을 이용하여 3차원의 건물 모델 및 지형 모델에 대한 텍스쳐를 추출한다(S20). 동일 내용의 반복 기재를 피하기 위해, 텍스쳐 추출 동작에 대한 보다 자세한 설명은 도 1을 근거로 설명한 텍스쳐 추출부(78)의 내용으로 대신한다.Thetexture extractor 78 extracts textures for the three-dimensional building model and the terrain model using the aerial image and the ground image from the image input unit 10 (S20). In order to avoid repeated description of the same content, a more detailed description of the texture extraction operation is replaced with the contents of thetexture extraction unit 78 described with reference to FIG.

텍스쳐 추출이 완료되면, 3차원의 건물 모델 및 지형 모델, 및 텍스쳐 추출부(78)에서의 텍스쳐가 모델 정합부(80)에게로 전달된다. 건물 모델 생성부(74)에서 생성되는 다수의 3차원 건물 모델은 제각기 로컬 좌표계(x,y,z의 정보를 가짐)를 가지고 있다.When the texture extraction is completed, the 3D building model and the terrain model, and the texture in thetexture extractor 78 are transferred to themodel matching unit 80. The plurality of three-dimensional building models generated by the buildingmodel generating unit 74 each have a local coordinate system (with information of x, y, and z).

모델 정합부(80)는 각각의 로컬 좌표계를 갖는 3차원 건물 모델을 수치표고 모델에서 사용한 맵투영(map projection) 좌표계로 변환시켜 지형과 건물이 정합된 3차원 도시 모델을 생성한다. 즉, 3차원 건물 모델과 지형 모델의 정합은 3차원 건물 메쉬의 바닥면에 있는 정점을 수직방향으로 평행투사(orthographic projection)한 3차원 지형에 대응시킴으로써 이루어진다(S22).Themodel matching unit 80 converts the three-dimensional building model having each local coordinate system into a map projection coordinate system used in the numerical elevation model to generate a three-dimensional city model in which the terrain and the building are matched. That is, the registration of the three-dimensional building model and the terrain model is performed by corresponding the three-dimensional terrain in which the vertices on the bottom surface of the three-dimensional building mesh are orthographically projected in the vertical direction (S22).

이와 같이 모델 정합부(80)에 의해 생성된 3차원 도시 모델은 사용자의 조작에 따라 도시 지역을 렌더링하여 디스플레이부(60)를 통해 사용자에게 보여진다(S24).
As described above, the 3D city model generated by themodel matching unit 80 renders the urban area according to the user's manipulation and is shown to the user through the display unit 60 (S24).

한편, 본 발명은 상술한 실시예로만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위내에서 수정 및 변형하여 실시할 수 있고, 그러한 수정 및 변형이 가해진 기술사상 역시 이하의 특허청구범위에 속하는 것으로 보아야 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. You must see.

10 : 영상 입력부20 : 수치표고 모델 입력부
30 : 위치 자세 데이터 입력부40 : 건물 모델 저장부
50 : 3차원 모델링부60 : 디스플레이부
72 : 카메라 보정부74 : 건물 모델 생성부
76 : 지형 모델 생성부78 : 텍스쳐 추출부
80 : 모델 정합부10: image input unit 20: numerical elevation model input unit
30: position attitude data input unit 40: building model storage unit
50: 3D modeling unit 60: display unit
72: camera correction unit 74: building model generation unit
76: terrain model generator 78: texture extractor
80: model matching unit

Claims (20)

Translated fromKorean

항공 영상과 지상 영상 및 상기 항공 영상과 지상 영상의 촬영 당시의 촬영장치의 위치와 자세의 데이터를 입력받고, 상기 촬영 당시의 촬영장치의 위치와 자세의 오차를 줄이기 위해 영상간의 대응점을 이용하여 상기 촬영 당시의 촬영장치의 위치와 자세의 데이터를 보정하는 보정부;
상기 보정부에 의한 보정 결과가 반영된 상기 항공 영상 및 지상 영상을 근거로 3차원의 건물 모델을 생성하는 건물 모델 생성부;
입력받은 수치표고 모델을 3차원 메쉬화하여 3차원의 지형 모델을 생성하는 지형 모델 생성부;
상기 항공 영상 및 지상 영상을 이용하여 상기 건물 모델과 상기 지형 모델에 대한 텍스쳐를 추출하는 텍스쳐 추출부; 및
상기 텍스쳐를 이용한 상기 건물 모델과 상기 지형 모델의 정합에 의해 3차원의 도시 모델을 생성하는 모델 정합부;를 포함하고,
상기 보정부는 상기 촬영장치의 위치와 자세의 데이터를 사용하여, 상기 항공 영상 및 지상 영상중에서 모델링할 건물을 촬영한 영상만을 선별하여 보정을 행하고,
상기 건물 모델 생성부는 상기 항공 영상을 이용하여 제 1의 3차원 건물 모델을 생성하고, 상기 지상 영상을 이용하여 상기 제 1의 3차원 건물 모델의 지면으로부터 기설정된 영역을 3차원 모델링함에 의해 상기 3차원의 건물 모델을 생성하는 것을 특징으로 하는 3차원 도시 모델링 장치.Receive the data of the position and posture of the aerial image and the ground image and the photographing device at the time of shooting the aerial image and the ground image, and using the corresponding point between the images to reduce the error of the position and posture of the photographing device at the time of the photographing A correction unit which corrects data of a position and a posture of a photographing apparatus at the time of photographing;
A building model generation unit generating a three-dimensional building model based on the aerial image and the ground image reflecting the correction result by the correction unit;
A terrain model generation unit for generating a three-dimensional terrain model by three-dimensional meshing the received digital elevation model;
A texture extractor configured to extract textures of the building model and the terrain model using the aerial image and the ground image; And
And a model matching unit generating a 3D city model by matching the building model and the terrain model using the texture.
The correction unit selects and corrects only an image photographing a building to be modeled from the aerial image and the ground image by using data of the position and the attitude of the photographing apparatus,
The building model generating unit generates a first three-dimensional building model using the aerial image, and three-dimensional modeling of a predetermined area from the ground of the first three-dimensional building model using the ground image. 3D city modeling device, characterized in that for generating a three-dimensional building model.삭제delete청구항 1에 있어서,
상기 촬영장치의 위치와 자세의 데이터를 입력받아 상기 보정부에게로 보내는 위치 자세 데이터 입력부를 추가로 포함하는 것을 특징으로 하는 3차원 도시 모델링 장치.The method according to claim 1,
And a position posture data input unit which receives data of the position and posture of the photographing apparatus and sends the position posture data to the correction unit.청구항 1에 있어서,
상기 보정부는 상기 촬영장치의 위치와 자세의 데이터가 없는 영상이 입력된 경우, 미리 구축한 3차원 건물 모델의 정점과 영상의 특징점 대응관계 및 미리 계산한 촬영장치의 내부 인자를 이용하여 상기 항공 영상 및 지상 영상에 대한 촬영 당시의 촬영장치 위치와 자세의 데이터를 계산해 내는 것을 특징으로 하는 3차원 도시 모델링 장치.The method according to claim 1,
When the image having no data on the position and posture of the photographing device is input, the correction unit uses the vertex of the pre-built three-dimensional building model and the feature point correspondence of the image and the internal factors of the photographing device. And calculating data of the photographing device position and posture at the time of the photographing of the ground image.청구항 1에 있어서,
상기 건물 모델 생성부는 건물의 형태를 구성하는 기본 도형을 상기 보정된 영상에 대응시켜 제 1의 3차원 건물 모델을 생성하고, 상기 제 1의 3차원 건물 모델을 3차원 메쉬 편집 기법으로 편집하여 상기 건물의 세부 외형을 모델링함에 의해 상기 3차원의 건물 모델을 생성하는 것을 특징으로 하는 3차원 도시 모델링 장치.The method according to claim 1,
The building model generation unit generates a first three-dimensional building model by mapping a basic figure constituting the shape of a building to the corrected image, and edits the first three-dimensional building model by a three-dimensional mesh editing technique. 3D urban modeling device, characterized in that for generating the three-dimensional building model by modeling the detailed appearance of the building.삭제delete청구항 1에 있어서,
상기 텍스쳐 추출부는 상기 건물 모델 생성부에 의한 3차원의 건물 모델을 구성하는 각 면과 영상간의 대응관계를 이용하여 상기 3차원의 건물 모델의 각 면의 텍스쳐를 추출하는 것을 특징으로 하는 3차원 도시 모델링 장치.The method according to claim 1,
The texture extractor extracts a texture of each surface of the three-dimensional building model by using a corresponding relationship between the images and the images forming the three-dimensional building model by the building model generator. Modeling device.청구항 1에 있어서,
상기 텍스쳐 추출부는 상기 건물 모델을 구성하는 각 면에 가려짐이 없는 직교 투영된 텍스쳐를 추출하는 것을 특징으로 하는 3차원 도시 모델링 장치.The method according to claim 1,
And the texture extractor extracts an orthogonally projected texture that is not covered by each surface constituting the building model.청구항 1에 있어서,
상기 텍스쳐 추출부는 상기 항공 영상중에서 수직 방향으로 촬영한 영상과 상기 지형 모델간의 대응관계를 설정하여 텍스쳐를 추출하는 것을 특징으로 하는 3차원 도시 모델링 장치.The method according to claim 1,
The texture extractor extracts a texture by setting a correspondence relationship between the image taken in the vertical direction and the terrain model in the aerial image.청구항 1에 있어서,
상기 텍스쳐 추출부는 상기 지형 모델에 대해 가려짐이 없는 텍스쳐를 추출하는 것을 특징으로 하는 3차원 도시 모델링 장치.The method according to claim 1,
The texture extractor extracts a texture that is not covered with respect to the terrain model.청구항 1에 있어서,
상기 모델 정합부는 상기 건물 모델을 상기 수치표고 모델의 맵투영 좌표계로 변환시킴에 의해 상기 지형 모델과 정합된 3차원의 도시 모델을 생성하는 것을 특징으로 하는 3차원 도시 모델링 장치.The method according to claim 1,
The model matching unit generates a three-dimensional urban model matched with the terrain model by converting the building model into a map projection coordinate system of the numerical elevation model.보정부가, 항공 영상과 지상 영상 및 상기 항공 영상과 지상 영상의 촬영 당시의 촬영장치의 위치와 자세의 데이터를 입력받고, 상기 촬영 당시의 촬영장치의 위치와 자세의 오차를 줄이기 위해 영상간의 대응점을 이용하여 상기 촬영 당시의 촬영장치의 위치와 자세의 데이터를 보정하는 보정 단계;
건물 모델 생성부가, 상기 보정 단계에 의한 보정 결과가 반영된 상기 항공 영상 및 지상 영상을 근거로 3차원의 건물 모델을 생성하는 건물 모델 생성 단계;
지형 모델 생성부가, 입력받은 수치표고 모델을 3차원 메쉬화하여 3차원의 지형 모델을 생성하는 지형 모델 생성 단계;
텍스쳐 추출부가, 상기 항공 영상 및 지상 영상을 이용하여 상기 건물 모델과 상기 지형 모델에 대한 텍스쳐를 추출하는 텍스쳐 추출 단계; 및
모델 정합부가, 상기 텍스쳐를 이용한 상기 건물 모델과 상기 지형 모델의 정합을 통하여 3차원의 도시 모델을 생성하는 모델 정합 단계;를 포함하고,
상기 보정 단계는 상기 촬영장치의 위치와 자세의 데이터를 사용하여, 상기 항공 영상 및 지상 영상중에서 모델링할 건물을 촬영한 영상만을 선별하여 보정을 행하고,
상기 건물 모델 생성 단계는 상기 항공 영상을 이용하여 제 1의 3차원 건물 모델을 생성하는 단계; 및 상기 지상 영상을 이용하여 상기 제 1의 3차원 건물 모델의 지면으로부터 기설정된 영역을 3차원 모델링하는 단계;를 포함하는 것을 특징으로 하는 3차원 도시 모델링 방법.The correction unit receives data of the position and posture of the photographing apparatus at the time of capturing the aerial image and the ground image, and the aerial image and the ground image, and selects a corresponding point between the images to reduce the error of the position and the posture of the photographing apparatus at the time of photographing. A correction step of correcting data of a position and a posture of the photographing apparatus at the time of photographing by using the photographing apparatus;
A building model generation step of generating, by the building model generation unit, a three-dimensional building model based on the aerial image and the ground image reflecting the correction result by the correction step;
A terrain model generation unit, generating a three-dimensional terrain model by three-dimensionally meshing the received digital elevation model;
A texture extraction step of extracting a texture of the building model and the terrain model from the texture extractor using the aerial image and the ground image; And
And a model matching unit, generating a three-dimensional city model by matching the building model and the terrain model using the texture.
The correcting step may be performed by selecting and correcting only an image of a building to be modeled from the aerial image and the ground image using data of the position and the attitude of the photographing apparatus,
The building model generating step may include generating a first three-dimensional building model using the aerial image; And three-dimensional modeling of a predetermined area from the ground of the first three-dimensional building model using the ground image.삭제delete청구항 12에 있어서,
상기 건물 모델 생성 단계는,
건물의 형태를 구성하는 기본 도형을 상기 보정단계에 의해 보정된 영상에 대응시켜 제 1의 3차원 건물 모델을 생성하는 단계; 및
상기 제 1의 3차원 건물 모델을 3차원 메쉬 편집 기법으로 편집하여 상기 건물의 세부 외형을 모델링하는 단계;를 포함하는 것을 특징으로 하는 3차원 도시 모델링 방법.The method of claim 12,
The building model generation step,
Generating a first three-dimensional building model by mapping a basic figure constituting a shape of a building to an image corrected by the correcting step; And
And modeling the detailed appearance of the building by editing the first three-dimensional building model by a three-dimensional mesh editing technique.삭제delete청구항 12에 있어서,
상기 텍스쳐 추출 단계는 상기 건물 모델을 구성하는 각 면과 영상간의 대응관계를 이용하여 상기 건물 모델의 각 면의 텍스쳐를 추출하는 것을 특징으로 하는 3차원 도시 모델링 방법.The method of claim 12,
In the texture extraction step, the texture of each surface of the building model is extracted by using a correspondence relationship between each surface constituting the building model and an image.청구항 12에 있어서,
상기 텍스쳐 추출 단계는 상기 건물 모델을 구성하는 각 면에 가려짐이 없는 직교 투영된 텍스쳐를 추출하는 것을 특징으로 하는 3차원 도시 모델링 방법.The method of claim 12,
The texture extracting step may include extracting an orthogonally projected texture that is not obscured on each surface constituting the building model.청구항 12에 있어서,
상기 텍스쳐 추출 단계는 상기 항공 영상중에서 수직 방향으로 촬영한 영상과 상기 지형 모델간의 대응관계를 설정하여 텍스쳐를 추출하는 것을 특징으로 하는 3차원 도시 모델링 방법.The method of claim 12,
In the texture extraction step, the texture is extracted by setting a correspondence relationship between the image taken in the vertical direction from the aerial image and the terrain model.청구항 12에 있어서,
상기 텍스쳐 추출 단계는 상기 지형 모델에 대해 가려짐이 없는 텍스쳐를 추출하는 것을 특징으로 하는 3차원 도시 모델링 방법.The method of claim 12,
The extracting of the texture may include extracting a texture that is not covered by the terrain model.청구항 12에 있어서,
상기 모델 정합 단계는 상기 건물 모델을 상기 수치표고 모델의 맵투영 좌표계로 변환시킴에 의해 상기 지형 모델과 정합된 3차원의 도시 모델을 생성하는 것을 특징으로 하는 3차원 도시 모델링 방법.The method of claim 12,
The model matching step includes generating a three-dimensional city model matched with the terrain model by converting the building model into a map projection coordinate system of the digital elevation model.

Images