KR20180120515A - Method and apparatus for making stitched image - Google Patents

Abstract

Disclosed are a matching image generation method and a terminal performing the same. The matching image generation method according to an embodiment of the present invention comprises the steps of: allowing a terminal having an image sensor to acquire a first partial image corresponding to a first direction among n partial images each corresponding to n directions into which a range of an angle to be covered by a matching image is divided by using the image sensor, wherein n is a natural number; and allowing the terminal to control a driving device which is coupled to the terminal and can rotate the terminal, and sequentially acquire from a second partial image corresponding to a second direction to a n-th partial image corresponding to a n-th direction, thereby matching all or a part of the acquired n partial images to simply and accurately generate a matching image by using a portable terminal owned by a user.

Description

Translated fromKorean

정합 이미지 생성방법 및 이를 수행하는 단말기{Method and apparatus for making stitched image}Field of the Invention [0001] The present invention relates to a method of generating a matched image,

본 발명은 정합 이미지를 생성할 수 있는 방법 및 그 시스템에 관한 것으로, 보다 상세하게는 사용자가 소지하는 단말기를 이용하여 전문적인 장비 없이도 상대적으로 정확하고 효과적인 정합 이미지(예컨대, 360도 이미지)를 생성할 수 있는 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for generating a matched image, and more particularly to a system and method for generating a matched image (e.g., a 360-degree image) that is relatively accurate and effective without professional equipment And to a system and method that can be used.

정합 이미지를 생성하여 가상현실 또는 사실감 높은 시뮬레이션 환경을 제공하고자 하는 시도가 널리 이용되고 있다.Attempts have been made to create a matching image to provide a virtual reality or a realistic simulation environment.

예컨대, 파노라마 이미지는 복수의 이미지들을 가로(좌우)로 결합하여 가로의 시야각이 180도 내지 360도를 커버할 수 있는 이미지를 의미할 수 있다.For example, a panoramic image may mean an image that can cover 180 to 360 degrees of horizontal viewing angle by combining a plurality of images horizontally (horizontally).

또한 360도 이미지는 사용자를 중심으로 상하좌우 모두가 커버될 수 있는 이미지를 의미할 수 있으며 일반적으로 스피어(sphere) 또는 메카토르(mercator)에 여러 이미지를 배치함으로써 획득될 수 있다.Also, a 360-degree image may mean an image that can be covered by both the user and the user, and can generally be obtained by placing a plurality of images on a sphere or a mercator.

하지만 이러한 파노라마 이미지 또는 360도 이미지를 획득하기 위해서는 전문적인 장비가 필요한 실정이다. 최근에는 사용자가 직접 이동식 단말기(예컨대, 스마트 폰)을 들고 상기 이동식 단말기를 회전시켜가면서 복수의 사진들을 획득하여 획득된 사진들을 정합함으로써 정합 이미지(예컨대, 파노라마 이미지 또는 360도 이미지)를 생성하고자 하는 시도가 존재하였다.However, professional equipment is required to obtain such panoramic images or 360-degree images. In recent years, a user has attempted to create a matched image (e.g., a panoramic image or a 360-degree image) by matching a photograph obtained by obtaining a plurality of photographs while rotating the mobile terminal while holding a mobile terminal There was an attempt.

하지만 이러한 경우 복수의 사진들의 시야각 또는 촬영방향이 정확하지 않아서 이미지 스티칭에 상당한 시간이 걸릴뿐만 아니라 그 정확성도 낮을 수 밖에 없다.However, in such a case, since the viewing angle or the photographing direction of the plurality of photographs is not accurate, not only the image stitching takes a considerable time but also the accuracy is low.

한국특허출원 공개번호 10-2002-0078663 "디지털 모자이크 이미지 구성에서 다수의 조각 이미지들을 위치 정합시키는 디지털 조각 이미지 정합처리방법 및 정합처리장치"Korean Patent Application Publication No. 10-2002-0078663 entitled " Digital Sculpture Image Matching Processing Method and Matching Processing Apparatus " which aligns a plurality of sculptural images in a digital mosaic image arrangement,한국특허출원 공개번호 10-2014-0147597 "이동 단말기 및 이의 제어방법"Korean Patent Application Publication No. 10-2014-0147597 " Mobile terminal and control method thereof "

본 발명이 이루고자 하는 기술적인 과제는 사용자가 휴대하고 있는 단말기를 이용하여 간편하고 상대적으로 정확하게 정합 이미지를 생성할 수 있는 방법 및 그 시스템을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is an object of the present invention to provide a method and system for easily and relatively accurately generating a matching image using a terminal carried by a user.

특히 상기 단말기를 회전시킬 수 있는 구동장치를 이용함으로써 정합할 이미지의 방향을 상대적으로 정확하게 알 수 있고, 이를 통해 이미지의 정합시에 상대적으로 빠르고 정확한 이미지 정합이 가능할 수 있는 방법 및 시스템을 제공하는 것이다.In particular, the present invention provides a method and system capable of relatively accurately knowing the direction of an image to be matched by using a driving device capable of rotating the terminal, and capable of relatively fast and accurate image matching at the time of matching of images .

또한 단말기가 정합할 이미지들 즉, 부분 이미지들을 촬영하기 위해 회전을 수행하는데, 한 번의 회전을 통해 획득된 이미지들만을 정합 이미지의 생성에 이용하는 것이 아니라, 복수의 회전을 통해 각각의 회전들별로 부분 이미지들을 획득하고, 서로 다른 회전으로부터 획득된 부분 이미지를 같이 이용하여 정합 이미지를 생성할 수 있는 방법 및 시스템을 제공하는 것이다.In addition, the terminal performs rotation for capturing images to be matched, that is, partial images. Instead of using only images obtained through one rotation for generation of a matched image, And to provide a method and system by which images can be acquired and partial images obtained from different rotations can be used together to generate a matched image.

상기 기술적 과제를 달성하기 위한 본 발명의 실시 예에 따른 정합 이미지 생성방법은 이미지 센서가 구비된 단말기가 상기 이미지 센서를 이용하여, 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향 각각에 상응하는 n개의 부분이미지들 중 제1방향에 상응하는 제1부분 이미지를 획득하는 단계 및 상기 단말기가 상기 단말기와 결합되어 상기 단말기를 회전시킬 수 있는 구동장치를 제어하여 순차적으로 제2방향에 상응하는 제2부분 이미지로부터 제n방향에 상응하는 제n부분 이미지를 획득하는 회전촬영 단계를 포함하며, 획득된 n개의 부분 이미지들 중 전부 또는 일부가 정합되어 상기 정합 이미지가 생성된다.According to another aspect of the present invention, there is provided a method of generating a matched image according to an exemplary embodiment of the present invention, wherein a terminal equipped with an image sensor uses the image sensor, Acquiring a first partial image corresponding to a first one of n partial images corresponding to each of the n divided directions, and controlling the driving device in which the terminal is combined with the terminal to rotate the terminal And a rotation photographing step of sequentially obtaining an n-th partial image corresponding to the n-th direction from a second partial image corresponding to the second direction, wherein all or a part of the obtained n partial images are matched, Is generated.

다른 실시 예에 따른 본 발명의 정합 이미지 생성방법은 이미지 센서가 구비된 단말기가 상기 단말기와 결합되어 상기 단말기를 회전시킬 수 있는 구동장치를 제어하여, 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향들 각각에 상응하는 n개의 부분이미지를 순차적으로 획득하는 기초회전 수행단계, 상기 단말기가 추가회전을 수행하고, 상기 추가회전을 통해 상기 n개의 방향들 중 적어도 하나의 방향에 상응하는 적어도 하나의 추가회전 부분이미지를 획득하는 추가회전 수행단계를 더 포함하며, 상기 기초회전에서 획득된 n개의 부분 이미지들 중 일부의 기초회전 정합대상 이미지와 상기 추가회전 부분이미지의 적어도 일부인 추가회전 정합대상 이미지가 정합되어 상기 정합 이미지가 생성되는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of generating a matched image according to another embodiment of the present invention, in which a terminal equipped with an image sensor is coupled to the terminal to control a driving device capable of rotating the terminal, n is a natural number), the terminal performs an additional rotation, and at least one of the n directions through the additional rotation Further comprising performing an additional rotation to obtain at least one additional rotated partial image corresponding to one direction, wherein at least one of the basic rotated target image and the additional rotated partial image Wherein at least a part of the rotation-registration-target image is matched with the rotation-registration-target image, The.

또 다른 실시 예에 따른 본 발명의 정합 이미지 생성방법은 단말기가 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향들 각각에 상응하는 n개의 부분이미지를 순차적으로 획득하는 기초회전 수행단계, 상기 단말기가 추가회전을 수행하고, 상기 추가회전을 통해 상기 n개의 방향들 중 적어도 하나의 방향에 상응하는 적어도 하나의 추가회전 부분이미지를 획득하는 추가회전 수행단계를 더 포함하며, 상기 기초회전에서 획득된 n개의 부분 이미지들 중 일부의 기초회전 정합대상 이미지와 상기 추가회전 부분이미지의 적어도 일부인 추가회전 정합대상 이미지가 정합되어 상기 정합 이미지가 생성되는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of generating a matched image according to another embodiment of the present invention, wherein a terminal sequentially processes n partial images corresponding to n directions in which an angle range covered by the matched image is n (n is a natural number) Performing an additional rotation performing step of performing at least one further rotated partial image corresponding to at least one direction of the n directions through the additional rotation And an additional rotation matching target image, which is at least a part of the additional rotation partial image, is matched with the basic rotation matching target image of some of the n partial images obtained in the basic rotation, so that the matching image is generated.

본 발명의 실시 예에 따른 단말기는 프로세서를 포함하는 제어부, 상기 제어부에 의해 실행되는 프로그램이 기록된 저장매체, 및 이미지 센서를 포함하며, 상기 프로그램은, 상기 이미지 센서를 이용하여, 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향 각각에 상응하는 n개의 부분이미지들 중 제1방향에 상응하는 제1부분 이미지를 획득하고, 상기 단말기와 결합되어 상기 단말기를 회전시킬 수 있는 구동장치를 제어하여 순차적으로 제2방향에 상응하는 제2부분 이미지로부터 제n방향에 상응하는 제n부분 이미지를 획득하는 것을 특징으로 하며, 획득된 n개의 부분 이미지들 중 전부 또는 일부가 정합되어 상기 정합 이미지가 생성된다.A terminal according to an embodiment of the present invention includes a control unit including a processor, a storage medium on which a program executed by the control unit is recorded, and an image sensor, Acquiring a first partial image corresponding to a first one of n partial images corresponding to n directions each of which is divided into n (n is a natural number) angle to be angled, Wherein the control unit controls the rotatable drive unit so as to sequentially obtain an n-th partial image corresponding to the n-th direction from the second partial image corresponding to the second direction, Some of them are matched to generate the matched image.

본 발명의 다른 실시 예에 따른 단말기는 프로세서를 포함하는 제어부, 상기 제어부에 의해 실행되는 프로그램이 기록된 저장매체, 및 이미지 센서; 를 포함하며, 상기 프로그램은 상기 단말기의 기초회전을 통해 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향들 각각에 상응하는 n개의 부분이미지를 순차적으로 획득하고, 상기 단말기의 추가회전을 통해 상기 n개의 방향들 중 적어도 하나의 방향에 상응하는 적어도 하나의 추가회전 부분이미지를 획득하며, 상기 기초회전에서 획득된 n개의 부분 이미지들 중 일부의 기초회전 정합대상 이미지와 상기 추가회전 부분이미지의 적어도 일부인 추가회전 정합대상 이미지가 정합되어 상기 정합 이미지가 생성되는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a terminal including a controller including a processor, a storage medium on which a program executed by the controller is recorded, and an image sensor; Wherein the program sequentially obtains n partial images corresponding to n directions in which the range of angles that the matching image intended to cover by the base rotation of the terminal is divided into n (n is a natural number) , Acquiring at least one additional rotated partial image corresponding to at least one direction of the n directions through an additional rotation of the terminal, acquiring at least one additional rotated partial image corresponding to at least one of the n partial images obtained in the basic rotation And an additional rotation registration target image which is at least a part of the image and the additional rotation partial image are matched to generate the registration image.

본 발명의 기술적 사상에 의하면, 사용자가 휴대하고 있는 단말기를 이용하여 간편하고 상대적으로 정확한 정합 이미지를 생성할 수 있도록 함으로써 누구나 손쉽게 저렴한 비용으로 정합 이미지(예컨대, VR에 활용될 수 있는 360 이미지 등)를 활용할 수 있도록 하는 효과가 있다.According to the technical idea of the present invention, it is possible to easily and relatively accurately generate a matched image using a terminal carried by a user, so that anyone can easily and easily obtain a matching image (e.g., 360 images that can be utilized for VR) So that it can be utilized.

또한 단말기를 회전시킬 수 있는 구동장치를 이용함으로써 정합할 이미지의 방향을 상대적으로 정확하게 알 수 있고, 이를 통해 이미지의 정합 시에 상대적으로 빠르고 정확한 이미지 정합이 가능한 효과가 있으며, 이러한 구동장치의 이용으로 이미지의 촬영시의 방향(로테이션 각도)의 제어가 정확히 이루어질 수 있으므로 단말기가 정합할 이미지들 즉, 부분 이미지들을 촬영하기 위해 한 번의 회전을 통해 획득된 이미지들만을 정합 이미지의 생성에 이용하는 것이 아니라, 복수의 회전을 통해 각각의 회전들별로 부분 이미지들을 획득하고, 서로 다른 회전으로부터 획득된 부분 이미지를 같이 이용하여 정합 이미지를 생성할 수 있는 효과가 있다.In addition, by using a driving device capable of rotating the terminal, the direction of the image to be matched can be relatively accurately known, and there is an effect that relatively fast and accurate image matching can be performed at the time of matching the images. The control of the direction (rotation angle) at the time of shooting of the image can be accurately performed. Therefore, instead of using only images obtained through one rotation to capture images to be matched, that is, partial images, There is an effect that partial images are obtained for each rotation through a plurality of rotations and a partial image obtained from different rotations is used together to generate a matching image.

이를 통해 예컨대, 제1회전에서 특정 방향(예컨대, 정면 방향)을 촬영한 부분이미지와 제2회전에서 상기 특정 방향을 촬영한 부분 이미지에 이미지 차이가 존재하는 경우, 원하는 부분 이미지를 다른 회전에서 촬영한 부분 이미지들과 정합하여 사용자가 원하는 효과를 획득할 수 있다. 예컨대 제1회전에서 특정 방향에 해당하는 부분 이미지에는 사용자가 원치 않는 특징(예컨대, 특정 객체(예컨대, 사람 등)가 촬영됨)이 존재하고, 제2회전에서 상기 특정 방향에는 상기 특징이 존재하지 않는 경우(예컨대, 특정 객체(예컨대, 사람 등)가 촬영되지 않음) 경우, 제1회전에서 상기 특정 방향의 부분 이미지를 제외한 이미지들과 제2회전에서 상기 특정 방향의 부분 이미지를 결합함으로써 전체 정합 이미지에는 사용자가 원치 않는 특징이 나타나지 않도록 하는 효과가 있다.For example, when there is an image difference between a partial image in which a specific direction (for example, a frontal direction) is photographed in the first rotation and a partial image in which the specific direction is photographed in the second rotation, It is possible to obtain a desired effect by matching with partial images. For example, in a partial image corresponding to a specific direction in the first rotation, there exists a feature that the user does not want (e.g., a specific object (e.g., a person or the like) is photographed) (E.g., a person or the like is not photographed) by combining the partial images of the specific direction in the second rotation with the images excluding the partial image in the specific direction in the first rotation, Images have the effect of preventing unwanted features from appearing.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 정합 이미지 생성방법을 구현하기 위한 장치들을 나타내는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 단말기의 개략적인 구성을 나타낸다.
도 3은 본 발명의 일 실시 예에 따른 정합 이미지 및 부분 이미지를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 정합 이미지 생성방법을 설명하기 위한 흐름도를 나타낸다.
도 5는 본 발명의 일 실시 예에 따른 정합 이미지 생성방법을 이용해 복수의 회전을 수행하여 부분 이미지들을 획득하는 개념을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시 예에 따른 정합 이미지 생성방법을 통해 복수의 회전들 각각으로부터 획득되는 부분 이미지들을 정합하여 정합 이미지를 생성하는 개념을 설명하기 위한 도면이다.
도 7 내지 도 9는 본 발명의 다른 일실시 예에 따른 정합 이미지 생성방법을 통해 복수의 회전들 각각으로부터 획득되는 부분 이미지들을 정합하여 정합 이미지를 생성하는 개념을 설명하기 위한 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS A brief description of each drawing is provided to more fully understand the drawings recited in the description of the invention.
1 is a block diagram of an apparatus for implementing a method of generating a matched image according to an embodiment of the present invention.
2 shows a schematic configuration of a terminal according to an embodiment of the present invention.
3 is a view for explaining a matching image and a partial image according to an embodiment of the present invention.
4 is a flowchart illustrating a method of generating a matching image according to an embodiment of the present invention.
5 is a view for explaining a concept of performing partial rotation by performing a plurality of rotations using the method of generating a registration image according to an embodiment of the present invention.
6 is a view for explaining a concept of generating a matching image by matching partial images obtained from each of a plurality of rotations through a matching image generating method according to an embodiment of the present invention.
7 to 9 are views for explaining a concept of generating a matching image by matching partial images obtained from each of a plurality of rotations through a matching image generating method according to another embodiment of the present invention.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.In order to fully understand the present invention, operational advantages of the present invention, and objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the accompanying drawings which illustrate preferred embodiments of the present invention.

또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.Also, in this specification, when any one element 'transmits' data to another element, the element may transmit the data directly to the other element, or may be transmitted through at least one other element And may transmit the data to the other component. Conversely, when one element 'directly transmits' data to another element, it means that the data is transmitted to the other element without passing through another element in the element.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings. Like reference symbols in the drawings denote like elements.

도 1은 본 발명의 일 실시 예에 따른 정합 이미지 생성방법을 구현하기 위한 장치들을 나타내는 도면이다.1 is a block diagram of an apparatus for implementing a method of generating a matched image according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 기술적 사상에 따른 정합 이미지 생성방법을 구현하기 위해서는 단말기(100)가 구비될 수 있다.Referring to FIG. 1, aterminal 100 may be provided to implement a matching image generating method according to the technical idea of the present invention.

상기 단말기(100)는 사용자가 휴대하고 다닐 수 있으며, 이미지를 획득할 수 있는 이미지 센서를 구비하는 모든 형태의 데이터 처리장치를 포함하는 의미일 수 있다. 일 예에 의하면 상기 단말기(100)는 사용자의 휴대폰일 수 있지만 이에 국한되지는 않는다. 또한 본 발명의 기술적 사상의 일부는 사용자가 휴대하고 다니지 않는 장치에 의해 구현될 수도 있으며, 이러한 경우에도 본 발명의 권리범위에 포함될 수 있음은 물론이다.Theterminal 100 may include any type of data processing apparatus including an image sensor that can be carried by the user and can acquire an image. According to an example, theterminal 100 may be a user's cellular phone, but is not limited thereto. Also, it is to be understood that some of the technical ideas of the present invention may be implemented by a device that the user does not carry, and such a case may be included in the scope of the present invention.

상기 단말기(100)는 회전을 수행하면서 이미지들(부분 이미지)을 촬영할 수 있다. 상기 단말기(100)는 상기 단말기(100)를 중심으로 360도를 회전할 수도 있고, 360도를 회전하지 않을 수도 있다. 어떠한 경우든 상기 단말기(100)는 생성하고자 하는 정합 이미지가 커버하고자 하는 각도(예컨대, 360도, 270도, 180도 등)를 모두 커버할 수 있도록 필요한 만큼 회전을 수행할 수 있다. 물론 회전의 정도는 상기 단말기(100)에 구비된 이미지 센서의 시야각의 크기에 따라 달라질 수 있음은 물론이다.Theterminal 100 can take images (partial images) while performing a rotation. Theterminal 100 may rotate 360 degrees around theterminal 100 or may not rotate 360 degrees. In any case, theterminal 100 may rotate as much as necessary to cover all angles (e.g., 360 degrees, 270 degrees, 180 degrees) to be covered by the matching image to be generated. Of course, the degree of rotation may vary depending on the viewing angle of the image sensor provided in theterminal 100.

상기 단말기(100)는 상기 단말기(100)를 회전하도록 하는 소정의 구동장치(200)에 부착, 체결, 또는 결합될 수 있다. 그리고 상기 구동장치(200)를 통해 상기 단말기(100)의 움직임이 수행될 수 있다.Theterminal 100 may be attached, fastened, or coupled to a predetermineddriving device 200 for rotating theterminal 100. And the movement of theterminal 100 may be performed through thedriving device 200. [

상기 단말기(100)는 상기 구동장치(200)를 제어할 수 있다. 일 예에 의하면, 상기 단말기(100)는 상기 구동장치(200)와 소정의 근거리 무선통신(예컨대, 블루투스, NFC, 지그비 통신, WiFi 등)을 수행할 수 있다. 상기 단말기(100)는 상기 구동장치(200)로 소정의 커맨드를 전송할 수 있고, 전송된 커맨드에 응답하여 상기 구동장치(200)는 구동을 할 수 있다. 또한 실시 예에 따라 상기 구동장치(200)는 상기 커맨드에 응답하여 수행된 구동의 구동결과를 상기 단말기(100)로 전송할 수 있다.Theterminal 100 may control thedriving unit 200. According to an example, theterminal 100 may perform predetermined short range wireless communication (e.g., Bluetooth, NFC, Zigbee communication, WiFi, etc.) with thedriving device 200. Theterminal 100 can transmit a predetermined command to thedriving apparatus 200 and thedriving apparatus 200 can be driven in response to the transmitted command. Also, according to the embodiment, thedriving apparatus 200 may transmit the driving result of the driving performed in response to the command to theterminal 100.

상기 구동장치(200)는 적어도 회전운동을 수행하는 장치일 수 있다. 이러한 회전운동을 위한 로테이터가 상기 구동장치(200)에 구비될 수 있다. 또한 상기 구동장치(200)는 상기 단말기(100)를 체결시키기 위한 소정의 체결부(미도시)가 구비될 수 있다.Thedriving device 200 may be a device that performs at least rotational motion. A rotator for the rotational motion may be provided in thedriving device 200. In addition, thedriving device 200 may include a predetermined fastening portion (not shown) for fastening theterminal 100.

일 예에 의하면, 상기 구동장치(200)는 미리 정해진 기준 각도단위로 회전을 수행할 수 있는 장치일 수 있으며, 상기 단말기(100)로부터 수신된 커맨드에 응답하여 상기 커맨드에서 원하는 만큼의 각도만큼 회전될 수 있다. 이러한 방식을 통해 상기 구동장치(200) 및/또는 상기 단말기(100)의 회전각도가 제어될 수 있다.According to an example, thedriving device 200 may be a device capable of performing rotation in a predetermined reference angle unit, and may rotate in the command by a desired angle in response to a command received from theterminal 100 . In this way, the rotation angle of thedriving device 200 and / or theterminal 100 can be controlled.

다른 실시 예에 의하면, 상기 구동장치(200)는 단말기(100)로부터 수신된 커맨드에 응답하여 회전을 수행할 수 있다. 그리고 상기 단말기(100)가 상기 구동장치(200)(즉, 상기 단말기(100))의 회전정도를 센싱하고, 필요한 각도가 회전되었다고 센싱되면 상기 구동장치(200)의 회전을 멈추는 커맨드를 전송할 수도 있다. 어떠한 경우든, 상기 단말기(100)는 구동장치(200)의 회전각도의 제어를 통해 자신의 회전각도를 상대적으로 정확하게 제어할 수 있다.According to another embodiment, thedriving device 200 can perform rotation in response to a command received from theterminal 100. [ Theterminal 100 senses the degree of rotation of the driving device 200 (that is, the terminal 100), and transmits a command to stop the rotation of thedriving device 200 when the required angle is sensed to be rotated have. In any case, theterminal 100 can control the rotation angle of thedriving device 200 relatively accurately by controlling the rotation angle of thedriving device 200.

본 명세서에서는 상기 구동장치(200)가 단순히 상기 단말기(100)를 회전시키는 기능만을 구비한 일 예를 설명하지만, 필요에 따라 상기 구동장치(200)는 이동, 상기 단말기(100)의 틸트(tilt) 등을 수행하거나, 상하로 상기 단말기(100)의 위치를 변경하는 등의 기능을 수행하도록 구현될 수도 있다.The present invention is not limited only to the case where thedriving apparatus 200 has a function of simply rotating theterminal 100 but thedriving apparatus 200 may move, Or performing a function of changing the position of theterminal 100 up and down, and so on.

한편, 상기 단말기(100)에는 특정 방향(예컨대, 상하방향)의 시야각을 확대하기 위한 소정의 시야각 확대장치(예컨대, 어안렌즈 등, 300)가 부착될 수도 있다. 이러한 경우 상기 시야각 확대장치에 의해 상하로 거의 180도 까지의 시야각이 확보될 수도 있으며, 이러한 경우에는 상기 단말기(100)가 좌우 360도의 시야각을 확보할 수 있도록 회전을 수행할 경우 360도 이미지(스피어 이미지)를 생성할 수 있음은 물론이다.Meanwhile, theterminal 100 may be provided with a predetermined viewing angle magnifying device (e.g., a fish-eye lens or the like) 300 for enlarging a viewing angle in a specific direction (e.g., up and down direction). In this case, a viewing angle up to almost 180 degrees may be ensured by the viewing angle magnifying device. In this case, when theterminal 100 rotates so as to secure a viewing angle of 360 degrees on both sides, Image) can be generated.

결국, 본 발명의 기술적 사상에 의하면 상기 단말기(100)는 상기 구동장치(200)를 제어하여 원하는 각도만큼 상대적으로 정확하게 회전(즉, 원하는 방향으로 회전)하여 이미지를 촬영한 후, 다시 원하는 각도만큼 회전을 수행하여 이미지를 촬영할 수 있다. 이러한 회전 각도의 제어가 상기 단말기(100)에 의해 상대적으로 정확하게 이루어지는 경우, 단말기(100)는 인접한 이미지의 회전각도(시야각)을 정확하게 알고 있을 수 있으며 이러한 경우 이미지 정합(스티칭)의 정확성 및 신속성이 향상될 수 있는 효과가 있다.As a result, according to the technical idea of the present invention, the terminal 100 controls thedriving device 200 to relatively accurately rotate by a desired angle (i.e., rotate in a desired direction) to photograph an image, The image can be taken by performing the rotation. When the control of the rotation angle is performed relatively accurately by the terminal 100, the terminal 100 may know the rotation angle (viewing angle) of the adjacent image accurately, and in this case, the accuracy and speed of image registration There is an effect that can be improved.

한편, 다른 실시 예에 의하면, 상기 단말기(100)는 단순히 원하는 각도를 커버할 정도의 회전을 한번 수행하고 이러한 회전 동안 획득된 복수의 부분 이미지들을 정합하여 정합 이미지를 생성하는 것이 아니라, 복수의 회전을 수행하면서 각각의 회전별로 적어도 하나의 부분 이미지들을 획득하고 서로 다른 회전에서 획득된 부분 이미지들을 정합하여 하나의 정합 이미지를 생성할 수도 있다.Meanwhile, according to another embodiment, the terminal 100 does not merely perform a rotation enough to cover a desired angle and match a plurality of partial images obtained during the rotation to generate a matching image, At least one partial image may be obtained for each rotation and a partial image may be generated by matching the partial images obtained at different rotations.

이러한 기술적 사상은 특정 타임구간에서 획득된 특정 방향의 부분 이미지를 다른 타임구간에서 획득된 상기 특정 방향의 부분 이미지로 대체하여 정합 이미지를 생성할 수 있는 기술적 사상을 제공할 수 있다. 또한 이러한 기술적 사상은 전술한 바와 같이 구동장치(200)를 통해 단말기(100)의 회전이 정확히 제어되는 경우 더욱 그 효과가 커질 수 있다.This technical idea can provide a technical idea capable of generating a matched image by replacing a partial image in a specific direction obtained in a specific time interval with a partial image in the specific direction obtained in another time interval. This technical idea can be further enhanced when the rotation of the terminal 100 is accurately controlled through thedriving device 200 as described above.

이러한 기술적 사상을 구현하기 위한 상기 단말기(100)의 구성은 도 2를 참조하여 설명하도록 한다.The configuration of the terminal 100 for implementing such a technical idea will be described with reference to FIG.

도 2는 본 발명의 일 실시 예에 따른 단말기의 개략적인 구성을 나타낸다.2 shows a schematic configuration of a terminal according to an embodiment of the present invention.

도 2를 참조하면, 상기 단말기(100)는 제어부(110), A/V(Audio/Video) 입력모듈(120), 및 저장매체(160)를 적어도 포함한다. 상기 단말기(100)는 통신모듈(130), 출려모듈(140), 및 입력모듈(150)을 더 포함할 수 있다. 상기 단말기(100)는 소정의 서비스 서버(400)와 통신을 수행할 수도 있다. 이러한 경우 상기 통신모듈(130)에는 상기 서비스 서버(400)와 통신을 수행하기 위한 무선 인터넷 장치 등이 구비될 수 있음은 물론이다.Referring to FIG. 2, the terminal 100 includes at least acontroller 110, an audio / video (A / V)input module 120, and astorage medium 160. The terminal 100 may further include acommunication module 130, adispatch module 140, and aninput module 150. The terminal 100 may communicate with apredetermined service server 400. In this case, thecommunication module 130 may include a wireless Internet device for communicating with theservice server 400.

또한, 도 2에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동 단말기가 구현될 수도 있다.Further, the components shown in Fig. 2 are not essential, and a mobile terminal having more or fewer components may be implemented.

본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어(예컨대, 상기 제어부(110) 및/또는 저장매체(160)) 및 상기 하드웨어를 구동하기 위한 소프트웨어(예컨대, 본 발명의 기술적 사상을 구현하기 위한 상기 프로그램)의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 각각의 구성들은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류나 특정 개수의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다. 따라서 상기 각각의 구성들은 본 명세서에서 정의되는 기능을 수행하는 하드웨어 및 소프트웨어의 결합을 의미하며 특정 물리적 구성을 의미하는 것은 아니다.Refers to hardware (e.g., thecontrol unit 110 and / or the storage medium 160) for performing the technical concept of the present invention and software for driving the hardware The above program for implementing ideas). For example, each of the above configurations may refer to a logical unit of a predetermined code and a hardware resource for executing the predetermined code, and may be a code physically connected to one another or a specific type of hardware May be easily deduced to the average expert in the field of the present invention. Accordingly, each of the above-described configurations refers to a combination of hardware and software that performs the functions defined in this specification, and does not mean a specific physical configuration.

A/V(Audio/Video) 입력모듈(120)은 적어도 이미지 센서(121)를 포함한다. 이미지 센서(121)는 이미지를 촬영/획득할 수 있는 장치를 의미할 수 있으며, 구현 예에 따라 상기 A/V(Audio/Video) 입력모듈(120)은 복수의 이미지 센서(121)들을 구비할 수도 있다.The A / V (Audio / Video)input module 120 includes at least an image sensor 121. The A /V input module 120 may include a plurality of image sensors 121 according to an embodiment of the present invention. It is possible.

또한 구현 예에 따라 상기 A/V(Audio/Video) 입력모듈(120)은 오디오 신호 또는 비디오 신호 입력을 위한 다른 구성(예컨대, 마이크 등)을 더 포함할 수 있다.Also, according to an embodiment, the A / V (Audio / Video)input module 120 may further include another configuration (for example, a microphone) for inputting an audio signal or a video signal.

통신모듈(130)은 근거리 통신모듈(131)을 포함한다. 또한 상술한 바와 같이 필요에 따라 무선 통신 장치(미도시)를 더 구비하여 외부 무선 통신 시스템과 통신을 수행할 수도 있다.Thecommunication module 130 includes a short-range communication module 131. In addition, as described above, a wireless communication apparatus (not shown) may be further provided to perform communication with an external wireless communication system if necessary.

상기 통신모듈(130)에 포함된 상기 근거리 통신모듈(131)을 통해 상기 단말기(100)는 상기 구동장치(200)와 통신을 수행할 수 있다. 근거리 통신모듈(131)이 수행하는 근거리 통신 프로토콜은 예컨대,The terminal 100 may communicate with thedriving device 200 through the short-range communication module 131 included in thecommunication module 130. The local area communication protocol performed by the localarea communication module 131 is, for example,

블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, WiFi 등이 이용될 수 있다.Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, WiFi, and the like.

출력모듈(140)은 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 구성일 수 있다. 예컨대, 디스플레이 장치, 음향 출력 장치, 알람장치, 및 햅틱 모듈 등이 포함될 수 있다.Theoutput module 140 may be a configuration for generating an output related to visual, auditory, or tactile. For example, a display device, an audio output device, an alarm device, and a haptic module may be included.

입력모듈(150)은 상기 단말기(100)로 사용자가 원하는 입력신호를 입력받을 수 있도록 구현된다. 예컨대, 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.Theinput module 150 is configured to receive a desired input signal from the terminal 100. For example, a key pad, a dome switch, a touch pad (static / static), a jog wheel, a jog switch, and the like.

상기 저장매체(160)는 본 발명의 기술적 사상을 구현하기 위해 상기 단말기(100)가 생성하거나 외부로부터 입력받은 데이터를 영구적으로 또는 임시적으로 저장할 수 있는 장치일 수 있다.Thestorage medium 160 may be a device that can permanently or temporarily store data generated by the terminal 100 or input from the outside in order to implement the technical idea of the present invention.

구현 예에 따라 상기 저장매체(160)는 복수의 서로 다른 물리적 장치로 분할되어 있을 수 있으며, 구현 예에 따라 상기 저장매체(160)의 일부는 상기 제어부(110)의 내부에 존재할 수도 있다. 상기 저장매체(160)는 구현 예에 따라 하드 디스크, SSD(Solid State Disk), 광 디스크, RAM(Random Access Memory), 및/또는 기타 다양한 종류의 기억매체로 구현될 수 있으며, 필요에 따라서는 상기 단말기(100)에 착탈식으로 구현될 수도 있다.According to an embodiment, thestorage medium 160 may be divided into a plurality of different physical devices, and a part of thestorage medium 160 may exist inside thecontroller 110 according to an embodiment. Thestorage medium 160 may be implemented as a hard disk, a solid state disk (SSD), an optical disk, a random access memory (RAM), and / or various other types of storage media according to embodiments, And may be detachably mounted on theterminal 100. [

일 예에 의하면, 상기 저장매체(160)에는 본 발명의 기술적 사상을 구현하기 위한 프로그램이 저장될 수 있다. 상기 프로그램은 상기 제어부(110)에 의해 구동(실행)될 수 있으며, 상기 프로그램이 실행됨으로써 본 발명에서 정의되는 기능들이 수행될 수 있다. 이하 본 명세서에서는 특별한 기재가 없는 한 상기 프로그램에 의해 본 명세서에서 정의하는 기능이 수행됨을 의미할 수 있다.According to an exemplary embodiment, thestorage medium 160 may store a program for implementing the technical idea of the present invention. The program can be driven (executed) by thecontrol unit 110, and the functions defined in the present invention can be performed by executing the program. Hereinafter, the functions defined in this specification may be performed by the program unless otherwise specified.

상기 제어부(110)는 프로세서를 포함하며 상기 단말기(100)의 전반적인 동작을 제어할 수 있다. 상기 제어부(110)는 프로세서, 마이크로 프로세스 등을 포함할 수 있으며 전술한 바와 같이 저장매체(160)에 저장된 프로그램을 구동함으로써 본 발명의 기술적 사상을 구현할 수 있다.Thecontroller 110 may include a processor and may control the overall operation of the terminal 100. Thecontroller 110 may include a processor, a microprocessor, and the like, and may implement the technical idea of the present invention by driving a program stored in thestorage medium 160 as described above.

또한, 필요에 따라 상기 단말기(100)는 소정의 센싱모듈(미도시)을 구비할 수 있으며, 상기 센싱모듈을 통해 상기 단말기(100)의 개폐 상태, 단말기(100)의 위치, 사용자 접촉 유무, 단말기의 방위, 단말기의 가속/감속 등을 센싱할 수 있다. 또한 전술한 바와 같이 상기 단말기(100)의 회전각도를 센싱하여, 센싱된 정보에 기초하여 상기 단말기(100)가 제어될 수도 있다.In addition, the terminal 100 may include a predetermined sensing module (not shown), and the sensing module may determine whether the terminal 100 is open or closed, the position of the terminal 100, Direction of the terminal, acceleration / deceleration of the terminal, and the like. Also, the terminal 100 may be controlled based on the sensed information by sensing the rotation angle of the terminal 100 as described above.

일 예에 의하면, 상기 단말기(100)는 구동장치(200)를 제어하여 회전을 수행하면서 부분 이미지들을 획득할 수 있다. 획득된 부분 이미지들은 정합이 수행될 수 있으며, 상기 부분 이미지들의 정합은 상기 단말기(100)에서 수행될 수도 있다. 하지만 필요에 따라 부분 이미지들의 정합은 상기 단말기(100)와 통신을 수행하는 서비스 서버(400)에서 수행될 수도 있으며, 이러한 경우 상기 단말기(100)는 획득된 부분 이미지들을 상기 서비스 서버(400)로 전송할 수 있다. 그리고 필요한 경우 상기 서비스 서버(400)로부터 정합된 정합 이미지를 수신하여 상기 단말기(100)에서 디스플레이할 수도 있다.According to an example, the terminal 100 may control the drivingunit 200 to obtain partial images while performing rotation. The acquired partial images may be subjected to matching, and the matching of the partial images may be performed in theterminal 100. [ However, the matching of the partial images may be performed by theservice server 400 performing communication with the terminal 100. In this case, the terminal 100 may transmit the partial images to theservice server 400 Lt; / RTI > If necessary, the matching image can be received from theservice server 400 and displayed on theterminal 100.

도 3은 본 발명의 일 실시 예에 따른 정합 이미지 및 부분 이미지를 설명하기 위한 도면이다.3 is a view for explaining a matching image and a partial image according to an embodiment of the present invention.

이하 본 명세서에서, 명시적으로 달리 설명하지 않은 이상, 단말기(100) 또는 서비스 서버(400)에 의해 정합되는 정합 이미지는 360도 이미지(스피어 이미지)를 의미할 수 있다. 또한 상기 단말기(100)는 60도씩 회전하여 360도를 회전하면서 서로 다른 6장의 부분 이미지들을 촬영하는 경우를 일 예로 설명하기로 한다. 또한 부분 이미지들을 정합하는 기능 역시 상기 단말기(100)가 수행하는 경우를 예시적으로 설명하지만, 부분 이미지들의 정합은 서비스 서버(400)에 의해 수행될 수 있음은 전술한 바와 같다.Hereinafter, unless otherwise explicitly stated otherwise, a matching image matched byterminal 100 orservice server 400 may refer to a 360 degree image (sphere image). In addition, the terminal 100 rotates 360 degrees and rotates 360 degrees to photograph six different partial images. Also, the function of matching partial images is also exemplarily described as performed by the terminal 100, but the matching of partial images can be performed by theservice server 400 as described above.

우선 도 3a를 참조하면, 단말기(100)는 정합 이미지를 생성하기 위해 n(예컨대, 6)개의 부분 이미지들(예컨대, 10-1 내지 15-1)을 촬영할 수 있다. 이를 위해 상기 단말기(100)는 구동장치(200)를 제어하여 n개의 방향(예컨대, 10 내지 15)을 향하도록 회전한 후, 각각의 방향에서 부분 이미지를 촬영할 수 있다.3A, the terminal 100 may capture n (e.g., 6) partial images (e.g., 10-1 through 15-1) to generate a matched image. For this, the terminal 100 may control thedriving device 200 to rotate in n directions (for example, 10 to 15), and then take a partial image in each direction.

예컨대, 상기 단말기(100)는 제1방향(10)에서 제1부분 이미지(10-1)를 촬영하고, 제2방향을 향하도록 구동장치(200)를 제어할 수 있다. 그리고 제2방향(11)에서 제2부분 이미지(11-1)를 촬영할 수 있다. 이와 같은 방식으로 상기 단말기(100)는 6개의 부분 이미지들을 순차적으로 획득할 수 있다. 이러한 경우 상기 단말기(100)의 이미지 센서(121)는 적어도 좌우 60도 보다는 큰 시야각을 갖는 것이 바람직할 수 있다. 상기 단말기(100)는 순차적으로 회전 및 촬영을 통해 부분 이미지들(예컨대, 10-1 내지 15-1)을 획득할 수 있으므로, 서로 인접한 부분 이미지들이 무엇인지를 알 수 있다. 더욱이 각 부분 이미지들의 방향을 정확히 알고 있으므로 상대적으로 부분 이미지들 간에 겹치는 영역을 손쉽게 판단할 수 있으며, 이를 통해 상대적으로 빠른 시간 내에 이미지 정합이 이루어질 수 있는 효과가 있다.For example, the terminal 100 may photograph the first partial image 10-1 in thefirst direction 10 and control thedriving device 200 to face the second direction. Then, the second partial image 11-1 can be photographed in thesecond direction 11. In this manner, the terminal 100 can sequentially acquire six partial images. In this case, it is preferable that the image sensor 121 of the terminal 100 has a viewing angle at least greater than 60 degrees. The terminal 100 can sequentially acquire partial images (e.g., 10-1 to 15-1) through rotation and photographing, so that it is possible to know what partial images are adjacent to each other. Further, since the direction of each partial image is accurately known, it is possible to easily determine the overlapping area between the partial images, and thus the image matching can be performed relatively quickly.

상기 단말기(100)가 회전을 수행하기 위해서는, 상기 단말기(100)가 상기 구동장치(200)로 미리 정해진 각도(예컨대, 60도)를 회전하라는 커맨드를 전송할 수 있다. 그리고 커맨드에 응답하여 상기 구동장치(200)로부터 상기 각도만큼 회전이 수행되었다는 신호를 수신하면, 상기 단말기(100)는 부분 이미지를 촬영할 수 있다.In order for the terminal 100 to perform the rotation, the terminal 100 may transmit a command to rotate thedriving device 200 at a predetermined angle (for example, 60 degrees). Upon receiving a signal indicating that the rotation has been performed from the drivingdevice 200 by the angle in response to the command, the terminal 100 can photograph a partial image.

다른 실시 예에 의하면, 상기 단말기(100)는 구동장치(200)를 회전시키라는 커맨드를 구동장치(200)로 출력할 수 있다. 이에 응답하여 상기 구동장치(200)가 회전을 수행하면, 상기 단말기(100)는 회전각도를 센싱할 수 있다. 그리고 회전 각도가 원하는 각도에 상응하면 상기 단말기(100)는 구동장치(200)로 회전 중지를 위한 커맨드를 출력할 수 있다. 그러면 상기 구동장치(200)는 회전을 중지할 수 있고, 그러면 상기 단말기(100)는 부분 이미지를 촬영할 수 있다.According to another embodiment, the terminal 100 may output a command to rotate thedriving apparatus 200 to thedriving apparatus 200. When thedriving device 200 rotates in response to the rotation, the terminal 100 may sense the rotation angle. If the rotation angle corresponds to a desired angle, the terminal 100 may output a command for stopping the rotation to thedriving device 200. [ Then, the drivingdevice 200 can stop the rotation, and the terminal 100 can shoot a partial image.

어떠한 방식이든 상기 단말기(100)는 원하는 각도만큼 회전을 수행하여, 수행된 각도(방향)에서 부분 이미지를 촬영할 수 있다.In any manner, the terminal 100 may perform a rotation by a desired angle to take a partial image at the angle (direction) performed.

한편, 반드시 본 발명의 기술적 사상이 상기 단말기(100)가 좌우로 360도 회전되어야 하는 것은 아닐 수 있으며, 미리 정해진 각도를 커버하는 정합 이미지를 생성하기 위해 필요한 각도만 회전할 수도 있다. 이러한 일 예는 도 3b에 도시된 바와 같을 수 있다.However, the technical idea of the present invention does not necessarily require the terminal 100 to be rotated 360 degrees to the left and right, and may rotate only an angle necessary to generate a matched image covering a predetermined angle. Such an example may be as shown in FIG. 3B.

도 3b에 도시된 바와 같이 단말기(100)는 180도를 커버하는 정합 이미지를 생성할 수 있고, 이를 위해 180도를 분할한 n개의 방향(예컨대, 21을 포함하는 12방향)을 향하도록 순차적으로 회전하면서 n방향에서 n개의 부분 이미지(예컨대, 21-1을 포함하는 12개의 부분 이미지)를 촬영할 수 있다. 그리고 상기 부분 이미지들을 정합하여 180도를 커버하는 정합 이미지를 생성할 수도 있다.As shown in FIG. 3B, the terminal 100 can generate a matched image covering 180 degrees, and for this purpose, the terminal 100 sequentially moves n directions (for example, 12 directions including 21) It is possible to photograph n partial images (e.g., 12 partial images including 21-1) in the n direction while rotating. The partial images may be matched to produce a matched image covering 180 degrees.

이러한 본 발명의 정합 이미지 생성방법을 간략히 정리하면 도 4와 같을 수 있다.The matching image generating method of the present invention can be summarized as shown in FIG.

도 4는 본 발명의 일 실시 예에 따른 정합 이미지 생성방법을 설명하기 위한 흐름도를 나타낸다.4 is a flowchart illustrating a method of generating a matching image according to an embodiment of the present invention.

도 4를 참조하면, 상기 단말기(100)는 소정의 방향에서 부분 이미지를 획득할 수 있다(S10). 그리고 구동장치(200)를 제어하여 미리 정해진 각도만큼 회전을 수행할 수 있다(S20). 그리고 회전이 수행된 상태에서 해당하는 부분 이미지를 획득할 수 있다(S30). 그리고 원하는 n개의 방향에 상응하는 n개의 부분 이미지들을 획득하였는지 판단할 수 있다(S40). 만약 n개의 부분 이미지들을 모두 획득하지 못했다고 판단되면(S40), 상기 단말기(100)는 다시 구동장치를 제어하여 회전을 수행한 후 부분 이미지를 획득할 수 있다(S20, S30).Referring to FIG. 4, the terminal 100 may acquire a partial image in a predetermined direction (S10). Then, the drivingdevice 200 may be controlled to perform the rotation by a predetermined angle (S20). Then, the corresponding partial image can be obtained in the state where the rotation is performed (S30). Then, it is determined whether n partial images corresponding to the desired n directions have been acquired (S40). If it is determined that all of the n partial images have not been acquired (S40), the terminal 100 can control the driving device again to perform rotation and acquire a partial image (S20, S30).

만약 n개의 부분 이미지들을 모두 획득했다고 판단되면(S40), 상기 단말기(100)는 획득된 부분 이미지들을 정합하는 정합 프로세스를 수행할 수 있다(S50). 상기 정합 프로세스는 상기 단말기(100)가 직접 이미지 정합을 수행하는 프로세스이거나 또는 상기 단말기(100)가 상기 서비스 서버(400)로 부분 이미지들을 전송하고 상기 서비스 서버(400)가 부분 이미지들을 정합하도록 하는 프로세스를 의미할 수 있음은 전술한 바와 같다.If it is determined that all the n partial images have been acquired (S40), the terminal 100 may perform a matching process of matching the obtained partial images (S50). The matching process may be a process in which the terminal 100 directly performs image matching or the terminal 100 transmits partial images to theservice server 400 and causes theservice server 400 to match partial images The process can be referred to as described above.

한편, 본 발명의 기술적 사상은 전술한 바와 같이 상기 단말기(100)가 복수의 회전을 수행함으로써, 서로 다른 회전을 통해 획득된 부분 이미지들을 하나의 정합 이미지를 생성하는데 이용하도록 할 수 있다.Meanwhile, the technical idea of the present invention allows the terminal 100 to perform a plurality of rotations, as described above, so that partial images obtained through different rotations can be used to generate a single matched image.

이러한 일 예는 도 5 내지 도 6을 참조하여 설명하도록 한다.Such an example will be described with reference to Figs. 5 to 6. Fig.

도 5는 본 발명의 일 실시 예에 따른 정합 이미지 생성방법을 이용해 복수의 회전을 수행하여 부분 이미지들을 획득하는 개념을 설명하기 위한 도면이다. 또한, 도 6은 본 발명의 일실시 예에 따른 정합 이미지 생성방법을 통해 복수의 회전들 각각으로부터 획득되는 부분 이미지들을 정합하여 정합 이미지를 생성하는 개념을 설명하기 위한 도면이다.5 is a view for explaining a concept of performing partial rotation by performing a plurality of rotations using the method of generating a registration image according to an embodiment of the present invention. 6 is a view for explaining a concept of generating a matching image by matching partial images obtained from each of a plurality of rotations through a matching image generating method according to an embodiment of the present invention.

우선 도 5a를 참조하면, 상기 단말기(100)는 n(예커대, 6)개의 방향(예컨대, 10 내지 15)을 각각 향하도록 회전한 후, 각각의 방향(예컨대, 10 내지 15)에서 부분 이미지들(예컨대, 10-1 내지 15-1)을 촬영할 수 있다. 이러한 회전 및 촬영과정을 기초회전으로 정의하도록 한다.5A, the terminal 100 rotates to face n (e.g., six to six) directions (e.g., 10 to 15), and then, in each direction (for example, 10 to 15) (For example, 10-1 to 15-1). This rotation and photographing process are defined as basic rotation.

그러면 상기 단말기(100)는 상기 기초회전을 통해 획득된 부분 이미지들(예컨대, 10-1 내지 15-1)을 정합하여 정합 이미지를 생성하는 것이 아니라, 추가 회전을 수행할 수 있다. 그리고 추가회전을 통해 적어도 하나의 부분 이미지를 획득할 수 있다. 상기 추가회전은 한 번 또는 그 이상일 수 있지만, 설명의 편의를 위해 본 명세서에서는 추가회전은 한 번인 것을 가정하여 설명하도록 한다.Then, the terminal 100 may perform the additional rotation, instead of generating the matching image by matching the partial images (e.g., 10-1 to 15-1) obtained through the basic rotation. And may obtain at least one partial image through further rotation. The additional rotation may be once or more, but for convenience of explanation, it is assumed herein that the additional rotation is once.

또한 기초회전에서 획득된 부분 이미지를 기초회전 부분 이미지로 정의하기로 하고, 추가회전을 통해 획득된 부분 이미지를 추가회전 부분 이미지로 정의하기로 한다.Further, the partial image obtained in the basic rotation is defined as the basic rotated partial image, and the partial image obtained through the additional rotation is defined as the additional rotated partial image.

그러면 본 발명의 기술적 사상은 기초회전 부분 이미지들 중 일부와 추가회전 부분 이미지 중 전부 또는 일부를 정합하여 정합 이미지를 생성할 수 있다. 이를 통해 서로 다른 시간구간(예컨대, 기초회전에 해당하는 시간구간 및 추가회전에 해당하는 시간구간)에서 촬영된 이미지들이 정합되어 하나의 정합 이미지를 생성하는 개념이 제시된다.Then, the technical idea of the present invention can generate a matched image by matching all or a portion of the additional rotated partial images with some of the basic rotated partial images. Thereby, a concept of generating a single matched image by matching images photographed in different time intervals (for example, a time interval corresponding to the basic rotation and a time interval corresponding to the additional rotation) is presented.

이러한 개념은 촬영대상이 정적인 피사체(예컨대, 풍경, 건물이나 부동산 등) 즉, 시간에 크게 영향을 받지 않는 피사체를 촬영하여 정합 이미지(예컨대, 360도 이미지)를 생성하고자 할 때, 특정방향에 해당하는 기초회전 부분 이미지가 사용자가 원치 않는 특징이 있는 경우 상기 기초회전 부분 이미지를 상기 특징이 없는 추가회전 부분 이미지로 대체할 수 있는 효과를 제공할 수 있다. 이때 대체되는 추가회전 부분 이미지는 대체의 대상이 되는 기초회전 부분 이미지와는 대응되는 부분 이미지(즉, 동일한 방향에 해당하는 부분 이미지)일 수 있다.This concept is applicable to a case where a subject to be photographed is to photograph a subject (e.g., a landscape, a building or a real estate, etc.) which is static, that is, It is possible to provide the effect of replacing the basic rotation partial image with the additional non-rotation partial image when the corresponding basic rotation partial image has a feature that the user does not want. The additional rotated partial image to be replaced at this time may be a partial image (i.e., a partial image corresponding to the same direction) corresponding to the basic rotated partial image to be replaced.

예컨대 도 5a에서 제3방향(12)에서 획득한 제3부분 이미지(12-1)에 원치 않는 특징(예컨대, 특정 객체가 촬영)이 존재할 수 있다.For example, in FIG. 5A, there may be an unwanted feature (e.g., a particular object is photographed) in the third partial image 12-1 acquired in thethird direction 12.

그러면 만약 상기 단말기(100)가 도 5b에 도시된 바와 같이 추가회전을 수행하여 기초회전과 동일한 n개의 방향(예컨대, 10 내지 15)에 대해, n개의 추가회전 부분 이미지들(예컨대, 10-2 내지 15-2)을 획득하였다면, 상기 특징이 존재하지 않는(예컨대, 특정 객체가 촬영되지 않은) 기초회전 제3부분 이미지(12-1)를 대체하여 추가회전 제3부분 이미지(12-2)를 정합에 이용할 수 있다.Then, if the terminal 100 performs an additional rotation as shown in FIG. 5B, for n same directions (e.g., 10 to 15) as the base rotation, n additional rotated partial images (e.g., 10-2 The additional rotation third partial image 12-2 can be obtained by replacing the basic rotation third partial image 12-1 in which the characteristic does not exist (for example, the specific object is not photographed) Can be used for registration.

즉, 기초회전 부분 이미지들(10-1 내지 15-1) 중 정합의 대상이 되는 기초회전 정합 대상 이미지는 상기 제3부분 이미지(12-1)를 제외한 기초회전 부분 이미지들(예컨대, 10-1, 11-1, 13-1, 14-1, 15-1)이 될 수 있다. 그리고 정합의 대상이 되는 추가회전 부분 이미지는 대체될 기초회전 부분 이미지인 기초회전 제3부분 이미지(12-1)에 대응되는 추가회전 부분 이미지(12-2)일 수 있다.That is, among the basic rotation partial images 10-1 to 15-1, the basic rotation matching target image to be matched is the basic rotation partial images excluding the third partial image 12-1 (e.g., 10- 1, 11-1, 13-1, 14-1, 15-1). And the additional rotated partial image to be matched may be the additional rotated partial image 12-2 corresponding to the basic rotated third partial image 12-1 which is the basic rotated partial image to be replaced.

그러면 상기 기초회전 정합대상 이미지(예컨대, 10-1, 11-1, 13-1, 14-1, 15-1)와 추가회전 정합대상 이미지(예컨대, 12-2)가 정합된 결과 도 6에 도시된 바와 같은 정합 이미지가 생성될 수 있다.6 (b), the basic rotation matching target images (e.g., 10-1, 11-1, 13-1, 14-1, and 15-1) and the additional rotation matching target images A matching image as shown can be generated.

만약 추가회전(예컨대, 두 번째 회전)을 통해 획득된 추가회전 제3부분 이미지(예컨대, 12-2)에도 상기 특징이 여전히 존재한다면 상기 단말기(100)는 다시 추가회전(예컨대, 세 번째 회전)을 수행할 수 있다. 어떠한 경우든 상기 특징이 존재하지 않는 추가회전 제3부분 이미지를 추가회전의 횟수에 무관하게 획득하고 이를 정합대상으로 할 수 있다.If the feature is still present in the additional rotation third partial image (e.g., 12-2) obtained via an additional rotation (e.g., a second rotation), the terminal 100 may again perform an additional rotation (e.g., third rotation) Can be performed. In any case, the additional rotation third partial image in which the feature does not exist can be acquired irrespective of the number of additional rotations, and can be used as a registration target.

예를 들어 만약 상기 특징이 전술한 바와 같이 특정 객체(예컨대, 사람)이 촬영되는 특징이고, 상기 단말기(100)가 상기 특징이 존재하는 기초회전 부분 이미지는 모두 정합대상에서 제외한다고 가정할 수 있다. 그러면 상기 기초회전 부분 이미지들 중에서 정합의 대상이 되는 부분 이미지들은 모두 상기 특징이 존재하지 않는 이미지들일 수 있다. 그리고 제외된 기초회전 부분 이미지 각각에 대응되는 추가회전 부분 이미지들은 상기 특징이 존재하지 않는 부분 이미지들일 수 있다. 이러한 방식으로 기초회전 부분 이미지들 중 상기 특징이 존재하지 않는 부분 이미지들 즉, 기초회전 정합대상 이미지와 추가회전 부분 이미지들 중 추가회전 정합대상 이미지가 정합되면 정합된 정합 이미지는 전 방향에서 상기 특징이 존재하지 않게 된다.For example, it can be assumed that the feature is a feature in which a specific object (e.g., a person) is photographed as described above, and the terminal 100 excludes all of the basic rotated partial images in which the feature exists, . Then, partial images to be matched among the basic rotated partial images may all be images in which the feature does not exist. And the additional rotated partial images corresponding to each of the excluded basic rotated partial images may be partial images for which the feature does not exist. In this way, partial images in which the feature does not exist among the basic rotation partial images, that is, the additional rotation matching target image among the basic rotation matching target image and the additional rotation partial images are matched, Is not present.

예를 들어 상기 단말기(100)가 특정 공간을 촬영한다고 가정하고 상기 특징은 사람이 촬영되는 것이라고 가정하면, 기초회전을 통해 특정 방향의 부분 이미지(예컨대, 12-1)에서 사람이 촬영되었다면, 상기 해당 특정 방향에 대해 사람이 촬영되지 않은 추가회전 부분 이미지(예컨대, 12-2)를 촬영하여 상기 추가회전 부분 이미지(예컨대, 12-2)를 사람이 촬영된 상기 기초회전 부분 이미지(예컨대, 12-1)와 대체할 수 있다. 그리고 대체된 기초회전 부분 이미지들(예컨대, 10-1. 11-1, 12-2, 13-1, 14-1, 15-1)을 정합하면, 상기 공간을 전방향 커버하는 정합 이미지가 생성되면서 어떠한 방향에서도 사람이 촬영되지 않는 특징을 갖게 될 수 있다.For example, if it is assumed that the terminal 100 photographs a specific space, and that the characteristic is that a person is photographed, if a person is photographed from a partial image in a specific direction (for example, 12-1) (E.g., 12-2) that has not been photographed by the person for the particular direction and outputs the additional rotated partial image (e.g., 12-2) to the basic rotated partial image -1). When the replaced basic rotation partial images (e.g., 10-1. 11-1, 12-2, 13-1, 14-1, and 15-1) are matched, a matching image that covers the space in all directions is generated It is possible that a person can not be photographed in any direction.

기초회전 부분 이미지들 중에서 어떠한 특징을 가지는 부분 이미지가 정합대상에서 제외될지는 다양할 수 있다. 예컨대 전술한 바와 같이 특정 객체가 촬영된 것이 상기 특징일 수도 있고, 이와는 반대로 특정 객체가 촬영되지 않은 것이 상기 특징일 수도 있다. 구현 예에 따라 다양한 특징이 정의될 수 있고, 이러한 특징의 정의에 따라 정합 이미지가 커버하는 모든 방향에서 해당 특징이 존재하지 않는 정합 이미지를 생성할 수 있는 효과가 있다.Whether partial images having certain characteristics among the basic rotated partial images are excluded from the matching object may vary. For example, as described above, it may be the feature that the specific object is photographed, and conversely, the specific object is not photographed. According to the embodiment, various features can be defined, and according to the definition of the feature, it is possible to generate a matching image in which no feature exists in all directions covered by the matching image.

또한 상기 정합 이미지는 서로 다른 시간 대의 부분 이미지가 정합되어 새로운 시공간을 생성하는 효과를 가질 수 있다.In addition, the matching images may have the effect of matching new partial images of different time periods to create new space-time.

한편, 추가회전을 수행하면서, 도 5b에 도시된 바와 같이, 상기 단말기(100)는 추가회전 시에도 기초회전과 마찬가지로 n개의 방향들 각각에 해당하는 n개의 추가회전 부분 이미지들(예컨대, 10-2 내지 15-2)을 모두 촬영할 수도 있다.On the other hand, while performing additional rotation, as shown in FIG. 5B, the terminal 100 is able to rotate n additional rotation partial images (e.g., 10- 2 to 15-2 may be photographed.

그리고 전술한 바와 같이 상기 기초회전 부분 이미지에서 소정의 특징이 존재하는 기초회전 부분 이미지 즉, 제외 대상 부분 이미지(예컨대, 12-1)를 제외한 기초회전 정합대상 이미지(예컨대, 10-1. 11-1, 13-1, 14-1, 15-1)와 상기 n개의 추가회전 부분 이미지들(예컨대, 10-2 내지 15-2) 중에서 상기 제외 대상 부분 이미지(예컨대, 12-1)에 대응되는 이미지(예컨대, 12-2)인 상기 추가회전 정합대상 이미지가 정합될 수 있다.As described above, the basic rotation partial image in which the predetermined feature exists in the basic rotation partial image, i.e., the basic rotation partial image excluding the partial image to be excluded (e.g., 12-1) (for example, 10-1.11- Corresponding to the exclusion partial image (e.g., 12-1) among the n additional rotation partial images (e.g., 10-2 to 15-2) The additional rotational registration target image (e.g., 12-2) may be matched.

즉, 추가회전에서도 상기 단말기(100)는 미리 정의된 n개의 방향 각각에 상응하는 n개의 이미지들을 모두 촬영할 수 있다.That is, even in the additional rotation, the terminal 100 can capture all the n images corresponding to each of the n defined directions.

그리고 이러한 경우에는 상기 단말기(100)는 기초회전에서 획득된 기초회전 부분 이미지들(예컨대, 10-1 내지 15-1)과 상기 기초회전 부분 이미지들 각각에 대응되는 추가회전 부분 이미지(예컨대, 10-2 내지 15-2)를 비교하여 상기 제외 대상이 되는 부분 이미지를 결정할 수도 있다.In such a case, the terminal 100 may acquire the basic rotation partial images (e.g., 10-1 to 15-1) and the additional rotation partial images (e.g., 10 -2 to 15-2), thereby determining the partial image to be excluded.

예컨대, 기초회전에서 서로 다른 6개의 방향들에 대해 6개의 기초회전 부분 이미지들을 획득하고, 추가회전에서 서로 다른 6개의 방향들에 대해 6개의 추가회전 부분 이미지를 획득할 수 있다. 그리고 단말기(100)는 대응되는 각각의 부분 이미지들(예컨대, 10-1 및 10-2, 11-1 및 11-2 등)을 서로 비교할 수 있다. 그리고 비교결과가 미리 정해진 기준을 만족하는 경우에는 해당 방향의 기초회전 부분 이미지를 추가회전 부분 이미지로 대체할 수도 있다.For example, six basic rotated partial images may be obtained for six different directions in the base rotation, and six additional rotated partial images may be obtained for six different directions in the additional rotation. And the terminal 100 may compare the corresponding respective partial images (e.g., 10-1 and 10-2, 11-1 and 11-2, etc.) with each other. If the comparison result satisfies a predetermined criterion, the basic rotation partial image in the corresponding direction may be replaced with the additional rotation partial image.

예컨대, 상기 단말기는 서로 대응되는 부분 이미지들의 차영상(differential image)를 획득하고 차영상을 이용하여 부분 이미지들의 차이가 일정 수준 이상인 경우 해당 방향의 기초회전 부분 이미지를 제외대상 부분 이미지로 판단할 수도 있다.For example, the terminal obtains a differential image of partial images corresponding to each other, and when the difference between the partial images is equal to or higher than a certain level using the difference image, the terminal may determine the basic rotated partial image as the excluding partial image have.

결국 제외대상 부분 이미지를 선택하기 위한 실시 예는 전술한 바와 같이 부분 이미지가 미리 정해진 특징을 가지고 있는지 여부에 기초할 수도 있지만, 대응되는 부분 이미지들의 비교에 의해 결정될 수도 있으며, 사용자가 직접 기초회전 부분 이미지 또는 추가회전 부분 이미지들 중에서 적어도 하나를 대체할(대체될) 부분 이미지로 선택할 수도 있다. 다양한 실시 예가 가능할 수 있다.As a result, the embodiment for selecting the partial image to be excluded may be based on whether or not the partial image has the predetermined characteristic as described above, but may be determined by comparing the corresponding partial images, At least one of the image or additional rotated partial images may be selected as the partial image to be replaced (to be replaced). Various embodiments may be possible.

한편, 또 다른 실시 예에 의하면, 상기 단말기(100)는 반드시 추가회전을 통해 n방향 모두에 대해 추가회전 부분 이미지를 획득할 필요가 없을 수도 있다. 즉, 실시 예에 따라서는 기초회전 부분 이미지들 중에서 제외대상 부분 이미지에 대응되는 추가회전 부분 이미지만을 추가회전을 통해 획득할 수도 있다.On the other hand, according to another embodiment, the terminal 100 may not necessarily acquire an additional rotated partial image for all of the n directions through the additional rotation. That is, according to the embodiment, only the additional rotated partial image corresponding to the partial image to be excluded from the basic rotated partial images may be obtained through additional rotation.

이러한 제외대상 부분 이미지의 결정은 상기 단말기(100)가 기초회전 부분 이미지들 각각을 분석하여 전술한 바와 같이 미리 정해진 특징을 갖는(만족하는) 부분 이미지가 어떤 것(n개의 방향중 어떤 방향) 인지를 판단함으로써 이루어질 수 있다.The determination of the exclusion target partial image is performed by the terminal 100 by analyzing each of the basic rotation partial images to determine which of the n directions (which direction is the partial image) satisfying (satisfying) the predetermined characteristic as described above . ≪ / RTI >

또는 사용자에게 기초회전 부분 이미지들을 제공하고, 이에 응답하여 상기 기초회전 부분 이미지들 중에서 적어도 하나를 선택받을 수도 있다. 그러면 선택받은 기초회전 부분 이미지가 제외대상 부분 이미지로 선택될 수도 있다.Or the user may be provided with basic rotated partial images, and in response, at least one of the basic rotated partial images may be selected. Then, the selected basic rotation partial image may be selected as the partial image to be excluded.

이처럼 제외대상 부분 이미지가 결정되면(즉, n개의 방향 중 제외대상 부분 이미지에 상응하는 방향이 결정되면), 상기 단말기(100)는 상기 단말기(100)가 상기 특정 방향으로 회전되도록 한 후 상기 방향에서의 추가회전 부분 이미지를 획득할 수 있다. 그리고 획득된 상기 추가회전 부분 이미지는 정합 이미지의 생성에 이용되는 상기 추가회전 정합대상 이미지가 될 수 있다.When the partial image to be excluded is determined (i.e., a direction corresponding to the partial image to be excluded out of n directions is determined), the terminal 100 causes the terminal 100 to rotate in the specific direction, Lt; RTI ID = 0.0 > a < / RTI > And the obtained additional rotated partial image may be the additional rotated target image to be used for generation of the registered image.

n개의 방향 중 일부의 방향에서만 추가회전 부분 이미지를 선택적으로 획득하는 개념에 대한 일 예는 도 7 내지 도 9를 참조하여 설명하도록 한다.An example of the concept of selectively acquiring additional rotated partial images in only some of the n directions will be described with reference to Figs. 7 to 9. Fig.

도 7 내지 도 9는 본 발명의 다른 일실시 예에 따른 정합 이미지 생성방법을 통해 복수의 회전들 각각으로부터 획득되는 부분 이미지들을 정합하여 정합 이미지를 생성하는 개념을 설명하기 위한 도면이다.7 to 9 are views for explaining a concept of generating a matching image by matching partial images obtained from each of a plurality of rotations through a matching image generating method according to another embodiment of the present invention.

우선 도 7을 참조하면, 상기 단말기(100)는 사용자에게 기초회전 부분 이미지들 중 전부(예컨대, 10-1 내지 15-1) 또는 일부를 제공할 수 있다. 사용자는 제공된 기초회전 부분 이미지들 중에서 적어도 하나를 제외대상 부분 이미지(예컨대, 12-1, 14-1)로 선택할 수 있다. 또는 상기 단말기(100)가 상기 기초회전 부분 이미지들 각각을 분석하여 소정의 특징이 있는 부분 이미지(예컨대, 12-1, 14-1)를 상기 제외대상 부분 이미지로 선택할 수도 있다.Referring first to FIG. 7, the terminal 100 may provide the user with all (e.g., 10-1 through 15-1) or some of the basic rotated partial images. The user may select at least one of the provided basic rotation partial images as the exclusionary partial image (e.g., 12-1, 14-1). Alternatively, the terminal 100 may analyze each of the basic rotated partial images to select a partial image having a predetermined characteristic (e.g., 12-1, 14-1) as the partial image to be excluded.

그러면 상기 단말기(100)는 도 8에 도시된 바와 같이, 제외대상 부분 이미지에 상응하는 각각의 방향(예컨대, 12, 14)으로 선택적으로 회전을 수행할 수 있다. 그리고 회전된 각 방향(예컨대, 12, 14)에서만 추가회전 부분 이미지(12-3, 14-3)을 획득할 수도 있다. 즉, 이러한 경우 방향들(10, 11, 13, 15)에서는 추가회전 부분 이미지가 촬영되지 않을 수도 있다.Then, the terminal 100 may selectively rotate in each direction (e.g., 12, 14) corresponding to the partial image to be excluded, as shown in FIG. And only the additional rotated partial images 12-3 and 14-3 may be obtained in each of the rotated directions (e.g., 12 and 14). That is, in thiscase directions 10, 11, 13, and 15, an additional rotated partial image may not be captured.

그러면 기초회전 부분 이미지들 중 제외대상 부분 이미지(12-1, 14-1)을 제외한 기초회전 정합대상 이미지(10-1, 11-1, 13-1, 15-1) 및 상기 제외대상 부분 이미지(12-1, 14-1)에 대응되는 추가회전 부분 이미지(12-3, 14-3)가 정합되어 정합 이미지가 생성될 수 있다.Then, the basic rotation matching target images (10-1, 11-1, 13-1, 15-1) excluding the excluded target partial images (12-1, 14-1) The additional rotated partial images 12-3 and 14-3 corresponding to the additional rotation images 12-1 and 14-1 may be matched to generate a matched image.

한편, 정합 이미지가 커버하는 각도 및 n이 서로 다른 실시 예인 도 9에서도 전술한 바와 같은 기술적 사상이 적용되어, 서로 다른 회전에서 획득된 부분 이미지들이 하나의 정합 이미지에 포함될 수 있다.9, in which the angle of coverage of the registration image is different from that of the registration image n, the partial images obtained in different rotations may be included in one registration image.

즉, 도 9에서는 단말기(100)는 기초회전을 통해 12개의 방향에 대해 12개의 부분 이미지들을 획득할 수 있다. 그리고 추가회전을 통해 동일한 12개의 방향에 대해 12개의 추가회전 부분 이미지들을 전부 획득하거나, 기초회전 부분 이미지들 중 제외대상 부분 이미지에 대응되는 추가회전 부분 이미지(예컨대, 24-2, 29-2)만을 획득할 수도 있다.That is, in Fig. 9, the terminal 100 can acquire 12 partial images for 12 directions through the basic rotation. (E.g., 24-2, 29-2) corresponding to the exclusion target partial image among the basic rotation partial images, or all of the additional rotation partial images .

그리고 기초회전 정합대상 이미지(21-1, 22-1, 23-1, 25-1, 26-1, 27-1, 28-1, 30-1, 31-1, 32-1)와 추가회전 정합대상 이미지(24-2, 29-2)가 정합되어 정합 이미지가 생성될 수 있다.The basic rotation matching target images 21-1, 22-1, 23-1, 25-1, 26-1, 27-1, 28-1, 30-1, 31-1, The registration target images 24-2 and 29-2 are matched and a matching image can be generated.

결국 본 발명의 기술적 사상에 따른 정합 이미지 생성방법에 의하면, 서로 다른 시간 대의 부분 이미지가 하나의 정합 이미지의 구성요소로 포함되어 새로운 시공간을 생성하는 효과를 가질 수 있다. 즉, 정합 이미지의 일부분은 제1시간대(시간구간)의 공간을 나타내고 나머지는 제1시간과는 다른 시간대의 공간을 나타내게 됨으로써 다양한 효과를 가져올 수 있다.As a result, according to the method of generating matching images according to the technical idea of the present invention, partial images of different time zones are included as components of one matching image, thereby creating a new space-time. That is, a part of the matched image represents a space of a first time zone (time zone), and the remaining space represents a space of a time zone different from the first time zone, thereby achieving various effects.

또한, 이처럼 새로운 시공간을 생성하는 효과를 갖는 정합 이미지의 생성방법은 반드시 구동장치(200)가 필요한 것은 아니다. 즉, 사람이 직접 소정의 가이드 또는 인터페이스를 통해 단말기(100)를 회전하는 경우에도 상술한 기술적 사상을 달성할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다. 다만 구동장치(200)를 통해 회전각도의 제어가 정확하게 이루어짐으로써 이미지 정합의 성능(품질과 속도)가 훨씬 높아질 수 있음은 물론이다.In addition, the method of generating a matched image having the effect of generating a new space-time is not necessarily the drivingapparatus 200. That is, an average expert in the technical field of the present invention can readily deduce that the above-described technical idea can be achieved even when a person directly rotates the terminal 100 through a predetermined guide or interface. However, it is needless to say that the performance (quality and speed) of the image matching can be significantly increased by accurately controlling the rotation angle through thedriving device 200.

본 발명의 실시 예에 따른 정합 이미지 생성방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The method of generating a matched image according to an embodiment of the present invention can be implemented as a computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, hard disk, floppy disk, optical data storage, and the like. In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. And functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers skilled in the art to which the present invention pertains.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

Claims (16)

Translated fromKorean

복수의 부분 이미지들이 정합되어 생성되는 정합 이미지 생성방법에 있어서,
이미지 센서가 구비된 단말기가 상기 이미지 센서를 이용하여, 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향 각각에 상응하는 n개의 부분이미지들 중 제1방향에 상응하는 제1부분 이미지를 획득하는 단계; 및
상기 단말기가 상기 단말기와 결합되어 상기 단말기를 회전시킬 수 있는 구동장치를 제어하여 순차적으로 제2방향에 상응하는 제2부분 이미지로부터 제n방향에 상응하는 제n부분 이미지를 획득하는 회전촬영 단계를 포함하며,
획득된 n개의 부분 이미지들 중 전부 또는 일부가 정합되어 상기 정합 이미지가 생성되는 정합 이미지 생성방법.
A method of generating a matched image, wherein a plurality of partial images are matched and generated,
A terminal equipped with an image sensor uses the image sensor to detect a position of a pixel in a first direction among n partial images corresponding to n directions in which the range of angles that the matching image is intended to cover is n (n is a natural number) Obtaining a corresponding first partial image; And
And a rotation photographing step of acquiring an n-th partial image corresponding to the n-th direction from the second partial image sequentially corresponding to the second direction by controlling the driving device in which the terminal is combined with the terminal and capable of rotating the terminal ≪ / RTI &
Wherein all or part of the obtained n partial images are matched to generate the matched image.
제1항에 있어서, 상기 회전촬영 단계는,
상기 단말기가 상기 구동장치가 제1방향에서 제2방향으로 회전되기 위한 각도 정보를 포함하는 커맨드를 상기 구동장치로 전송하는 단계를 포함하는 정합 이미지 생성방법.
The method according to claim 1,
The terminal transmitting a command to the driving device, the command including angle information for the driving device to be rotated in the second direction in the first direction.
제1항에 있어서, 상기 회전촬영 단계는,
상기 단말기가 상기 구동장치를 회전시키는 단계;
상기 단말기가 제1방향에서 제2방향으로 회전되었는지 센싱하는 단계 및
상기 단말기가 상기 구동장치의 회전을 정지시키는 단계를 포함하는 정합 이미지 생성방법.
The method according to claim 1,
Rotating the driving device by the terminal;
Sensing whether the terminal is rotated in a second direction in a first direction;
And stopping the rotation of the driving device by the terminal.
제1항에 있어서, 상기 정합 이미지 생성방법은,
상기 단말기가 상기 n개의 방향에 대해 회전을 수행하여 기초회전을 수행한 후, 적어도 한 번의 추가회전을 수행하고, 상기 추가회전을 통해 상기 n개의 방향 중 적어도 하나에 상응하는 적어도 하나의 추가회전 부분이미지를 획득하는 단계를 더 포함하며,
상기 기초회전에서 획득된 n개의 부분 이미지들 중 일부인 기초회전 정합대상 이미지와 상기 추가회전 부분 이미지의 적어도 일부인 추가회전 정합대상 이미지가 정합되어 상기 정합 이미지가 생성되는 정합 이미지 생성방법.
2. The method according to claim 1,
Wherein the terminal performs at least one additional rotation after performing the base rotation by performing a rotation about the n directions and at least one additional rotation portion corresponding to at least one of the n directions through the further rotation, Further comprising acquiring an image,
Wherein the basic rotation matching target image, which is a part of n partial images obtained in the basic rotation, is matched with an additional rotation matching target image that is at least a part of the additional rotating partial image, and the matching image is generated.
제4항에 있어서, 상기 적어도 하나의 추가회전 부분 이미지를 획득하는 단계는,
상기 n개의 방향 각각에 상응하는 n개의 추가회전 부분이미지들을 획득하는 단계를 포함하며,
상기 기초회전에서 획득된 상기 n개의 부분 이미지들 중에서, 소정의 방식으로 결정된 적어도 하나의 제외대상 부분 이미지를 제외한, 상기 기초회전 정합대상 이미지와,
상기 n개의 추가회전 부분 이미지들 중에서 상기 제외대상 부분 이미지에 대응되는 이미지인 상기 추가회전 정합대상 이미지가 정합되어 상기 정합 이미지가 생성되는 것을 특징으로 하는 정합 이미지 생성방법.
5. The method of claim 4, wherein obtaining the at least one additional rotated portion image comprises:
And obtaining n additional rotated partial images corresponding to each of the n directions,
Wherein the image processing apparatus further comprises: an image processing unit configured to generate an image based on the basic rotation matching target image, excluding at least one excluding partial image determined in a predetermined manner from among the n partial images obtained in the basic rotation,
Wherein the additional rotation matching target image, which is an image corresponding to the exclusion target partial image, among the n additional rotation partial images is matched to generate the matched image.
제5항에 있어서, 상기 제외대상 부분 이미지 및 상기 추가회전 정합대상 이미지 중 어느 하나는 미리 정해진 특정 객체가 촬영된 이미지이고,
나머지 하나는 상기 특정 객체가 촬영되지 않은 이미지인 것을 특징으로 하는 정합 이미지 생성방법
6. The method according to claim 5, wherein any one of the exclusion target partial image and the additional rotation matching target image is an image in which a predetermined specific object is photographed,
And the other is an image in which the specific object is not photographed.
제5항에 있어서, 상기 정합 이미지 생성방법은,
상기 기초회전에서 획득된 기초회전 부분 이미지들과 상기 기초회전 부분 이미지들 각각에 대응되는 추가회전 부분 이미지를 비교하여 상기 대상 부분 이미지를 결정하는 단계를 더 포함하는 정합 이미지 생성방법.
6. The method of claim 5,
And comparing the basic rotated partial images obtained in the basic rotation with the additional rotated partial images corresponding to each of the basic rotated partial images to determine the target partial image.
제5항에 있어서, 상기 정합 이미지 생성방법은,
사용자로부터 상기 제외대상 부분 이미지 또는 상기 제외대상 부분 이미지에 대응되는 추가회전 정합 이미지를 선택받는 단계를 더 포함하는 정합 이미지 생성방법.
6. The method of claim 5,
Further comprising receiving from the user an exclusion target partial image or an additional rotational matching image corresponding to the exclusion target partial image.
제4항에 있어서, 상기 적어도 하나의 추가회전 부분 이미지를 획득하는 단계는,
상기 n개의 방향 중 상기 추가회전에서 상기 추가회전 정합대상 이미지를 획득할 특정 방향을 판단하는 단계;
판단결과에 기초하여 상기 단말기가 상기 특정 방향으로 회전된 후 상기 추가회전 정합대상 이미지를 획득하는 단계를 포함하는 정합 이미지 생성방법.
5. The method of claim 4, wherein obtaining the at least one additional rotated portion image comprises:
Determining a particular direction in which to obtain the further rotational registration target image in the additional rotation of the n directions;
And obtaining the additional rotation matching target image after the terminal is rotated in the specific direction based on the determination result.
제9항에 있어서, 상기 n개의 방향 중 상기 추가회전에서 부분 이미지를 획득할 특정 방향을 판단하는 단계는,
상기 기초회전을 통해 획득된 상기 n개의 부분 이미지들을 분석하는 단계;
분석결과 미리 결정된 특징을 갖는 부분 이미지에 상응하는 상기 특정 방향을 판단하는 단계를 포함하는 정합 이미지 생성방법.
10. The method of claim 9, wherein determining a particular direction to obtain a partial image in the further rotation of the n &
Analyzing the n partial images obtained through the fundamental rotation;
And determining the specific direction corresponding to the partial image having the predetermined characteristic as the analysis result.
제9항에 있어서, 상기 n개의 방향 중 상기 추가회전에서 부분 이미지를 획득할 특정 방향을 판단하는 단계는,
상기 기초회전을 통해 획득된 상기 n개의 부분 이미지들의 전부 또는 일부를 사용자에게 제공하는 단계;
제공된 부분 이미지들 중 사용자로부터 선택된 부분 이미지에 상응하는 방향을 상기 특정 방향으로 판단하는 단계를 포함하는 정합 이미지 생성방법.
10. The method of claim 9, wherein determining a particular direction to obtain a partial image in the further rotation of the n &
Providing all or a portion of the n partial images obtained through the basic rotation to a user;
Determining a direction corresponding to a partial image selected from a user among the provided partial images in the specific direction.
정합 이미지 생성방법에 있어서,
이미지 센서가 구비된 단말기가 상기 단말기와 결합되어 상기 단말기를 회전시킬 수 있는 구동장치를 제어하여, 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향들 각각에 상응하는 n개의 부분이미지를 순차적으로 획득하는 기초회전 수행단계;
상기 단말기가 추가회전을 수행하고, 상기 추가회전을 통해 상기 n개의 방향들 중 적어도 하나의 방향에 상응하는 적어도 하나의 추가회전 부분이미지를 획득하는 추가회전 수행단계를 더 포함하며,
상기 기초회전에서 획득된 n개의 부분 이미지들 중 일부의 기초회전 정합대상 이미지와 상기 추가회전 부분이미지의 적어도 일부인 추가회전 정합대상 이미지가 정합되어 상기 정합 이미지가 생성되는 것을 특징으로 하는 정합 이미지 생성방법.
In the matching image generating method,
A terminal equipped with an image sensor is coupled with the terminal to control a driving device capable of rotating the terminal so that a range of angles to be covered by the matched image is set to each of n directions (n is a natural number) A basic rotation performing step of sequentially obtaining n corresponding partial images;
Further performing the additional rotation in which the terminal performs an additional rotation and acquires at least one additional rotated partial image corresponding to at least one direction of the n directions through the further rotation,
Wherein the basic rotation matching target image of some of the n partial images obtained in the basic rotation and the additional rotation matching target image that is at least a part of the additional rotating partial image are matched to generate the matched image .
정합 이미지 생성방법에 있어서,
단말기가 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향들 각각에 상응하는 n개의 부분이미지를 순차적으로 획득하는 기초회전 수행단계;
상기 단말기가 추가회전을 수행하고, 상기 추가회전을 통해 상기 n개의 방향들 중 적어도 하나의 방향에 상응하는 적어도 하나의 추가회전 부분이미지를 획득하는 추가회전 수행단계를 더 포함하며,
상기 기초회전에서 획득된 n개의 부분 이미지들 중 일부의 기초회전 정합대상 이미지와 상기 추가회전 부분이미지의 적어도 일부인 추가회전 정합대상 이미지가 정합되어 상기 정합 이미지가 생성되는 것을 특징으로 하는 정합 이미지 생성방법.
In the matching image generating method,
A basic rotation performing step of sequentially obtaining n partial images corresponding to each of n directions in which the range of angles the terminal desires to cover is n (n is a natural number);
Further performing the additional rotation in which the terminal performs an additional rotation and acquires at least one additional rotated partial image corresponding to at least one direction of the n directions through the further rotation,
Wherein the basic rotation matching target image of some of the n partial images obtained in the basic rotation and the additional rotation matching target image that is at least a part of the additional rotating partial image are matched to generate the matched image .
데이터 처리장치에 설치되며 제1항 내지 제13항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 판독가능한 기록매체에 기록된 컴퓨터 프로그램.
A computer program installed in a data processing apparatus and recorded on a computer-readable recording medium for performing the method according to any one of claims 1 to 13.
단말기에 있어서,
프로세서를 포함하는 제어부;
상기 제어부에 의해 실행되는 프로그램이 기록된 저장매체; 및
이미지 센서; 를 포함하며,
상기 프로그램은,
상기 이미지 센서를 이용하여, 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향 각각에 상응하는 n개의 부분이미지들 중 제1방향에 상응하는 제1부분 이미지를 획득하고,
상기 단말기와 결합되어 상기 단말기를 회전시킬 수 있는 구동장치를 제어하여 순차적으로 제2방향에 상응하는 제2부분 이미지로부터 제n방향에 상응하는 제n부분 이미지를 획득하는 것을 특징으로 하며,
획득된 n개의 부분 이미지들 중 전부 또는 일부가 정합되어 상기 정합 이미지가 생성되는 이미지 정합을 수행하는 단말기.
In the terminal,
A control unit including a processor;
A storage medium on which a program executed by the control section is recorded; And
Image sensor; / RTI >
The program includes:
Using the image sensor, a first partial image corresponding to a first one of n partial images corresponding to each of n directions divided by n (n is a natural number) And,
Wherein the control unit controls the driving unit coupled to the terminal to rotate the terminal to sequentially acquire the n-th partial image corresponding to the n-th direction from the second partial image corresponding to the second direction,
Wherein all or part of the obtained n partial images are matched to perform image matching in which the matched image is generated.
단말기에 있어서,
프로세서를 포함하는 제어부;
상기 제어부에 의해 실행되는 프로그램이 기록된 저장매체; 및
이미지 센서; 를 포함하며,
상기 프로그램은,
상기 단말기의 기초회전을 통해 정합 이미지가 커버하고자 하는 각도의 범위가 n(n은 자연수)개로 분할된 n개의 방향들 각각에 상응하는 n개의 부분이미지를 순차적으로 획득하고,
상기 단말기의 추가회전을 통해 상기 n개의 방향들 중 적어도 하나의 방향에 상응하는 적어도 하나의 추가회전 부분이미지를 획득하며,
상기 기초회전에서 획득된 n개의 부분 이미지들 중 일부의 기초회전 정합대상 이미지와 상기 추가회전 부분이미지의 적어도 일부인 추가회전 정합대상 이미지가 정합되어 상기 정합 이미지가 생성되는 것을 특징으로 하는 단말기.
In the terminal,
A control unit including a processor;
A storage medium on which a program executed by the control section is recorded; And
Image sensor; / RTI >
The program includes:
Sequentially obtaining n partial images corresponding to n directions in which the range of angles to be covered by the matching image is divided into n (n is a natural number) through the basic rotation of the terminal,
To obtain at least one additional rotated partial image corresponding to at least one of the n directions through an additional rotation of the terminal,
Wherein the base rotation matching target image of some of the n partial images obtained in the base rotation is matched with an additional rotation matching target image that is at least a part of the additional rotation partial image to generate the matching image.

Images