KR102076635B1 - Apparatus and method for generating panorama image for scattered fixed cameras - Google Patents
Apparatus and method for generating panorama image for scattered fixed camerasDownload PDFInfo
- Publication number
- KR102076635B1 KR102076635B1KR1020180122958AKR20180122958AKR102076635B1KR 102076635 B1KR102076635 B1KR 102076635B1KR 1020180122958 AKR1020180122958 AKR 1020180122958AKR 20180122958 AKR20180122958 AKR 20180122958AKR 102076635 B1KR102076635 B1KR 102076635B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- camera
- point
- distortion correction
- equation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
- G06T5/006—
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
- H04N5/23238—
- H04N5/247—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
Translated fromKoreanDescription
Translated fromKorean본 발명은 산재된 고정 카메라를 이용한 파노라마 영상 생성 장치 및 방법에 관한 것이다.The present invention relates to a panorama image generating apparatus and method using a scattered fixed camera.
최근 파노라마 영상은 상공에서 지상을 한 눈에 조망할 수 있는 항공 파노라마, 전자지도에 GPS 좌표를 적용하여 전국 지상공간에 대한 실사기반 정보를 제공하는 거리 파노라마, 관광명소, 숙박, 음식점 등 특정 장소의 정보를 고해상도로 보여주는 포인트 파노라마뿐 아니라 광고, 교육, 군사, 공연, 관광 등 많은 산업 분야에서 다양하게 생성되고 있다.Recent panorama images include aerial panoramas that provide a panoramic view of the ground from above, and GPS coordinates on electronic maps to provide photo-realistic information about ground spaces across the country, including street panoramas, tourist attractions, accommodations, and restaurants. In addition to the point panorama of high resolution, it is being produced in various industries such as advertising, education, military, performance, tourism, etc.
또한, 단일 디스플레이를 여러대 연결하여 이용하거나 대형화된 디스플레이가 개발되는 등 파노라마 영상의 사용 환경도 다양화되고 있다.In addition, the environment for using panoramic images has been diversified, such as using a single display by connecting a plurality of devices or developing a larger display.
그러나, 종래에는 파노라마 영상을 생성하기 위해서는 스마트폰으로 어떤 장소 또는 어떤 물체에 대해 수많은 사진을 촬영한 후 유사성 분석을 통해 3차원 파노라마 사진으로 변환하는 번거로운 과정을 거치거나, 렌즈를 회전시켜 다양한 각도에서 사진을 촬영할 수 있는 렌즈 회전식 파노라마 카메라를 구비하여야 하는 문제점이 있었다.However, conventionally, in order to generate a panoramic image, a large number of photographs of a place or an object are taken by a smartphone and then converted into a 3D panoramic photograph through similarity analysis, or the lens is rotated at various angles. There has been a problem that a lens rotatable panoramic camera capable of taking a picture should be provided.
본 발명은 실세계에 이미 산재되어 고정된 카메라들 각각에서 촬영된 촬영 영상을 조합하여 신속하고 정확하게 사용자의 의도에 부합하는 파노라마 영상으로 생성할 수 있는 산재된 고정 카메라를 이용한 파노라마 영상 생성 장치 및 방법을 제공하기 위한 것이다.The present invention provides a panorama image generating apparatus and method using a scattered fixed camera that can generate a panoramic image according to the user's intention quickly and accurately by combining the captured images taken from each of the fixed cameras scattered in the real world It is to provide.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.Other objects of the present invention will be readily understood through the following description.
본 발명의 일 측면에 따르면, 실세계에 산재되어 이미 고정된 복수의 카메라로부터 촬영 영상을 획득하는 영상 획득부; 획득된 각 카메라의 촬영 영상을 미리 지정된 제1 기법에 의해 왜곡 보정 영상으로 변환하고, 상기 왜곡 보정 영상을 이용하여 각 카메라에 대한 원시 호모그라피를 생성하며, 미리 지정된 제2 기법에 의해 각 카메라의 촬영 각도를 해석하여 상기 원시 호모그라피를 촬영 각도의 영향이 배제된 개선 호모그라피를 생성하는 호모그라피 산출부; 상기 산출된 개선 호모그라피를 이용하여 각 카메라에 대한 왜곡 보정 영상을 변환 영상으로 각각 생성하는 영상 변환부; 및 각 카메라에 대해 생성된 변환 영상을 이용하여 파노라마 영상을 생성하는 파노라마 생성부를 포함하는 파노라마 영상 생성 장치가 제공된다.According to an aspect of the present invention, the image acquisition unit for obtaining a captured image from a plurality of cameras already scattered in the real world fixed; Convert the obtained captured image of each camera into a distortion correction image by a first predetermined method, generate raw homographies for each camera using the distortion correction image, A homography calculation unit configured to analyze a photographing angle to generate an improved homograph from which the influence of the photographing angle is excluded from the raw homographies; An image converter for generating a distortion correction image for each camera as a converted image using the calculated improved homography; And a panorama generator configured to generate a panorama image by using the converted image generated for each camera.
상기 제1 기법은 상기 호모그라피 산출부가 촬영 영상을 왜곡 보정 영상으로 변환하기 위해 하기 수학식 1과 하기 수학식 2를 이용하도록 미리 설정되고, 수학식 1은The first technique is set in advance so that the homograph calculation unit uses Equation 1 and Equation 2 below to convert the captured image into a distortion correction image.
상기 호모그라피 산출부는 왜곡 보정 영상의 각 포인트에 대해 하기 수학식 3을 이용하여 x축 왜곡 보정 좌표 계수(xd_nor)와 y축 왜곡 보정 좌표 계수(yd_nor)를 산출하고, 실세계 좌표계와 영상 좌표계간의 변환 관계를 나타내는 원시 호모그라피를 생성하되, 수학식 3은The homograph calculation unit calculates an x-axis distortion correction coordinate coefficient (xd_nor ) and a y-axis distortion correction coordinate coefficient (yd_nor ) for each point of the distortion correction image by using Equation 3below , and includes a real world coordinate system and an image coordinate system. To generate a raw homograph representing the transformation relationship between, Equation 3
상기 제2 기법은 상기 호모그라피 산출부가 하기 수학식 4 내지 하기 수학식 7을 이용하여 촬영 각도의 영향이 배제된 개선 호모그라피를 생성하도록 설정되되, 왜곡 보정 영상의 각 포인트에 대해 왜곡 보정 영상의 중심으로부터 떨어진 거리(rd_nor)를 산출하는 수학식 4는The second technique is set such that the homograph calculation unit generates an improved homograph without the influence of the photographing angle by using Equations 4 to 7 below. Equation 4 for calculating the distance rd_nor from the center is
디스플레이 장치를 통해 출력될 표출 영상의 형태에 대해 파노라마 영상의 일부 영역에 대한 좌표 범위 지정, 지정된 좌표 범위 영역의 확대값 지정 및 지정된 좌표 범위 영역의 회전 각도 중 하나 이상에 관한 설정 조건이 미리 저장된 경우, 상기 파노라마 생성부는 파노라마 영상 또는 각 카메라에 상응하는 변환 영상을 이용하여 상기 설정 조건에 상응하는 표출 영상을 생성할 수 있다.When the setting conditions for one or more of the coordinate range designation for a part of the panoramic image, the enlargement value of the designated coordinate range region, and the rotation angle of the designated coordinate range region are stored in advance for the type of the displayed image to be output through the display device. The panorama generating unit may generate the expressed image corresponding to the set condition using the panorama image or the converted image corresponding to each camera.
상기 파노라마 영상을 생성할 때의 보간 처리를 위해 각 픽셀의 좌표값은 정수-소수 조합형 데이터 구조로 저장될 수 있다.The coordinate values of each pixel may be stored in an integer-decimal combination data structure for interpolation processing when generating the panoramic image.
본 발명의 다른 측면에 따르면, 파노라마 영상을 생성하기 위한 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은, (a) 실세계에 산재되어 이미 고정된 복수의 카메라로부터 획득된 각 카메라의 촬영 영상을 미리 지정된 제1 기법에 의해 왜곡 보정 영상으로 변환하는 단계; (b) 상기 왜곡 보정 영상을 이용하여 각 카메라에 대한 원시 호모그라피를 생성하는 단계; (c) 미리 지정된 제2 기법에 의해 각 카메라의 촬영 각도를 해석하여 상기 원시 호모그라피를 촬영 각도의 영향이 배제된 개선 호모그라피를 생성하는 단계; (d) 상기 산출된 개선 호모그라피를 이용하여 각 카메라에 대한 왜곡 보정 영상을 변환 영상으로 각각 생성하는 단계; 및 (e) 각 카메라에 대해 생성된 변환 영상을 이용하여 파노라마 영상을 생성하는 단계를 포함하는 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램이 제공된다.According to another aspect of the invention, a computer program stored on a computer-readable medium for generating a panoramic image, the computer program causing the computer to perform the following steps, which steps (a) are scattered throughout the real world: Converting the captured images of each camera acquired from the plurality of cameras which are already fixed to the distortion correction image by a first predetermined method; (b) generating raw homographies for each camera using the distortion correction image; (c) analyzing the photographing angles of the respective cameras by a second predetermined technique to produce the improved homographies from which the influence of the photographing angles is excluded from the raw homographies; (d) generating a distortion correction image for each camera as a converted image by using the calculated improved homography; And (e) generating a panoramic image using the converted image generated for each camera.
상기 제1 기법은 하기 수학식 1과 하기 수학식 2를 이용하도록 미리 설정되고, 수학식 1은The first technique is preset to use Equation 1 and Equation 2 below.
상기 단계 (b)에서, 왜곡 보정 영상의 각 포인트에 대해 하기 수학식 3을 이용하여 x축 왜곡 보정 좌표 계수(xd_nor)와 y축 왜곡 보정 좌표 계수(yd_nor)를 산출하고, 실세계 좌표계와 영상 좌표계간의 변환 관계를 나타내는 원시 호모그라피가 생성되되, 수학식 3은In step (b), the x-axis distortion correction coordinate coefficient (xd_nor ) and the y-axis distortion correction coordinate coefficient (yd_nor ) are calculated for each point of the distortion correction image by using Equation 3below , and the real-world coordinate system and A primitive homograph is generated representing the transformation relationship between the image coordinate systems.
상기 제2 기법은 상기 호모그라피 산출부가 하기 수학식 4 내지 하기 수학식 7을 이용하여 촬영 각도의 영향이 배제된 개선 호모그라피를 생성하도록 설정되되, 왜곡 보정 영상의 각 포인트에 대해 왜곡 보정 영상의 중심으로부터 떨어진 거리(rd_nor)를 산출하는 수학식 4는The second technique is set such that the homograph calculation unit generates an improved homograph without the influence of the photographing angle by using Equations 4 to 7 below. Equation 4 for calculating the distance rd_nor from the center is
디스플레이 장치를 통해 출력될 표출 영상의 형태에 대해 파노라마 영상의 일부 영역에 대한 좌표 범위 지정, 지정된 좌표 범위 영역의 확대값 지정 및 지정된 좌표 범위 영역의 회전 각도 중 하나 이상에 관한 설정 조건이 미리 저장된 경우, 상기 단계 (e)에서 파노라마 영상 또는 각 카메라에 상응하는 변환 영상을 이용하여 상기 설정 조건에 상응하는 표출 영상이 생성될 수 있다.When the setting conditions for at least one of the coordinate range specification for a part of the panoramic image, the enlargement value of the designated coordinate range region, and the rotation angle of the specified coordinate range region are stored in advance for the type of the displayed image to be output through the display device. In operation (e), the display image corresponding to the setting condition may be generated using the panorama image or the converted image corresponding to each camera.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features, and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.
본 발명의 실시예에 따르면, 실세계에 이미 산재되어 고정된 카메라들 각각에서 촬영된 촬영 영상을 조합하여 신속하고 정확하게 사용자의 의도에 부합하는 파노라마 영상으로 생성할 수 있는 효과가 있다.According to an exemplary embodiment of the present invention, a combination of photographed images photographed by cameras scattered and fixed in the real world can be quickly and accurately generated as a panoramic image suited to a user's intention.
도 1은 본 발명의 일 실시예에 따른 파노라마 영상 생성 장치의 구성을 개략적으로 나타낸 블록 구성도.
도 2는 본 발명의 일 실시예에 따른 왜곡 보정 영상의 생성 과정을 설명하기 위한 도면.
도 3은 본 발명의 일 실시예에 따른 파노라마 영상의 생성 과정을 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 따른 파노라마 영상의 생성 방법을 나타낸 순서도.1 is a block diagram schematically showing the configuration of a panoramic image generating apparatus according to an embodiment of the present invention.
2 is a diagram for describing a process of generating a distortion corrected image, according to an exemplary embodiment.
3 is a view for explaining a process of generating a panoramic image according to an embodiment of the present invention.
4 is a flowchart illustrating a method of generating a panoramic image according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this specification, terms such as "comprise" or "have" are intended to indicate that there is a feature, number, step, action, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
본 발명의 실시예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.In the embodiments of the present invention, terms such as "module", "unit", "part", and the like are terms for referring to a component that performs at least one function or operation, and the components are referred to as hardware or software. It may be implemented or in a combination of hardware and software. In addition, a plurality of "modules", "units", "parts", etc. are integrated into at least one module or chip, except that each needs to be implemented by a particular specific hardware, and is at least one processor. It may be implemented as (not shown).
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same components regardless of reference numerals will be given the same or related reference numerals and redundant description thereof will be omitted. In describing the present invention, when it is determined that the detailed description of the related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.
이하, 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 파노라마 영상 생성 장치의 구성을 개략적으로 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 왜곡 보정 영상의 생성 과정을 설명하기 위한 도면이며, 도 3은 본 발명의 일 실시예에 따른 파노라마 영상의 생성 과정을 설명하기 위한 도면이다.1 is a block diagram schematically illustrating a configuration of a panoramic image generating apparatus according to an embodiment of the present invention, FIG. 2 is a view for explaining a process of generating a distortion correction image according to an embodiment of the present invention. 3 is a view for explaining a process of generating a panoramic image according to an embodiment of the present invention.
도 1을 참조하면, 파노라마 영상 생성 장치(110)는 영상 획득부(111), 호모그라피 산출부(113), 영상 변환부(115), 파노라마 생성부(117) 및 저장부(119)를 포함할 수 있다. 또한 후술되는 바와 같이, 파노라마 영상 생성 장치(110)가 사용자의 설정에 부합하는 표출 영상이 디스플레이 장치(130)를 통해 표시되도록 하는 경우 사용자의 설정 조건을 입력하기 위한 입력부(121)가 파노라마 영상 생성 장치(110)에 더 포함될 수도 있다.Referring to FIG. 1, the panorama
영상 획득부(111)는 실세계에 산재되어 이미 고정된 복수의 카메라(150a, 150b, 150c, 이하 150으로 통칭함)로부터 촬영 영상을 수신한다.The
여기서, 복수의 카메라(150)는 예를 들어 거리나 관광 명소 등의 지상 공간의 각 영역을 안내 또는 보안 등의 목적으로 촬영하도록 산재하여 설치된 카메라들이거나, 블랙박스 시스템 및/또는 AVM(Around View Monitoring) 시스템 등 지능형 차량 안전 시스템으로서 차량에 장착된 카메라들일 수 있다.Here, the plurality of cameras 150 are cameras interspersed to photograph each area of the ground space such as a street or a tourist attraction for the purpose of guidance or security, or a black box system and / or an AVM (Around View). An intelligent vehicle safety system such as a monitoring system may be cameras mounted on a vehicle.
호모그라피 산출부(113)는 영상 획득부(111)에서 획득한 각 카메라(150)의 촬영 영상을 왜곡 보정 영상으로 변환하고, 왜곡 보정 영상에 대해 실세계 좌표계와 영상 좌표계간의 변환 관계를 나타내는 원시 호모그라피(Homography, LUT)를 생성하고, 상응하는 카메라(150)의 촬영 각도를 해석하여 원시 호모그라피를 촬영 각도의 영향이 배제된 개선 호모그래피를 산출한다.The homograph calculation unit 113 converts the captured images of each camera 150 acquired by the
이하 호모그라피 산출부(113)의 처리 동작을 구체적으로 설명한다.Hereinafter, the processing operation of the homography calculation unit 113 will be described in detail.
AVM 시스템용 카메라 등과 같이 실세계에 이미 설치된 카메라(150)들 중 다수는 넓은 영역을 촬영하기 위해 광각 렌즈를 사용하고 있다. 광각 렌즈에 의해 촬영된 촬영 영상(210)은 도 2의 (a)에 예시된 바와 같이, 중심점을 기점으로 왜곡도를 가진다.Many cameras 150 already installed in the real world, such as cameras for AVM systems, use wide-angle lenses to capture a wide area. The photographed
호모그라피 산출부(113)는 왜곡도를 가지는 촬영 영상(210)에서 미리 지정된 각 포인트(point)에 대해 하기 수학식 1을 이용하여 왜곡 보정 영상(220)을 생성한다. 참고로, 각 포인트들 사이에는 복수의 영상 픽셀이 존재할 수 있다. 도 2의 (b)에 예시된 바와 같이, 왜곡 보정 영상(220)은 하부 영역에서는 상대적으로 왜곡이 감소된 통상적인 영상과 유사한 형상을 가지도록 생성되지만 상부 영역의 일부는 음영 영역을 포함하도록 생성된다.The homograph calculation unit 113 generates a
여기서, w는 촬영 영상(210)과 왜곡 보정 영상(220)간의 상대적 깊이로서, 하기 수학식 2를 이용하여 산출될 수 있다. w는 도 2에 예시된 바와 같이 왜곡 보정 영상(220)의 한 포인트(p')와 그 포인트에 대응되는 촬영 영상(210)의 한 포인트(p)간의 기울기로 개념화될 수 있다. 또한, (i, j)는 촬영 영상(210) 내의 각 포인트의 좌표이고, (x, y)는 (i, j)에 대응되는 왜곡 보정 영상(220) 내의 포인트의 좌표로서 하기 수학식 2에 의해 산출될 수 있다.Here, w is a relative depth between the captured
또한, a 내지 h는 상응하는 카메라(150)에 대해 저장부(119)에 미리 저장된 카메라의 내부 파라미터(intrinsic parameter)로서, a는 Roll, b는 Scale, c는 x축에 대한 Translation(fx), d는 Shearing, e는 Reflection, f는 y축에 대한 Translation(fy), g는 x축에 대한 Perspective, h는 y축에 대한 Perspective를 의미한다.In addition, a to h are intrinsic parameters of the camera stored in the
또한, (xc, yc)는 왜곡 보정 영상(220)의 중심점이고, distance는 복수의 카메라(150) 중 어느 하나의 카메라를 기준 카메라로 지정한 후 기준 카메라와 각 카메라간의 실세계상의 거리를 의미한다. 각 카메라(150)의 위치 또는 기준 카메라와 다른 카메라간의 거리는 저장부(119)에 미리 저장될 수 있으며, 각 카메라간의 distance는 서로 같거나 다를 수 있다.Also, (xc , yc ) is a center point of the
호모그라피 산출부(113)는 왜곡 보정 영상(220)이 생성되면, 하기 수학식 3을 이용하여 왜곡 보정 영상(220)의 각 포인트에 대해 x축 왜곡 보정 좌표 계수(xd_nor)와 y축 왜곡 보정 좌표 계수(yd_nor)를 산출하여, 실세계 좌표계와 영상 좌표계간의 변환 관계를 나타내는 원시 호모그라피(즉, [xd_nor yd_nor]를 생성한다.When the
여기서, (xc, yc)는 상측 음영 영역이 배제되도록 직사각형 구역으로 구획한 왜곡 보정 영상(220)의 중심점의 좌표(도 2의 (b) 참조)이고, (xd, yd)는 왜곡 보정 영상(220) 내에서 지정된 포인트의 좌표이다.Here, (xc , yc ) is the coordinate of the center point of the distortion-corrected
또한, mu는 왜곡 보정 영상(220)의 x축상에서 미리 지정된 단위 거리(예를 들어, 1mm) 내에 존재하는 픽셀수이며, 왜곡 보정 영상(220)의 mv는 y 축상에서 미리 지정된 단위 거리(예를 들어, 1mm) 내에 존재하는 픽셀수이다.Further, mu is the number of pixels existing within a predetermined unit distance (eg, 1 mm) on the x axis of the
또한, c와 f는 앞서 설명한 바와 같이 카메라 내부 파라미터로서 c는 x축에 대한 Translation(fx)이고, f는 y축에 대한 Translation(fy)이다. 여기서, c와 f는 통상적으로 같은 값을 가지므로 c나 f로 공통 적용될 수도 있다.Also, as described above, c and f are camera internal parameters, c is Translation (fx ) on the x-axis, and f is Translation (fy ) on the y-axis. Here, since c and f generally have the same value, they may be commonly applied to c or f.
이후, 호모그라피 산출부(113)는 원시 호모그라피를 카메라의 설치 각도(즉, 입사각)에 따른 왜곡이 배제된 개선 호모그라피로 갱신한다. 이하, 카메라의 설치 각도에 따른 영상의 왜곡을 배제하는 방법에 대해 설명한다.Thereafter, the homography calculation unit 113 updates the raw homographies to the improved homography, in which distortion is eliminated according to the installation angle (that is, the incident angle) of the camera. Hereinafter, a method of excluding a distortion of an image according to an installation angle of a camera will be described.
호모그라피 산출부(113)는 하기 수학식 4를 이용하여 왜곡 보정 영상(220)의 각 포인트에 대해 왜곡 보정 영상(220)의 중심으로부터 떨어진 거리(rd_nor)를 산출한다.The homograph calculation unit 113 calculates a distance rd_nor away from the center of the
이어서, 호모그라피 산출부(113)는 하기 수학식 5를 이용하여 저장부(119)에 미리 저장된 상응하는 카메라의 외부 파라미터들과 각 포인트에 대해 산출된 거리를 연산하여 각 포인트를 기준한 카메라의 설치 각도(θ)를 추정한다.Subsequently, the homograph calculation unit 113 calculates a distance calculated for each point and external parameters of the corresponding camera previously stored in the
여기서, di (즉, d1 내지 d9)는 카메라 좌표계와 월드 좌표계 사이의 변환 관계를 설명하는 카메라의 외부 파라미터들(extrinsic parameters)로서, 각 카메라에 상응하는 카메라 고유값으로 저장부(119)에 미리 저장된다.Here, di (that is, d1 to d9 ) are extrinsic parameters of a camera for describing a transformation relationship between a camera coordinate system and a world coordinate system, and the
이어서, 호모그라피 산출부(113)는 하기 수학식 6을 이용하여 추정한 카메라의 설치 각도로부터 원근 투시(projective projection)하여 각 포인트에 대해 왜곡이 배제된 거리(ru, undistorted radius)를 산출한다.Subsequently, the homography calculation unit 113 calculates a distance ru (undistorted radius) from which the distortion is excluded for each point by projecting projection from the installation angle of the camera estimated using Equation 6 below. .
이후, 호모그라피 산출부(113)는 왜곡이 배제된 거리(ru)와 원시 호모그라피(즉, [xd_nor yd_nor])를 연산하는 하기 수학식 7을 이용하여 각 포인트에 대해 실세계 좌표계와 영상 좌표계간의 변환 관계를 나타내는 개선 호모그라피(즉, [xu yu]를 생성한다. 이와 같이 생성된 개선 호모그라피 등은 저장부(119)에 저장되어 유지될 수 있다.Afterwards, the homography calculation unit 113 calculates a distance ru from which distortion is excluded and a raw homograph (ie, [xd_nor yd_nor ]) by using Equation 7 below to calculate a real world coordinate system for each point. An improved homograph (ie, [xu yu ]) indicating a transformation relationship between the image coordinate systems is generated. The generated improved homographies and the like may be stored and maintained in the
영상 변환부(115)는 호모그라피 산출부(113)에 의해 개선 호모그라피가 생성되면, 개선 호모그라피를 이용하여 왜곡 보정 영상(220)을 변환 영상(310, 도 3 참조)으로 변환한다. 영상 변환부(115)는 도 3에 예시된 바와 같이 파노라마 영상을 생성하기 위해 획득된 각각의 촬영 영상(210)에 대해 상응하는 변환 영상(310) 처리를 수행할 수 있다.When the improved homography is generated by the homograph calculation unit 113, the
변환 영상(310)으로 변환하기 위해 영상 변환부(115)는 각 포인트에 대해 생성된 호모그라피를 적용하고, 또한 각 픽셀에 상응하는 보간(interpolation)을 실시할 수 있다. 호모그라피의 적용 및 보간 처리를 통해 변환 영상을 생성하는 구체적인 방법은 당업자에게 자명한 사항이므로 이에 대한 설명은 생략한다.In order to convert the converted
영상 변환부(115)는 각 픽셀에 상응하는 보간 작업을 위해 각 픽셀의 좌표값을 저장하기 위해 정수-소수 조합형 데이터 구조를 이용할 수 있다.The
호모그라피 또는 룩업테이블(LUT)의 경우 해상도에 따라 픽셀의 좌표값이 수 바이트(byte) 형식으로 저장되며, 이때 많은 비트가 아무런 의미없이 낭비되고 있다.In the case of a homograph or lookup table (LUT), the coordinate values of the pixels are stored in a byte format according to the resolution, and many bits are wasted without meaning.
그러나, 본 실시예에 따른 정수-소수 조합형 데이터 구조를 이용하는 경우 적은 계산량으로 보다 정확한 보간 처리가 가능해질 수 있는 장점이 있다. 예를 들어, 영상의 크기가 720 픽셀 x 480 픽셀이고 좌표 기록을 위해 2바이트(16비트)의 저장 구조를 가지도록 한 경우, 720픽셀과 480 픽셀 중 최대 크기가 720 픽셀이고, 720이 29(= 512)과 210(=1024) 사이에 위치한 수이므로 16비트 중에서 10비트는 정수값을 기록하도록 할당하고, 나머지 6비트는 이중 선형 보간법(Bilinear interpolation) 등의 보간 처리를 위해 소수 정보를 기록하도록 할당할 수 있다.However, when using the integer-decimal combination data structure according to the present embodiment, there is an advantage that more accurate interpolation processing can be performed with a small amount of calculation. For example, if the size of the image is 720 pixels by 480 pixels and a storage structure of 2 bytes (16 bits) is used for recording the coordinates, the maximum size of 720 pixels and 480 pixels is 720 pixels, and 720 is 29. Since it is a number located between (= 512) and 210 (= 1024), 10 bits among 16 bits are allocated to record an integer value, and the remaining 6 bits are assigned decimal information for interpolation processing such as bilinear interpolation. Can be assigned to record.
예를 들어 6비트가 소수 정보를 기록하도록 할당되는 경우, 26이 64이므로 1을 64등분할 수 있어 보간 처리시 각 포인트 사이 위치의 임의 지점 좌표(즉, 소수점 이하의 좌표값을 가지는 위치)인 경우에도 보간시의 오차율이 0.015625(=1/64)로 최소화되는 특징이 있다.For example, if 6 bits are allocated to record fractional information, 26 is 64, so 1 can be divided into 64, so that any point coordinates of the position between each point in the interpolation process (that is, the position having the coordinate value below the decimal point) In the case of, the error rate during interpolation is minimized to 0.015625 (= 1/64).
파노라마 생성부(117)는 영상 변환부(115)에 의해 생성된 변환 영상(310)을 이용하여 파노라마 영상(320)을 생성한다.The
이때, 파노라마 영상(320)을 생성하기 위해 영상 스케일링, 이동, 회전 및 영상 시점 변환 등의 처리가 이루어질 수 있음은 당연하다. 복수의 영상을 이용하여 파노라마 영상을 생성하는 방법은 다양하며, 이들 방법은 당업자에게 자명한 것이므로 이에 대한 설명은 생략한다.In this case, it is obvious that processing such as image scaling, movement, rotation, and image viewpoint conversion may be performed to generate the
또한, 파노라마 영상(320)은 사용자에 의해 각 변환 영상(310)을 임의의 방향으로 이동시키고 회전시키는 등의 조작을 수행되어 생성될 수도 있다. 예를 들어, 사용자는 육안으로 확인하여 제1 카메라에 대한 변환 영상 내의 어느 한 점(도 3의 (b)의 점 s 참조)이 제2 카메라에 대한 변환 영상 내의 대응되는 어느 한 점(도 3의 (b)의 점 s' 참조)과 일치되도록 제1 카메라에 대한 변환 영상을 슬라이딩 이동시켜 제2 카메라에 대한 변환 영상과 연결시키는 방식으로 파노라마 영상(320)을 생성할 수 있다.In addition, the
이때, 디스플레이 장치(130)를 통해 출력되는 표출 영상은 각 변환 영상(310)들이 연결되어 확장된 파노라마 영상(320) 전체일 수도 있으나, 사용자가 입력부(121)를 이용하여 지정한 설정 조건에 따른 것으로서 파노라마 영상(320) 중 일부 영역일 수도 있다.In this case, the displayed image output through the
예를 들어, 표출 영상을 형태를 결정하는 사용자의 설정 조건은 좌표 범위 지정, 지정된 좌표 범위 영역의 확대값 지정, 지정된 좌표 범위 영역 또는 전체 파노라마 영상의 회전 각도 등 다양할 수 있다.For example, the user's setting conditions for determining the shape of the displayed image may be various, such as specifying a coordinate range, specifying an enlarged value of the designated coordinate range region, and rotating angle of the designated coordinate range region or the entire panoramic image.
본 실시예에 따른 파노라마 영상 생성 장치(110)가 차량의 AVM 시스템에 구현되는 경우, 사용자 설정 조건을 이용하여 차량의 사이드 미러에서 보이지 않는 사각 영역만을 제한적으로 디스플레이 장치(130)에 표시되도록 하거나, 사이드 미러에서 보이는 영역을 확대하여 디스플레이 장치(130)에 표시되도록 하는 등 다양하게 이용될 수 있을 것이다.When the panorama
도 4는 본 발명의 일 실시예에 따른 파노라마 영상의 생성 방법을 나타낸 순서도이다.4 is a flowchart illustrating a method of generating a panoramic image according to an embodiment of the present invention.
도 4를 참조하면, 파노라마 영상 생성 장치(110)는 단계 410에서 실세계에 산재되어 이미 위치 고정된 복수의 카메라(150)로부터 촬영 영상을 수신한다.Referring to FIG. 4, in
단계 420에서, 파노라마 영상 생성 장치(110)는 광각 렌즈를 구비한 카메라(150)에서 생성된 촬영 영상이 가지는 왜곡을 보정한 왜곡 보정 영상(220)을 생성한다. 왜곡 보정 영상(220)은 하부 영역에서는 상대적으로 왜곡이 감소된 통상적인 영상과 유사한 형상을 가지도록 생성되지만 상부 영역의 일부는 음영 영역을 포함하도록 생성된다.In
단계 430에서, 파노라마 영상 생성 장치(110)는 각 카메라(150)에 대한 왜곡 보정 영상(220)을 이용하여 각 카메라(150)에 상응하는 호모그라피를 생성한다.In
이를 구체적으로 설명하면, 파노라마 영상 생성 장치(110)는 우선 왜곡 보정 영상(220)의 각 포인트에 대해 x축 왜곡 보정 좌표 계수(xd_nor)와 y축 왜곡 보정 좌표 계수(yd_nor)를 산출하여, 실세계 좌표계와 영상 좌표계간의 변환 관계를 나타내는 원시 호모그라피(즉, [xd_nor yd_nor]를 생성한다.Specifically, the panorama
이어서, 파노라마 영상 생성 장치(110)는 왜곡 보정 영상(220)의 각 포인트에 대해 왜곡 보정 영상(220)의 중심으로부터 떨어진 거리(rd_nor)를 산출하고, 이를 이용하여 각 포인트를 기준한 카메라의 설치 각도(θ)를 추정하며, 추정한 카메라의 설치 각도로부터 원근 투시하여 각 포인트에 대해 왜곡이 배제된 거리(ru)를 산출한다.Subsequently, the panorama
이후, 파노라마 영상 생성 장치(110)는 왜곡이 배제된 거리(ru)와 원시 호모그라피(즉, [xd_nor yd_nor])를 이용하여 각 포인트에 대해 실세계 좌표계와 영상 좌표계간의 변환 관계를 나타내는 개선 호모그라피(즉, [xu yu]를 생성한다.Thereafter, the panorama
단계 440에서, 파노라마 영상 생성 장치(110)는 각 카메라(150)에 대한 개선 호모그라피를 이용하여 각 카메라(150)에 상응하는 왜곡 보정 영상(220)을 변환 영상(310)으로 각각 생성한다. 변환 영상(310)을 생성하기 위해 각 포인트에 대해 생성된 호모그라피의 적용 및 각 픽셀에 상응하는 보간 처리가 실시될 수 있다.In
단계 450에서, 파노라마 영상 생성 장치(110)는 각 카메라에 대해 생성된 변환 영상(310)을 이용하여 파노라마 영상(320) 또는 미리 저장된 설정 조건에 따른 표출 영상을 생성한다. 여기서, 사용자는 표출 영상을 형태를 결정하는 설정 조건을 파노라마 영상(320)의 일부 영역에 대한 좌표 범위 지정, 지정된 좌표 범위 영역의 확대값 지정, 지정된 좌표 범위 영역의 회전 각도 등으로 다양하게 지정할 수 있다.In
단계 450에서 생성된 파노라마 영상(320) 또는 표출 영상은 디스플레이 장치(130)를 통해 출력될 수 있다.The
상술한 바와 같은 파노라마 영상 생성 장치(110)의 파노라마 영상 생성 방법은 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 비일시적 컴퓨터 판독 가능 매체에 저장될 수 있다. 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 장치에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.The panorama image generating method of the panorama
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to embodiments of the present invention, those of ordinary skill in the art various modifications and variations of the present invention without departing from the spirit and scope of the present invention described in the claims below. It will be understood that it can be changed.
110 : 파노라마 영상 생성 장치111 : 영상 획득부
113 : 호모그라피 산출부115 : 영상 변환부
117 : 파노라마 생성부119 : 저장부
121 : 입력부130 : 디스플레이 장치
150 : 카메라210 : 촬영 영상
220 : 왜곡 보정 영상110: panorama image generating device 111: image acquisition unit
113: homography calculation unit 115: image conversion unit
117: panorama generating unit 119: storage unit
121: input unit 130: display device
150: camera 210: recording video
220: distortion correction image
Claims (11)
Translated fromKorean획득된 각 카메라의 촬영 영상을 미리 지정된 제1 기법에 의해 왜곡 보정 영상으로 변환하고, 상기 왜곡 보정 영상을 이용하여 각 카메라에 대한 원시 호모그라피를 생성하며, 미리 지정된 제2 기법에 의해 각 카메라의 촬영 각도를 해석하여 상기 원시 호모그라피를 촬영 각도의 영향이 배제된 개선 호모그라피를 생성하는 호모그라피 산출부;
상기 산출된 개선 호모그라피를 이용하여 각 카메라에 대한 왜곡 보정 영상을 변환 영상으로 각각 생성하는 영상 변환부; 및
각 카메라에 대해 생성된 변환 영상을 이용하여 파노라마 영상을 생성하는 파노라마 생성부를 포함하되,
상기 제1 기법은 상기 호모그라피 산출부가 촬영 영상을 왜곡 보정 영상으로 변환하기 위해 하기 수학식 1과 하기 수학식 2를 이용하도록 미리 설정되고,
수학식 1은
수학식 2는
상기 w는 촬영 영상과 왜곡 보정 영상간의 상대적 깊이이고, (i, j)는 촬영 영상 내의 미리 지정된 각 포인트의 좌표이며, (x, y)는 (i, j)에 대응되는 왜곡 보정 영상 내의 포인트의 좌표이고, a 내지 h는 미리 저장된 카메라의 내부 파라미터이고, (xc, yc)는 왜곡 보정 영상의 중심점이고, distance는 복수의 카메라 중 미리 지정된 기준 카메라와 각 카메라간의 실세계상의 거리인 것을 특징으로 하는 파노라마 영상 생성 장치.
An image acquisition unit which acquires captured images from a plurality of cameras which are scattered in the real world and are already fixed;
Convert the obtained captured image of each camera into a distortion correction image by a first predetermined method, generate raw homographies for each camera using the distortion correction image, A homography calculation unit configured to analyze a photographing angle to generate an improved homograph from which the influence of the photographing angle is excluded from the raw homographies;
An image converter for generating a distortion correction image for each camera as a converted image using the calculated improved homography; And
Including a panorama generator for generating a panoramic image using the converted image generated for each camera,
The first technique is set in advance such that the homograph calculation unit uses Equation 1 and Equation 2 below to convert the captured image into a distortion corrected image.
Equation 1 is
Equation 2 is
W is the relative depth between the captured image and the distortion correction image, (i, j) is the coordinate of each predetermined point in the captured image, and (x, y) is the point in the distortion correction image corresponding to (i, j) Are coordinates of, a to h are internal parameters of a pre-stored camera, (xc , yc ) are center points of the distortion-corrected image, and distance is a distance in the real world between a predetermined reference camera and each camera among a plurality of cameras. A panoramic image generating device characterized in that.
상기 호모그라피 산출부는 왜곡 보정 영상의 각 포인트에 대해 하기 수학식 3을 이용하여 x축 왜곡 보정 좌표 계수(xd_nor)와 y축 왜곡 보정 좌표 계수(yd_nor)를 산출하고, 실세계 좌표계와 영상 좌표계간의 변환 관계를 나타내는 원시 호모그라피를 생성하되,
수학식 3은
(xc, yc)는 왜곡 보정 영상의 상측에 위치하는 음영 영역이 배제되도록 직사각형 구역으로 구획한 영상 영역의 중심점의 좌표이고, (xd, yd)는 왜곡 보정 영상 내에서 지정된 각 포인트의 좌표이고, mu는 왜곡 보정 영상의 x축상에서 미리 지정된 단위 거리 내에 존재하는 픽셀수이며, mv는 왜곡 보정 영상의 y 축상에서 미리 지정된 단위 거리 내에 존재하는 픽셀수, c와 f는 미리 저장된 카메라의 내부 파라미터인 것을 특징으로 하는 파노라마 영상 생성 장치.
The method of claim 1,
The homograph calculation unit calculates an x-axis distortion correction coordinate coefficient (xd_nor ) and a y-axis distortion correction coordinate coefficient (yd_nor ) for each point of the distortion correction image by using Equation 3below , and includes a real world coordinate system and an image coordinate system. Generate raw homographies that represent the transformation relationship between
Equation 3 is
(xc , yc ) are the coordinates of the center point of the image region divided into rectangular regions so that the shadow region located above the distortion correction image is excluded, and (xd , yd ) are each point specified within the distortion correction image. Where mu is the number of pixels that exist within a predetermined unit distance on the x-axis of the distortion-corrected image, mv is the number of pixels that exist within the predetermined unit distance on the y-axis of the distortion-corrected image, and c and f are previously Panoramic image generating device characterized in that the internal parameters of the stored camera.
상기 제2 기법은 상기 호모그라피 산출부가 하기 수학식 4 내지 하기 수학식 7을 이용하여 촬영 각도의 영향이 배제된 개선 호모그라피를 생성하도록 설정되되,
왜곡 보정 영상의 각 포인트에 대해 왜곡 보정 영상의 중심으로부터 떨어진 거리(rd_nor)를 산출하는 수학식 4는
d1 내지 d9로 미리 저장된 각 카메라의 외부 파라미터들과 왜곡 보정 영상의 각 포인트에 대해 산출된 거리(rd_nor)를 이용하여 각 포인트를 기준한 카메라의 설치 각도(θ)를 추정하는 수학식 5는
각 포인트에 대해 산출된 설치 각도로부터 원근 투시(projective projection)하여 각 포인트에 대해 왜곡이 배제된 거리(ru)를 산출하는 수학식 6은
각 포인트에 대해 산출된 왜곡이 배제된 거리(ru)와 원시 호모그라피를 연산하여 각 포인트에 대해 실세계 좌표계와 영상 좌표계간의 변환 관계를 나타내는 개선 호모그라피([xu yu])를 연산하는 수학식 7은
The method of claim 3,
The second technique is set such that the homograph calculation unit generates an improved homograph without the influence of the photographing angle by using Equations 4 to 7 below.
Equation 4 for calculating a distance (rd_nor ) away from the center of the distortion correction image for each point of the distortion correction image
Equation for estimating the installation angle (θ) of the camera with respect to each point using external parameters of each camera previously stored as d1 to d9 and the distance rd_nor calculated for each point of the distortion-corrected image 5 is
Equation 6 for calculating the distance (ru ) from which the distortion is excluded for each point by projecting projection from the installation angle calculated for each point
Compute a homogeneous distance (ru ) and raw homographies, which are calculated distortions for each point, and compute an enhanced homograph ([xu yu ]) that represents the transformation relationship between the real world coordinate and the image coordinate system for each point. Equation 7 is
디스플레이 장치를 통해 출력될 표출 영상의 형태에 대해 파노라마 영상의 일부 영역에 대한 좌표 범위 지정, 지정된 좌표 범위 영역의 확대값 지정 및 지정된 좌표 범위 영역의 회전 각도 중 하나 이상에 관한 설정 조건이 미리 저장된 경우, 상기 파노라마 생성부는 파노라마 영상 또는 각 카메라에 상응하는 변환 영상을 이용하여 상기 설정 조건에 상응하는 표출 영상을 생성하는 것을 특징으로 하는 파노라마 영상 생성 장치.
The method of claim 1,
When the setting conditions for at least one of the coordinate range specification for a part of the panoramic image, the enlargement value of the designated coordinate range region, and the rotation angle of the specified coordinate range region are stored in advance for the type of the displayed image to be output through the display device. And the panorama generating unit generates an output image corresponding to the set condition using a panorama image or a converted image corresponding to each camera.
상기 파노라마 영상을 생성할 때의 보간 처리를 위해 각 픽셀의 좌표값은 정수-소수 조합형 데이터 구조로 저장되는 것을 특징으로 하는 파노라마 영상 생성 장치.
The method of claim 1,
And a coordinate value of each pixel is stored in an integer-fractional combination data structure for interpolation processing when generating the panoramic image.
(a) 실세계에 산재되어 이미 고정된 복수의 카메라로부터 획득된 각 카메라의 촬영 영상을 미리 지정된 제1 기법에 의해 왜곡 보정 영상으로 변환하는 단계;
(b) 상기 왜곡 보정 영상을 이용하여 각 카메라에 대한 원시 호모그라피를 생성하는 단계;
(c) 미리 지정된 제2 기법에 의해 각 카메라의 촬영 각도를 해석하여 상기 원시 호모그라피를 촬영 각도의 영향이 배제된 개선 호모그라피를 생성하는 단계;
(d) 상기 산출된 개선 호모그라피를 이용하여 각 카메라에 대한 왜곡 보정 영상을 변환 영상으로 각각 생성하는 단계; 및
(e) 각 카메라에 대해 생성된 변환 영상을 이용하여 파노라마 영상을 생성하는 단계를 포함하되,
상기 제1 기법은 하기 수학식 1과 하기 수학식 2를 이용하도록 미리 설정되고,
수학식 1은
수학식 2는
상기 w는 촬영 영상과 왜곡 보정 영상간의 상대적 깊이이고, (i, j)는 촬영 영상 내의 미리 지정된 각 포인트의 좌표이며, (x, y)는 (i, j)에 대응되는 왜곡 보정 영상 내의 포인트의 좌표이고, a 내지 h는 미리 저장된 카메라의 내부 파라미터이고, (xc, yc)는 왜곡 보정 영상의 중심점이고, distance는 복수의 카메라 중 미리 지정된 기준 카메라와 각 카메라간의 실세계상의 거리인 것을 특징으로 하는 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램.
A computer program stored on a computer-readable medium for generating a panoramic image, the computer program causing the computer to perform the following steps, wherein the steps include:
(a) converting a photographed image of each camera acquired from a plurality of cameras scattered throughout the real world into a distortion correction image by a first predetermined method;
(b) generating raw homographies for each camera using the distortion correction image;
(c) analyzing the photographing angles of the respective cameras by a second predetermined technique to produce the improved homographies from which the influence of the photographing angles is excluded from the raw homographies;
(d) generating a distortion correction image for each camera as a converted image by using the calculated improved homography; And
(e) generating a panoramic image using the converted image generated for each camera,
The first technique is preset to use Equation 1 and Equation 2 below.
Equation 1 is
Equation 2 is
W is the relative depth between the captured image and the distortion correction image, (i, j) is the coordinate of each predetermined point in the captured image, and (x, y) is the point in the distortion correction image corresponding to (i, j) Are coordinates of, a to h are internal parameters of a pre-stored camera, (xc , yc ) are center points of the distortion-corrected image, and distance is a distance in the real world between a predetermined reference camera and each camera among a plurality of cameras. Computer program stored on a computer-readable medium.
상기 단계 (b)에서, 왜곡 보정 영상의 각 포인트에 대해 하기 수학식 3을 이용하여 x축 왜곡 보정 좌표 계수(xd_nor)와 y축 왜곡 보정 좌표 계수(yd_nor)를 산출하고, 실세계 좌표계와 영상 좌표계간의 변환 관계를 나타내는 원시 호모그라피가 생성되되,
수학식 3은
(xc, yc)는 왜곡 보정 영상의 상측에 위치하는 음영 영역이 배제되도록 직사각형 구역으로 구획한 영상 영역의 중심점의 좌표이고, (xd, yd)는 왜곡 보정 영상 내에서 지정된 각 포인트의 좌표이고, mu는 왜곡 보정 영상의 x축상에서 미리 지정된 단위 거리 내에 존재하는 픽셀수이며, mv는 왜곡 보정 영상의 y 축상에서 미리 지정된 단위 거리 내에 존재하는 픽셀수, c와 f는 미리 저장된 카메라의 내부 파라미터인 것을 특징으로 하는 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램.
The method of claim 7, wherein
In step (b), the x-axis distortion correction coordinate coefficient (xd_nor ) and the y-axis distortion correction coordinate coefficient (yd_nor ) are calculated for each point of the distortion correction image by using Equation 3below , and the real-world coordinate system and Raw homographs are generated that represent the transformation relationship between image coordinate systems.
Equation 3 is
(xc , yc ) are the coordinates of the center point of the image region divided into rectangular regions so that the shadow region located above the distortion correction image is excluded, and (xd , yd ) are each point specified within the distortion correction image. Where mu is the number of pixels that exist within a predetermined unit distance on the x-axis of the distortion-corrected image, mv is the number of pixels that exist within the predetermined unit distance on the y-axis of the distortion-corrected image, and c and f are previously A computer program stored on a computer-readable medium, characterized in that it is an internal parameter of a stored camera.
상기 제2 기법은 하기 수학식 4 내지 하기 수학식 7을 이용하여 촬영 각도의 영향이 배제된 개선 호모그라피가 생성되도록 설정되되,
왜곡 보정 영상의 각 포인트에 대해 왜곡 보정 영상의 중심으로부터 떨어진 거리(rd_nor)를 산출하는 수학식 4는
d1 내지 d9로 미리 저장된 각 카메라의 외부 파라미터들과 왜곡 보정 영상의 각 포인트에 대해 산출된 거리(rd_nor)를 이용하여 각 포인트를 기준한 카메라의 설치 각도(θ)를 추정하는 수학식 5는
각 포인트에 대해 산출된 설치 각도로부터 원근 투시(projective projection)하여 각 포인트에 대해 왜곡이 배제된 거리(ru)를 산출하는 수학식 6은
각 포인트에 대해 산출된 왜곡이 배제된 거리(ru)와 원시 호모그라피를 연산하여 각 포인트에 대해 실세계 좌표계와 영상 좌표계간의 변환 관계를 나타내는 개선 호모그라피([xu yu])를 연산하는 수학식 7은
The method of claim 9,
The second technique is set to generate an improved homograph without the influence of the photographing angle by using Equations 4 to 7 below.
Equation 4 for calculating a distance (rd_nor ) away from the center of the distortion correction image for each point of the distortion correction image
Equation for estimating the installation angle (θ) of the camera with respect to each point using external parameters of each camera previously stored as d1 to d9 and the distance rd_nor calculated for each point of the distortion-corrected image 5 is
Equation 6 for calculating the distance (ru ) from which the distortion is excluded for each point by projecting projection from the installation angle calculated for each point
Compute a homogeneous distance (ru ) and raw homographies, which are calculated distortions for each point, and compute an enhanced homograph ([xu yu ]) that represents the transformation relationship between the real world coordinate and the image coordinate system for each point. Equation 7 is
디스플레이 장치를 통해 출력될 표출 영상의 형태에 대해 파노라마 영상의 일부 영역에 대한 좌표 범위 지정, 지정된 좌표 범위 영역의 확대값 지정 및 지정된 좌표 범위 영역의 회전 각도 중 하나 이상에 관한 설정 조건이 미리 저장된 경우, 상기 단계 (e)에서 파노라마 영상 또는 각 카메라에 상응하는 변환 영상을 이용하여 상기 설정 조건에 상응하는 표출 영상이 생성되는 것을 특징으로 하는 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램.The method of claim 7, wherein
When the setting conditions for at least one of the coordinate range specification for a part of the panoramic image, the enlargement value of the designated coordinate range region, and the rotation angle of the specified coordinate range region are stored in advance for the type of the displayed image to be output through the display device. And in step (e), an output image corresponding to the set condition is generated using the panoramic image or the converted image corresponding to each camera.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180122958AKR102076635B1 (en) | 2018-10-16 | 2018-10-16 | Apparatus and method for generating panorama image for scattered fixed cameras |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180122958AKR102076635B1 (en) | 2018-10-16 | 2018-10-16 | Apparatus and method for generating panorama image for scattered fixed cameras |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102076635B1true KR102076635B1 (en) | 2020-02-12 |
Family
ID=69569487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180122958AActiveKR102076635B1 (en) | 2018-10-16 | 2018-10-16 | Apparatus and method for generating panorama image for scattered fixed cameras |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102076635B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408534A (en)* | 2020-03-17 | 2021-09-17 | 株式会社理光 | Method, apparatus and storage medium for recognizing landmark in panoramic image |
| CN113538283A (en)* | 2021-07-22 | 2021-10-22 | 浙江赫千电子科技有限公司 | Distortion correction method for images shot by redundant fisheye cameras |
| CN115314672A (en)* | 2022-05-31 | 2022-11-08 | 杭州登虹科技有限公司 | A real-time three-dimensional panoramic video surveillance system |
| CN115689901A (en)* | 2021-07-22 | 2023-02-03 | 浙江赫千电子科技有限公司 | Vehicle-mounted side rearview image generation method based on time synchronization |
| CN118822915A (en)* | 2024-09-19 | 2024-10-22 | 湖南永腾智能科技有限公司 | Panoramic image processing method, system and image processing device based on smart computer room |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100614004B1 (en) | 2004-11-19 | 2006-08-21 | 주식회사 일리시스 | Automated 360 ° Panorama Image Generation |
| KR20090023635A (en)* | 2006-06-30 | 2009-03-05 | 마이크로소프트 코포레이션 | Parameter correction for panoramic camera systems |
| KR100968378B1 (en)* | 2009-03-05 | 2010-07-09 | 주식회사 코아로직 | Apparatus and method of constructing a panoramic image and computer readable medium storing program to implement the method |
| JP2015121850A (en)* | 2013-12-20 | 2015-07-02 | 株式会社リコー | Image generation device, image generation method, and program |
| KR20160098020A (en)* | 2015-02-09 | 2016-08-18 | 삼성전자주식회사 | Rectification method for stereo image and apparatus thereof |
- 2018
- 2018-10-16KRKR1020180122958Apatent/KR102076635B1/enactiveActive
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100614004B1 (en) | 2004-11-19 | 2006-08-21 | 주식회사 일리시스 | Automated 360 ° Panorama Image Generation |
| KR20090023635A (en)* | 2006-06-30 | 2009-03-05 | 마이크로소프트 코포레이션 | Parameter correction for panoramic camera systems |
| KR100968378B1 (en)* | 2009-03-05 | 2010-07-09 | 주식회사 코아로직 | Apparatus and method of constructing a panoramic image and computer readable medium storing program to implement the method |
| JP2015121850A (en)* | 2013-12-20 | 2015-07-02 | 株式会社リコー | Image generation device, image generation method, and program |
| KR20160098020A (en)* | 2015-02-09 | 2016-08-18 | 삼성전자주식회사 | Rectification method for stereo image and apparatus thereof |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113408534A (en)* | 2020-03-17 | 2021-09-17 | 株式会社理光 | Method, apparatus and storage medium for recognizing landmark in panoramic image |
| CN113538283A (en)* | 2021-07-22 | 2021-10-22 | 浙江赫千电子科技有限公司 | Distortion correction method for images shot by redundant fisheye cameras |
| CN115689901A (en)* | 2021-07-22 | 2023-02-03 | 浙江赫千电子科技有限公司 | Vehicle-mounted side rearview image generation method based on time synchronization |
| CN113538283B (en)* | 2021-07-22 | 2024-04-30 | 浙江赫千电子科技有限公司 | Distortion correction method for images shot by redundant fisheye cameras |
| CN115314672A (en)* | 2022-05-31 | 2022-11-08 | 杭州登虹科技有限公司 | A real-time three-dimensional panoramic video surveillance system |
| CN118822915A (en)* | 2024-09-19 | 2024-10-22 | 湖南永腾智能科技有限公司 | Panoramic image processing method, system and image processing device based on smart computer room |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102076635B1 (en) | Apparatus and method for generating panorama image for scattered fixed cameras | |
| JP4435145B2 (en) | Method and apparatus for providing panoramic image by calibrating geometric information | |
| JP6330987B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN108140247B (en) | Method and apparatus for camera calibration using composite images | |
| US10748243B2 (en) | Image distortion transformation method and apparatus | |
| US9262807B2 (en) | Method and system for correcting a distorted input image | |
| US8855441B2 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
| WO2018235300A1 (en) | Object detection apparatus, object detection method, and computer readable recording medium | |
| US8417062B2 (en) | System and method for stabilization of fisheye video imagery | |
| WO2019037038A1 (en) | Image processing method and device, and server | |
| KR101705558B1 (en) | Top view creating method for camera installed on vehicle and AVM system | |
| CN110832851B (en) | Image processing apparatus, image conversion method, and program | |
| CN117422650B (en) | Panoramic image distortion correction method and device, electronic equipment and medium | |
| KR20160117143A (en) | Method, device and system for generating an indoor two dimensional plan view image | |
| US11244431B2 (en) | Image processing | |
| JP2016212784A (en) | Image processing apparatus and image processing method | |
| JP2011155412A (en) | Projection system and distortion correction method in the same | |
| CN114584688B (en) | Method for photographing and processing digital panoramic image | |
| EP4171015A1 (en) | Handling blur in multi-view imaging | |
| KR101205961B1 (en) | Apparatus for caculating 3D spatial coordinates of digital images | |
| KR101762117B1 (en) | Top view creating method for camera installed on vehicle and AVM system | |
| Pittman et al. | A Method for Lens Distortion Correction of Algorithmically Altered Images | |
| JP2017010555A (en) | Image processing method and image processing apparatus | |
| CN118096887A (en) | Mutual mapping method of panoramic spliced image and GIS map and related equipment | |
| JP2024132475A (en) | Information processing device, information processing method, and information processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | Patent event code:PA01091R01D Comment text:Patent Application Patent event date:20181016 | |
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection | Comment text:Notification of reason for refusal Patent event date:20191126 Patent event code:PE09021S01D | |
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| PE0701 | Decision of registration | Patent event code:PE07011S01D Comment text:Decision to Grant Registration Patent event date:20200206 | |
| PR0701 | Registration of establishment | Comment text:Registration of Establishment Patent event date:20200206 Patent event code:PR07011E01D | |
| PR1002 | Payment of registration fee | Payment date:20200206 End annual number:3 Start annual number:1 | |
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee | Payment date:20221214 Start annual number:4 End annual number:4 |