KR101012585B1 - Multichannel Image Matching System and Its Method - Google Patents
Multichannel Image Matching System and Its MethodDownload PDFInfo
- Publication number
- KR101012585B1 KR101012585B1KR1020090063035AKR20090063035AKR101012585B1KR 101012585 B1KR101012585 B1KR 101012585B1KR 1020090063035 AKR1020090063035 AKR 1020090063035AKR 20090063035 AKR20090063035 AKR 20090063035AKR 101012585 B1KR101012585 B1KR 101012585B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- image data
- luminance
- pixel
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/06—Transmission systems characterised by the manner in which the individual colour picture signal components are combined
- H04N11/12—Transmission systems characterised by the manner in which the individual colour picture signal components are combined using simultaneous signals only
- H04N11/14—Transmission systems characterised by the manner in which the individual colour picture signal components are combined using simultaneous signals only in which one signal, modulated in phase and amplitude, conveys colour information and a second signal conveys brightness information, e.g. NTSC-system
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
- H04N7/0806—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division the signals being two or more video signals
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Translated fromKoreanDescription
Translated fromKorean본 발명은 다채널 영상 정합 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 차량의 전·후방, 좌·우측의 영상의 영상을 YUV 422 형식을 그대로 유지하면서, 영상의 사이즈를 1/2가량 리사이즈하고, 리사이즈된 각 영상을 하나의 영상으로 정합 한 후, 탑뷰 영상으로 변환하기 때문에, 메모리를 많이 절감할 수 있고, 이로 인하여 탑뷰 영상의 프레임 저하가 전혀 없는 장점이 있는 다채널 영상 정합 시스템 및 그 방법에 관한 것이다.The present invention relates to a multi-channel image matching system and a method thereof, and more particularly, to resize an image of about 1/2 of the size of the image while maintaining the YUV 422 format of the image of the front, rear, and right sides of the vehicle. And reconstruct each of the resized images into a single image and then convert the image into a top view image, thereby saving a lot of memory. It is about a method.
일반적으로 디지털 영상 신호는 RGB(RED, GREEN, BLUE) 방식을 사용한다.In general, a digital video signal uses RGB (RED, GREEN, BLUE).
RGB 방식은 피사체를 빛의 3원색인 RGB를 써서 표현함으로써, 피사체의 색상을 가장 실제에 가깝게 표현할 수 있는 반면, 각각의 색상(R, G, B)에 대하여 일정한 비트수를 배당하여야 하므로 데이터의 크기가 커지는 특징이 있다.The RGB method expresses the subject using RGB, which is the three primary colors of light, so that the color of the subject can be expressed as closest to reality, while a certain number of bits must be allocated for each color (R, G, B). It has a feature that increases in size.
한편, 사람의 눈이 색상보다는 밝기에 민감하다는 사실에 착안하여 색상(Chrominance)보다는 휘도(Luminance)성분에 비트수를 많이 할당하는 YUV 형식이 있으며, 상기 YUV 형식은 주로 TV에 사용되는 색 표현방식으로 색을 밝기(Luminance)인 Y성분과 색상(Chrominance)인 U와 V 성분으로 구분한다. Y성분은 오차에 민감하므로 색상성분인 U와 V보다 많은 비트를 코딩한다.On the other hand, in view of the fact that the human eye is more sensitive to brightness than color, there is a YUV format that allocates a large number of bits to the luminance component rather than chrominance, and the YUV format is a color expression method mainly used in TVs. Color is divided into Y component, which is luminance, and U and V, which are chroma. Since the Y component is sensitive to error, we code more bits than the color components U and V.
전형적인 Y: U: V의 비율은 4:2:2(YUV422 방식) 또는 4:1:1(YUV420방식)이 있다.Typical Y: U: V ratios are 4: 2: 2 (YUV422) or 4: 1: 1 (YUV420).
예컨데, Y정보를 4 번 사용할 때 U나 V 정보를 2번 사용하면 전체적으로 정보량은 2/3로 줄어들게 된다. 이 경우 4:2:2 서브 샘플링이라 하며 가장 널리 사용된다.For example, if you use Y information four times and use U or V information twice, the total amount of information will be reduced to 2/3. This is called 4: 2: 2 subsampling and is the most widely used.
상기한 비트 배분은 명도신호와 색상신호를 나타내는 비트의 수를 조절하여 얻을 수 있다.The bit allocation can be obtained by adjusting the number of bits representing the brightness signal and the color signal.
이러한 YUV 422 형식은 명도신호 및 색상신호로 영상을 표시하면 RGB보다 메모리를 효율적으로 사용할 수 있고, 빠른 속도로 자료를 처리할 수 있다는 장점이 있다. 일반적으로 모바일 기기 등에서 이미지 처리에 많이 사용하고 있다.The YUV 422 format can display images with brightness and color signals, which can use memory more efficiently than RGB, and can process data at high speed. In general, mobile devices are used for image processing.
한편, 차량 등에 전·후방, 좌·우측에 카메라를 장착하여 주차과정 중에 운전석에 설치된 모니터, 네비게이션 단말기 등으로 차량의 전·후방, 좌·우측의 영상을 전송하여 운전자가 현재 진행 중인 주차과정을 잘 인지하게 하여, 빈 공간에 주차를 용이하게 할 수 있도록 하는 시스템이 개발되었다.On the other hand, the camera is mounted on the front, rear, left and right of the vehicle to transmit the images of the front, rear, left and right of the vehicle to the monitor and navigation terminal installed in the driver's seat during the parking process. A system has been developed that is well aware and facilitates parking in empty spaces.
특히, 요즘은 차량의 전·후방, 좌·우측의 영상을 정합한 탑뷰 영상을 통해 주차상황을 직관적으로 확인할 수 있도록 하는 시스템이 개발되어 주차를 더욱 용 이하게 하고 있다.In particular, these days, a system for intuitively checking the parking situation through a top view image in which images of the front, rear, and left and right sides of the vehicle are matched has been developed to make parking easier.
그러나, 이러한 종래의 탑뷰 기반 주차 시스템에서 모니터 등에 송신되는 차량의 탑뷰 영상은 차량의 전·후방, 좌·우측의 영상을 정합 할 때, 동기신호가 어긋나는 문제가 발생하는 문제점이 있었다.However, in the conventional top-view-based parking system, the top-view image of the vehicle transmitted to the monitor has a problem in that a synchronization signal is misaligned when matching the front, rear, left and right images of the vehicle.
또한, 차량의 전·후방, 좌·우측의 영상을 정합하여 실시간으로 출력하기 위해서는, 메모리를 용량을 많이 사용하므로, 이로 인하여 영상의 전송속도가 늦고, 이로 인하여 정합된 탑뷰 영상의 프레임의 속도가 저하되는 문제점이 있으며, 사용자 역시 이러한 화면을 보고 주차하는데 큰 불편함을 느끼고 있는 문제점이 있었다.In addition, in order to match the images of the front, rear, left and right sides of the vehicle and output them in real time, a large amount of memory is used. Therefore, the transmission speed of the image is low, and thus the frame rate of the matched top view image is increased. There is a problem that is degraded, the user also had a problem that feels a great inconvenience to see the screen.
또한, 이러한 차량의 전·후방, 좌·우측의 영상을 정합하여 탑뷰 영상으로 처리하기 위해서는 모니터, 네비게이션 단말기 등에 고 사양의 CPU가 마련되어야 하는 제약이 따르는 문제점도 있었다.In addition, there is a problem that a high specification CPU must be provided in a monitor, a navigation terminal, etc. in order to match the front, rear, left, and right images of the vehicle and process them into a top view image.
상술한 문제점을 해결하기 위해 안출된 본 발명의 목적은, 차량의 전·후방, 좌·우측의 영상의 영상을 YUV 422 형식을 그대로 유지하면서, 영상의 사이즈를 1/2가량 리사이즈할 수 있는 다채널 영상 정합 시스템 및 그 방법을 제공하는 데 있다.An object of the present invention devised to solve the above-described problems, the size of the image can be resized about 1/2 while maintaining the YUV 422 format of the image of the front, rear, left and right of the vehicle as it is. A channel image matching system and a method thereof are provided.
또한, 본 발명의 다른 목적은, 리사이즈된 각 영상을 하나의 영상으로 정합 한 후, 탑뷰 영상으로 변환하기 때문에, 메모리를 많이 절감할 수 있고, 이로 인하여 탑뷰 영상의 프레임 저하가 전혀 없는 다채널 영상 정합 시스템 및 그 방법을 제공하는 데 있다.In addition, another object of the present invention is to match each resized image into a single image, and then to convert to a top view image, which can save a lot of memory, thereby multi-channel image without any frame degradation of the top view image It is to provide a matching system and a method thereof.
또한, 본 발명의 또 다른 목적은, 각 영상을 하나의 영상으로 정합 한 후 탑뷰 영상을 생성하기 때문에, 각 영상의 동기 신호가 어긋나는 문제가 없는 다채널 영상 정합 시스템 및 그 방법을 제공하는 데 있다.In addition, another object of the present invention is to provide a multi-channel video matching system and a method, in which a top view video is generated after matching each video to a single video, and thus there is no problem that the synchronization signal of each video is shifted. .
상기 목적을 달성하기 위한 본 발명에 따른 다채널 영상 정합 시스템은, 차량의 주변 영상을 촬영하는 다수개의 카메라와, 상기 다수개의 카메라들로부터 촬영된 영상에서 각각의 픽셀에 포함된 휘도 정보를 각 하나씩 건너뛰면서 삭제하고, 각각의 픽셀에 포함된 색차 정보들은 각 하나의 픽셀을 건너뛰면서 모두 삭제한 후, 휘도 정보와 색차 정보가 각각 순서대로 반복적으로 각 픽셀에 재배열하여 각 영상들을 리사이즈하는 영상 리사이즈부와, 상기 영상 리사이즈부를 통해 리사이즈된 각 영상들을 임시로 저장하는 메모리 및 상기 메모리에 저장되는 다수개의 영상들을 하나의 영상으로 정합하는 영상 정합부를 포함한다.According to an aspect of the present invention, there is provided a multi-channel image matching system including a plurality of cameras for photographing surrounding images of a vehicle, and luminance information included in each pixel in images captured by the plurality of cameras. Image resizing that skips and deletes the color difference information included in each pixel by skipping each pixel, and then resizes the images by rearranging the luminance information and the color difference information to each pixel repeatedly in order. And a memory for temporarily storing respective images resized through the image resizing unit and an image matching unit for matching a plurality of images stored in the memory into one image.
또한, 상기 영상은, YUV 422 형식의 영상인 것을 특징으로 한다.In addition, the video is characterized in that the YUV 422 format video.
또한, 상기 영상은, NTSC 방식으로 송·수신되는 것을 특징으로 한다.In addition, the video is characterized in that the transmission and reception by the NTSC system.
또한, 상기 영상 리사이즈부는, YUV 422 형식의 영상 신호에서 각각의 픽셀에 포함된 휘도 정보 Y는 하나씩 건너뛰면서 삭제하고, 색차 정보 U 및 V는 각 하나의 픽셀을 건너뛰면서 모두 삭제한 후, 색차 정보 V와 다음의 Y의 위치를 서로 바꾸어, 상기 각각의 픽셀에 포함된 휘도 정보 Y, 색차 정보 U 및 V의 배치를 다시 YUV 422 형식으로 재배열하여 각 영상들을 리사이즈하는 것을 특징으로 한다.In addition, the image resizing unit deletes the luminance information Y included in each pixel in the YUV 422 format video signal by skipping one by one, and deletes the color difference information U and V by skipping each one pixel, and then removes the color difference information. The positions of V and Y are interchanged with each other, and rearrangement of luminance information Y, color difference information U, and V included in each pixel is re-sized in YUV 422 to resize each image.
또한, 본 발명에 따른 다채널 영상 정합 방법은, (a) 다수개의 카메라로부터 촬영된 영상이 영상 리사이즈부로 송신되는 단계와, (b) 상기 다수개의 카메라들로부터 영상이 송신되면, 영상 리사이즈부로부터 영상의 각각의 픽셀에 포함된 휘도 정보가 각 하나씩 건너뛰면서 삭제되고, 각각의 픽셀에 포함된 색차 정보들도 각 하나의 픽셀을 건너뛰면서 모두 삭제되는 단계와, (c) 상기 (b) 단계를 통해 삭제되고 남은 상기 휘도 정보와 색차 정보들이 영상 리사이즈부를 통해 각 픽셀에 각각 순서대로 반복적으로 재배열되어 상기 각 영상들이 리사이즈되는 단계와, (d) 상기 (c) 단계를 통해 리사이즈되는 각 영상들이 메모리에 임시로 저장되는 단계 및 (e) 상기 메모리에 저장되는 다수개의 영상들이 영상 정합부를 통해 하나의 영상으로 정합되는 단계를 포함한다.In addition, the multi-channel image matching method according to the present invention, (a) transmitting the images taken from the plurality of cameras to the image resizing unit, and (b) if the images are transmitted from the plurality of cameras, from the image resizing unit The luminance information included in each pixel of the image is deleted by skipping each one, and the color difference information included in each pixel is also deleted by skipping each one pixel, and (c) the step (b) The brightness information and the color difference information which are deleted and remaining are sequentially rearranged in order in each pixel through an image resizing unit, and the respective images are resized, and (d) the respective images are resized through (c). Temporarily storing in the memory; and (e) matching the plurality of images stored in the memory into one image through an image matching unit. do.
본 발명에 따르면, 차량의 전·후방, 좌·우측의 영상의 영상을 YUV 422 형식을 그대로 유지하면서, 영상의 사이즈를 1/2가량 리사이즈할 수 있는 다채널 영상 정합 시스템 및 그 방법을 제공할 수 있다.According to the present invention, it is possible to provide a multi-channel image matching system and a method for resizing the size of an image by about 1/2 while maintaining the YUV 422 format of the image of the front, rear, and left and right sides of the vehicle. Can be.
또한, 본 발명에 따르면, 리사이즈된 각 영상을 하나의 영상으로 정합 한 후, 탑뷰 영상으로 변환하기 때문에, 메모리를 많이 절감할 수 있고, 이로 인하여 탑뷰 영상의 프레임 저하가 전혀 없는 다채널 영상 정합 시스템 및 그 방법을 제공할 수 있다.In addition, according to the present invention, since each resized image is matched to one image and then converted into a top view image, a large amount of memory can be saved, and thus a multi-channel image matching system with no frame degradation of the top view image is achieved. And a method thereof.
또한, 본 발명에 따르면, 각 영상을 하나의 영상으로 정합 한 후 탑뷰 영상을 생성하기 때문에, 각 영상의 동기 신호가 어긋나는 문제가 없는 다채널 영상 정합 시스템 및 그 방법을 제공할 수 있다.In addition, according to the present invention, since a top view image is generated after matching each image into one image, a multi-channel image matching system and a method thereof may be provided in which a synchronization signal of each image does not occur.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention.
도 1은 본 발명에 따른 다채널 영상 정합 시스템의 개략적인 전체 구성도이고, 도 2는 본 발명에 따른 다채널 영상 정합 시스템의 상세 블록 구성도이다.1 is a schematic overall configuration diagram of a multi-channel video registration system according to the present invention, Figure 2 is a detailed block diagram of a multi-channel video registration system according to the present invention.
도 1 및 도 2를 참조하여, 본 발명에 따른 다채널 영상 정합 시스템에 대해 상세하게 설명하기로 한다.1 and 2, a multichannel image matching system according to the present invention will be described in detail.
우선 본 발명에 따른 다채널 영상 정합 시스템은, 차량(c)의 전방에 설치되는 전방 카메라(10), 우측에 설치되는 우측 카메라(20), 좌측에 설치되는 좌측 카메라(30), 후방에 설치되는 후방 카메라(40), 차량 내부의 각종 장치 및 공조 시스템을 컨트롤하는 중앙 제어 장치(1), 중앙 제어 장치(1)와 연결된 모니터(50)를 포함한다.First, the multi-channel video registration system according to the present invention includes a
여기서 중앙 제어 장치(1)란, 차량 내의 설치되는 컨트롤 패널 보드에 설치된 모니터, 차량에 설치된 카메라 등을 제어할 수 있는 차체 제어 모듈(BCM; Body Control module) 또는 운전자 통합 정보 시스템 모듈(DIS; Driver Information System)이 될 수 있다.The central control unit 1 is a body control module (BCM) or a driver integrated information system module (DIS; Driver) capable of controlling a monitor installed in a control panel board installed in a vehicle, a camera installed in a vehicle, and the like. Information System).
운전자 통합정보시스템이란, 멀티미디어, 내비게이션, 차량 공조시스템, 차량의 각종 설정 등 차량의 모든 정보를 대형 모니터를 통해 운전자에게 알려주고 운전자는 터치스크린과 뒷좌석 Haptic 컨트롤러, 음성명령을 통해 쉽고 빠르게 차량의 각부를 통합 제어할 수 있는 시스템을 말한다.The integrated driver information system informs the driver of all information of the vehicle, including multimedia, navigation, vehicle air conditioning system, and various settings of the vehicle, through a large monitor.The driver can quickly and easily control each part of the vehicle through the touch screen, rear seat Haptic controller, and voice commands. The system can be integrated control.
한편, 이러한 중앙 제어 장치(1)는 영상 정합 모듈(100)을 포함한다.Meanwhile, the central control apparatus 1 includes an
영상 정합 모듈(100)은 영상 리사이즈부(110), 영상 정합부(120), 메모리(130) 및 영상왜곡 보정부(140)을 포함한다.The
영상 리사이즈부(110)는, 차량의 전·후방, 좌·우측에 설치된 카메라(10, 20, 30, 40)로부터 송신되는 차량의 전방 영상(10a), 우측 영상(10b), 좌측 영상(10c) 및 후방 영상(10d)을 바람직하게는 NTSC 방식(National Television System Committee)으로 수신하며, 수신되는 차량의 전·후방, 좌·우측의 영상은 YUV 422 형식의 영상인 것이 바람직하다.The
참고로 여기서 NTSC 방식이란, 대한민국, 일본, 미국, 캐나다 등에서 널리 사용하는 아날로그 텔레비전 방식을 말하며, 더 정확하게는 M 형식으로 불리는데, 초당 29.97 개의 비월 주사된 비디오 프레임으로 이루어진다. 각 프레임은 전체 신호인 525 라인 중에서 480 라인으로 구성되며 나머지는 동기 신호나 수직 귀선 및 자막과 같은 다른 데이터의 전송을 위해 쓰인다.For reference, the NTSC system refers to an analog television system widely used in South Korea, Japan, the United States, and Canada, and more precisely called an M format, which is composed of 29.97 interlaced scanned video frames per second. Each frame consists of 480 lines out of the 525 lines of the total signal, with the remainder used for the transmission of other data such as sync signals or vertical blanks and subtitles.
그리고, YUV 422 형식은 상기 종래기술에서도 언급했듯이 주지된 기술이므로, 여기서 더 이상의 상세한 설명은 생략하기로 한다.In addition, since the YUV 422 format is well known as mentioned in the related art, a detailed description thereof will be omitted herein.
도 3은 본 발명에 따른 다채널 영상 정합 방법을 설명하기 위한 제1 참고도이고, 도 4는 본 발명에 따른 다채널 영상 정합 방법을 설명하기 위한 제2 참고도이며, 도 5는 본 발명에 따른 다채널 영상 정합 방법을 설명하기 위한 제3 참고도이다.FIG. 3 is a first reference diagram for explaining a multichannel image matching method according to the present invention, FIG. 4 is a second reference diagram for explaining a multichannel image matching method according to the present invention, and FIG. FIG. 3 is a diagram for describing a multi-channel image matching method according to an embodiment.
도 3 내지 도 5를 참고하여 YUV 422 형식의 영상을 리사이즈하는 것에 대해 설명하기로 한다.Resizing the image of the YUV 422 format will be described with reference to FIGS. 3 to 5.
설명하기에 앞서, 영상 리사이즈부(110)로 수신된 YUV 422 형식의 영상 신호 는, 하나의 픽셀의 휘도 정보인 Y, 상기 Y의 색차 정보인 U 및 V가 포함된다.Prior to the description, the image signal of the YUV 422 format received by the image resize
예컨대, 도 3 및 도 4에 도시된 바와 같이, 제1 픽셀(P1)에는 Y0, U0, Y1, V0의 휘도 및 색차 정보가 각각 배열되어 있다. 즉 YUV 422 형식의 영상의 하나의 픽셀에는 2개의 휘도 정보, 이 각 휘도 정보에 대한 U 및 V가 각각 배열되어 있으며, 그 다음 픽셀인 제2 픽셀(P2)도 마찬가지로 Y2, U1, Y3, V1이 배열되어 있고, 제3 픽셀(P3), 제4 픽셀(P4) ‥ 등도 마찬가지이다.For example, as illustrated in FIGS. 3 and 4, luminance and color difference information of Y0, U0, Y1, and V0 are arranged in the first pixel P1, respectively. That is, two luminance information, U and V for each of the luminance information are arranged in one pixel of the YUV 422 format image, and the second pixel P2, which is the next pixel, is similarly Y2, U1, Y3, V1. Are arranged, and the same applies to the third pixel P3, the fourth pixel P4, and the like.
이어서, 영상 리사이즈부(110)는, 영상 리사이즈부(110)로 수신된 YUV 422 형식의 영상 신호에서 각각의 픽셀에 포함된 휘도 정보 Y는 하나씩 건너뛰면서 삭제하고, 색차 정보 U 및 V는 각 하나의 픽셀을 건너뛰면서 모두 삭제한다.Subsequently, the
예컨대, 도 4에 도시된 바와 같이, 제1 픽셀(P1)에 배열된 Y1을 삭제하고, 제2 픽셀(P2)에 배열된 U1, Y3, V1을 삭제하고, 제3 픽셀(P3)에 배열된 Y5,를 삭제하고, 제4 픽셀(P4)에 배열된 U3, Y7, V3를 삭제하는데, 그 다음 픽셀들도 마찬가지이다.For example, as shown in FIG. 4, Y1 arranged in the first pixel P1 is deleted, U1, Y3, and V1 arranged in the second pixel P2 are deleted, and arranged in the third pixel P3. Deletes Y5, and deletes U3, Y7, V3 arranged in the fourth pixel P4, and so on.
여기서, 제1 픽셀(P1)은 Y0, U0, V0가 남고, 제2 픽셀은 Y2가 남고, 제3 픽셀(P3)은 Y4, U2, V2가 남고, 제4 픽셀(P4)은 Y6이 남게 된다. 이때 예컨대, 제1 픽셀(P1)의 V0와 제2 픽셀(P2)의 Y2를 서로 바꾼다. 마찬가지로 제3 픽셀(P3)의 Y4, U2는 그대로 두고, V2와 제4 픽셀(P4)의 Y6과 서로 바꾼다.Here, the first pixel P1 remains Y0, U0, V0, the second pixel remains Y2, the third pixel P3 leaves Y4, U2, V2, and the fourth pixel P4 leaves Y6. do. At this time, for example, V0 of the first pixel P1 and Y2 of the second pixel P2 are interchanged. Similarly, Y4 and U2 of the third pixel P3 are left as they are, and are interchanged with Y6 of V2 and the fourth pixel P4.
그렇게 되면 도 5에 도시된 바와 같이, 상기 각 영상들은 YUV 422 형식을 그대로 유지하고, 영상의 사이즈가 1/2가량 리사이즈되어 메모리(130)에 임시로 저장된다.Then, as shown in FIG. 5, each of the images maintains the YUV 422 format as it is, and the size of the images is resized by about 1/2 so that they are temporarily stored in the
도 6은 본 발명에 따른 다채널 영상 정합 시스템이 차량에 적용되었을 경우에 리사이즈된 영상을 정합하여 탑뷰 영상으로 출력되는 것을 설명하기 위한 참고도이다.6 is a reference diagram for explaining that when a multi-channel image matching system according to the present invention is applied to a vehicle, a resized image is matched and output as a top view image.
도 6을 참고하면, 메모리(130)에는 영상 리사이즈부(110)를 통해 리사이즈된 각 영상들(차량의 전·후방, 좌·우측의 영상)이 임시로 저장되는데, 영상 정합부(120)는, 메모리(130)에 저장되는 다수개의 영상들을 하나의 영상으로 정합한다.Referring to FIG. 6, the
여기서, 각 영상들을 하나의 영상을 정합하는 방법은 일반적으로 알려진 기술이므로 더 이상의 상세한 설명은 생략하기로 한다.Here, since a method of matching each image with one image is a generally known technique, a detailed description thereof will be omitted.
이렇게 정합된 영상은 중앙 제어 장치(1)의 영상왜곡 보정부(140)를 통해 영상의 왜곡이 보정된다. 예컨대 상기 영상의 원근, 휨, 방사 왜곡 등을 보정을 하며, 이에 대한 기술 역시 널리 알려진 기술이므로, 상세한 설명은 생략하기로 한다.In this matched image, the distortion of the image is corrected through the image
이렇게 왜곡이 보정된 상기 영상은 탑뷰 영상(T)으로 변환되고, 이렇게 변환된 탑뷰 영상(T)은 차량에 설치된 모니터(50)에 디스플레이된다.The distortion-corrected image is converted into a top view image T, and the converted top view image T is displayed on the
따라서, 차량의 전·후방, 좌·우측의 영상의 영상을 YUV 422 형식을 그대로 유지하면서, 영상의 사이즈를 1/2가량 리사이즈할 수 있고, 리사이즈된 각 영상을 하나로 합치고, 탑뷰 영상(T)으로 정합하기 때문에, 메모리를 많이 절감할 수 있고, 이로 인하여 탑뷰 영상(T)의 프레임 저하가 전혀 없으며, 영상이 정합되어 있어 각 영상의 동기 신호가 어긋나는 문제가 없는 장점이 있다.Therefore, while maintaining the YUV 422 format, the images of the front, rear, and left and right sides of the vehicle can be resized by about 1/2 of the size of the vehicle. Because of matching, the memory can be saved a lot, and thus there is no deterioration of the frame of the top view image T, and there is no problem that the synchronization signal of each image is misaligned because the images are matched.
본 발명은 상술한 바람직한 실시예에 한정되지 아니하며 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 용이하게 변형 실시 가능한 것은 물론이고, 이와 같은 변경은 청구항의 청구범위 기재범위 내에 있게 된다.The present invention is not limited to the above-described preferred embodiments and can be easily modified by anyone of ordinary skill in the art without departing from the gist of the invention claimed in the claims, Such changes are intended to fall within the scope of the claims.
도 1은 본 발명에 따른 다채널 영상 정합 시스템의 개략적인 전체 구성도1 is a schematic overall configuration diagram of a multi-channel video registration system according to the present invention
도 2는 본 발명에 따른 다채널 영상 정합 시스템의 상세 블록 구성도2 is a detailed block diagram of a multi-channel image matching system according to the present invention.
도 3은 본 발명에 따른 다채널 영상 정합 방법을 설명하기 위한 제1 참고도3 is a first reference diagram for explaining a multi-channel image matching method according to the present invention.
도 4는 본 발명에 따른 다채널 영상 정합 방법을 설명하기 위한 제2 참고도4 is a second reference diagram for explaining a multi-channel image matching method according to the present invention.
도 5는 본 발명에 따른 다채널 영상 정합 방법을 설명하기 위한 제3 참고도5 is a third reference diagram for explaining a multi-channel image matching method according to the present invention.
도 6은 본 발명에 따른 다채널 영상 정합 시스템이 차량에 적용되었을 경우에 리사이즈된 영상을 정합하여 탑뷰 영상으로 출력되는 것을 설명하기 위한 참고도이다.6 is a reference diagram for explaining that when a multi-channel image matching system according to the present invention is applied to a vehicle, a resized image is matched and output as a top view image.
<도면의 주요 부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
c : 차량1 : 중앙 제어 장치c: vehicle 1: central control unit
10 : 전방 카메라20 : 우측 카메라10: front camera 20: right camera
30 : 좌측 카메라40 : 후방 카메라30: left camera 40: rear camera
50 : 디스플레이 장치100 : 영상 정합 모듈50: display device 100: video registration module
110: 영상 리사이즈부120 : 영상 정합부110: video resizing unit 120: video matching unit
130: 메모리140 : 영상왜곡 보정부130: memory 140: image distortion correction unit
Claims (5)
Translated fromKoreanPriority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090063035AKR101012585B1 (en) | 2009-07-10 | 2009-07-10 | Multichannel Image Matching System and Its Method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090063035AKR101012585B1 (en) | 2009-07-10 | 2009-07-10 | Multichannel Image Matching System and Its Method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110005462A KR20110005462A (en) | 2011-01-18 |
| KR101012585B1true KR101012585B1 (en) | 2011-02-07 |
Family
ID=43612618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090063035AExpired - Fee RelatedKR101012585B1 (en) | 2009-07-10 | 2009-07-10 | Multichannel Image Matching System and Its Method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101012585B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018070799A1 (en)* | 2016-10-12 | 2018-04-19 | 엘지이노텍(주) | Image matching method and apparatus |
| US11017508B2 (en) | 2016-10-12 | 2021-05-25 | Lg Innotek Co., Ltd. | Image matching method and apparatus |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020004876A (en)* | 2000-07-04 | 2002-01-16 | 마츠시타 덴끼 산교 가부시키가이샤 | Monitoring system |
| KR20020097449A (en)* | 2001-06-21 | 2002-12-31 | 주식회사 삼테크아이앤씨 | Surveillance system by using multiple cameras and method of carrying out the same |
- 2009
- 2009-07-10KRKR1020090063035Apatent/KR101012585B1/ennot_activeExpired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020004876A (en)* | 2000-07-04 | 2002-01-16 | 마츠시타 덴끼 산교 가부시키가이샤 | Monitoring system |
| KR20020097449A (en)* | 2001-06-21 | 2002-12-31 | 주식회사 삼테크아이앤씨 | Surveillance system by using multiple cameras and method of carrying out the same |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018070799A1 (en)* | 2016-10-12 | 2018-04-19 | 엘지이노텍(주) | Image matching method and apparatus |
| US11017508B2 (en) | 2016-10-12 | 2021-05-25 | Lg Innotek Co., Ltd. | Image matching method and apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110005462A (en) | 2011-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2950301B1 (en) | Signal processing method, signal processing system and display device | |
| US10482847B2 (en) | Driving method and driving apparatus for display panel, and display device | |
| JP4647280B2 (en) | Display device | |
| JP6948810B2 (en) | Image processing system | |
| WO2012090952A1 (en) | Display device, television receiver, and control method for display device | |
| CN101394570A (en) | Image sensor and image data processing system | |
| US20050104888A1 (en) | Workstation for processing and producing a video signal | |
| US20050122310A1 (en) | System and method for producing a video signal | |
| US7688334B2 (en) | Method and system for video format transformation in a mobile terminal having a video display | |
| US20190051270A1 (en) | Display processing device and imaging device | |
| US20130321487A1 (en) | Display, image processing unit, and display method | |
| US7283665B2 (en) | Encoding and decoding data to render 2D or 3D images | |
| JP2005244980A (en) | Apparatus and method for processing imaging signal | |
| US20140133781A1 (en) | Image processing device and image processing method | |
| KR101012585B1 (en) | Multichannel Image Matching System and Its Method | |
| KR100985003B1 (en) | Image processing apparatus of multi-CDC and image processing method | |
| JP4997172B2 (en) | Image signal processing apparatus, method and program for image division processing | |
| JP4997167B2 (en) | Image signal processing apparatus, method and program for image division processing | |
| KR101643773B1 (en) | Apparatus and method for improving quality of preview image | |
| JP4329072B2 (en) | Test pattern generator, imaging device, image output device, and high-definition image display system | |
| JP2003189262A (en) | Method for integrating three-dimensional y/c comb line filter and interlace/progressive converter into single chip and system thereof | |
| US20140056524A1 (en) | Image processing device, image processing method, and program | |
| US8488897B2 (en) | Method and device for image filtering | |
| US9077841B2 (en) | Video processing apparatus and video processing method | |
| JP2005296534A (en) | Electronic endoscope apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application | St.27 status event code:A-0-1-A10-A12-nap-PA0109 | |
| PA0201 | Request for examination | St.27 status event code:A-1-2-D10-D11-exm-PA0201 | |
| D13-X000 | Search requested | St.27 status event code:A-1-2-D10-D13-srh-X000 | |
| D14-X000 | Search report completed | St.27 status event code:A-1-2-D10-D14-srh-X000 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-3-3-R10-R18-oth-X000 | |
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection | St.27 status event code:A-1-2-D10-D21-exm-PE0902 | |
| E13-X000 | Pre-grant limitation requested | St.27 status event code:A-2-3-E10-E13-lim-X000 | |
| P11-X000 | Amendment of application requested | St.27 status event code:A-2-2-P10-P11-nap-X000 | |
| P13-X000 | Application amended | St.27 status event code:A-2-2-P10-P13-nap-X000 | |
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration | St.27 status event code:A-1-2-D10-D22-exm-PE0701 | |
| PG1501 | Laying open of application | St.27 status event code:A-1-1-Q10-Q12-nap-PG1501 | |
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment | St.27 status event code:A-2-4-F10-F11-exm-PR0701 | |
| PR1002 | Payment of registration fee | St.27 status event code:A-2-2-U10-U11-oth-PR1002 Fee payment year number:1 | |
| PG1601 | Publication of registration | St.27 status event code:A-4-4-Q10-Q13-nap-PG1601 | |
| FPAY | Annual fee payment | Payment date:20130321 Year of fee payment:4 | |
| PR1001 | Payment of annual fee | St.27 status event code:A-4-4-U10-U11-oth-PR1001 Fee payment year number:4 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-5-5-R10-R18-oth-X000 | |
| FPAY | Annual fee payment | Payment date:20140310 Year of fee payment:5 | |
| PR1001 | Payment of annual fee | St.27 status event code:A-4-4-U10-U11-oth-PR1001 Fee payment year number:5 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-5-5-R10-R18-oth-X000 | |
| FPAY | Annual fee payment | Payment date:20150305 Year of fee payment:6 | |
| PR1001 | Payment of annual fee | St.27 status event code:A-4-4-U10-U11-oth-PR1001 Fee payment year number:6 | |
| FPAY | Annual fee payment | Payment date:20151229 Year of fee payment:7 | |
| PR1001 | Payment of annual fee | St.27 status event code:A-4-4-U10-U11-oth-PR1001 Fee payment year number:7 | |
| FPAY | Annual fee payment | Payment date:20160428 Year of fee payment:8 | |
| PR1001 | Payment of annual fee | St.27 status event code:A-4-4-U10-U11-oth-PR1001 Fee payment year number:8 | |
| P22-X000 | Classification modified | St.27 status event code:A-4-4-P10-P22-nap-X000 | |
| FPAY | Annual fee payment | Payment date:20180221 Year of fee payment:9 | |
| PR1001 | Payment of annual fee | St.27 status event code:A-4-4-U10-U11-oth-PR1001 Fee payment year number:9 | |
| PN2301 | Change of applicant | St.27 status event code:A-5-5-R10-R13-asn-PN2301 St.27 status event code:A-5-5-R10-R11-asn-PN2301 | |
| FPAY | Annual fee payment | Payment date:20190130 Year of fee payment:10 | |
| PR1001 | Payment of annual fee | St.27 status event code:A-4-4-U10-U11-oth-PR1001 Fee payment year number:10 | |
| R18-X000 | Changes to party contact information recorded | St.27 status event code:A-5-5-R10-R18-oth-X000 | |
| PN2301 | Change of applicant | St.27 status event code:A-5-5-R10-R13-asn-PN2301 St.27 status event code:A-5-5-R10-R11-asn-PN2301 | |
| PC1903 | Unpaid annual fee | St.27 status event code:A-4-4-U10-U13-oth-PC1903 Not in force date:20210127 Payment event data comment text:Termination Category : DEFAULT_OF_REGISTRATION_FEE | |
| PC1903 | Unpaid annual fee | St.27 status event code:N-4-6-H10-H13-oth-PC1903 Ip right cessation event data comment text:Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date:20210127 |