KR20200129981A - Apparatus and method of masking some privacy areas of video in real time - Google Patents
Apparatus and method of masking some privacy areas of video in real timeDownload PDFInfo
- Publication number
- KR20200129981A KR20200129981AKR1020190055197AKR20190055197AKR20200129981AKR 20200129981 AKR20200129981 AKR 20200129981AKR 1020190055197 AKR1020190055197 AKR 1020190055197AKR 20190055197 AKR20190055197 AKR 20190055197AKR 20200129981 AKR20200129981 AKR 20200129981A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- license plate
- unit
- masking
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06K9/00221—
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T5/007—
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
Translated fromKorean본 발명은 실시간 영상에서의 마스킹 방법에 관한 것으로서, 더욱 상세하게는 차량 번호판과 매칭될 가능성이 낮은 영역을 제거해나감으로써, 차량 번호판 영역을 검출하기 위한 복잡한 연산을 최소화하고 마스킹 시간을 줄일 수 있는 실시간 영상에서의 마스킹 방법 및 장치에 관한 것이다.The present invention relates to a masking method in a real-time image, and more particularly, by removing an area that is unlikely to be matched with a vehicle license plate, it is possible to minimize a complex operation for detecting a vehicle license plate area and reduce the masking time. It relates to a method and apparatus for masking in an image.
종래의 영상인식 및 저장 시스템의 경우 차량 내에 설치된 전방 주시 카메라 또는 CCTV에서 실시간 영상을 획득하여 녹화하게 된다. 이때, 다른 차량 및 다른 사람의 얼굴이 녹화된다. 해당 동영상을 편집하여 인터넷에 올리는 경우, 개인정보 침해의 문제가 발생한다In the case of a conventional image recognition and storage system, a real-time image is acquired and recorded from a front-facing camera or CCTV installed in a vehicle. At this time, the faces of other vehicles and other people are recorded. If the video is edited and posted on the Internet, a problem of personal information invasion occurs.
국내외의 경우, 개인정보 침해의 문제로 인하여 현재 차량내 설치된 블랙박스에서 영상을 녹화하는 경우, 차량의 번호판 및 사람의 얼굴을 가려서 저장하도록 하는 블랙박스 장치의 마스킹 기능 포함의 의무화가 추진되고 있다In the case of domestic and overseas, when video is recorded in a black box installed in a vehicle due to the problem of personal information infringement, it is being promoted to include a masking function of a black box device that covers the license plate of the vehicle and a person's face to store it.
이에 따라, 향후에는 일반 사용자의 경우에도 자신의 차량에서 녹화된 블랙박스 영상일 지라도 다른 사람 얼굴 및 차량의 번호판을 확인해서는 안되며, 이를 방지하기 위하여 패턴 인식과 영상 처리 기술을 활용하여, 번호판 및 사람의 얼굴을 자동으로 마스킹해야 하게 된다. 이에 따라, 더욱 효율적이고 보안이 철저한 방식의 동영상 마스킹 방법이 필요한 실정이다.Accordingly, in the future, even general users should not check other people's faces and license plates of vehicles even if they are black box images recorded in their own vehicles.To prevent this, use pattern recognition and image processing technology to Faces should be automatically masked. Accordingly, there is a need for a more efficient and secure method of video masking.
특히, 자동차의 급격한 증가와 함께 자동차를 구분할 수 있는 유일한 정보인 번호판을 인식하는 기술의 중요성이 커지고 있다. CCTV 등의 영상획득 장치로부터 획득된 자동차 영상에서 번호판을 인식하는 기술은 종래에도 많이 존재하고 있으며 실용화 단계까지 이르러 범죄 차량 단속, 무인 주차 시스템 및 무인 자동차 등 자동차와 관련된 많은 분야에 활용되고 있다. 영상에서 자동차 번호판을 인식하기 위해서는 영상 내에 존재하는 자동차의 번호판 위치를 검출하는 것이 무엇보다 중요하다.In particular, with the rapid increase of automobiles, the importance of technology for recognizing license plates, the only information that can distinguish automobiles, is increasing. A number of technologies for recognizing license plates from vehicle images obtained from image acquisition devices such as CCTV have existed in the prior art and have been used in many fields related to automobiles, such as criminal vehicle control, unmanned parking systems, and unmanned vehicles. In order to recognize the license plate in the image, it is most important to detect the position of the license plate in the image.
선행기술 1(한국등록특허공보 10-1282663)은 차량 번호판의 이미지 영역을 추출하기 위하여 수직 에지 정보를 생성하여 후보 이미지 영역의 범위를 추출한다.Prior Art 1 (Korean Patent Publication No. 10-1282663) extracts a range of a candidate image area by generating vertical edge information to extract an image area of a vehicle license plate.
선행기술 2(한국공개특허공보 1-2015-0045679)는 번호판 학습영상에 대한 특징영역과 비번호판 학습영상의 특징영역에 대한 특징값을 이용하여 번호판을 검출한다. 선행기술 1과 선행기술 2에서 번호판이 영상 내 어디에 위치해 있는지 연산하는 시간을 줄여 실시간으로 마스킹이 가능하도록 하는 것이 필요할 실정이다.Prior Art 2 (Korean Patent Laid-Open Publication No. 1-2015-0045679) detects a license plate using a feature region for a license plate learning image and a feature value for a feature region of the non-license plate learning image. In Prior Art 1 and Prior Art 2, it is necessary to reduce the time required to calculate where the license plate is located in the image to enable real-time masking.
따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 차량 번호판 영역을 검출하기 위한 복잡한 연산을 최소화하고 마스킹 시간을 줄일 수 있는 실시간 영상에서의 마스킹 방법을 제공하는 것이다.Accordingly, a first problem to be solved by the present invention is to provide a masking method in a real-time image capable of minimizing a complex operation for detecting a vehicle license plate area and reducing a masking time.
본 발명이 해결하고자 하는 두 번째 과제는 차량 번호판과 동일한 색상을 빠르게 검출하고 숫자가 내부에 포함되어 있는지 확인함으로써, 차량 번호판 영역 검출을 빠르게 할 수 있는 실시간 영상에서의 마스킹 장치를 제공하는 것이다.A second problem to be solved by the present invention is to provide a masking device in a real-time image capable of quickly detecting a vehicle license plate area by quickly detecting the same color as a vehicle license plate and checking whether a number is included therein.
또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.Further, it is to provide a computer-readable recording medium in which a program for executing the above-described method on a computer is recorded.
본 발명은 상기 첫 번째 과제를 달성하기 위하여, 원본 영상에서 에지를 검출하는 단계; 상기 원본 영상을 복수의 영역으로 나누어 각 영역별로 상기 검출된 에지가 차량 번호판에 매칭될 가능성을 판단하고, 매칭 가능성이 소정의 값보다 낮은 영역을 제거하는 단계; 상기 원본 영상 중 남아 있는 영상 영역을 다시 복수의 영역으로 나누어 차량 번호판에 매칭될 가능성을 판단하고, 매칭 가능성이 소정의 값보다 낮은 영역을 제거하는 단계; 매칭 가능성이 소정의 값보다 낮은 영역을 반복하여 제거한 결과 차량 번호판 영역 후보가 남게 되면, 숫자 인식을 통해 차량 번호가 포함되어 있는지 확인하는 단계; 및 상기 숫자 인식 결과 차량 번호판이라고 판단되면, 상기 차량 번호판 영역을 마스킹 처리하는 단계를 포함하는 실시간 영상에서의 마스킹 방법을 제공한다.In order to achieve the first object, the present invention includes the steps of detecting an edge in an original image; Dividing the original image into a plurality of regions, determining a possibility that the detected edge will match the vehicle license plate for each region, and removing regions having a matching probability lower than a predetermined value; Dividing the remaining image region of the original image into a plurality of regions, determining a possibility of matching with the vehicle license plate, and removing regions having a matching probability lower than a predetermined value; Determining whether a vehicle number is included through number recognition when a vehicle license plate region candidate remains as a result of repeatedly removing regions having a matching probability lower than a predetermined value; And if it is determined that the number is the vehicle license plate as a result of the number recognition, masking the vehicle license plate region.
본 발명의 일 실시 예에 의하면, 상기 원본 영상이 입력되면 RGB 색 공간을 YUV 색 공간으로 변환하는 단계; 상기 차량 번호판이 갖는 색을 강조하기 위해 YUV 색 공간 중 U 성분 또는 V 성분에 가중치를 부여하는 단계; 및 가중치가 부여된 U 성분 또는 V 영상에서 차량 번호판으로 추정되는 영역을 추출하는 단계를 더 포함하고, 상기 차량 번호판으로 추정되는 영역에 대하여 숫자 인식을 통해 차량 번호가 포함되어 있는지 확인할 수 있다.According to an embodiment of the present invention, when the original image is input, converting an RGB color space into a YUV color space; Assigning a weight to a U component or a V component in a YUV color space to emphasize the color of the vehicle license plate; And extracting a region estimated to be the vehicle license plate from the weighted U component or V image, and whether the vehicle number is included in the region estimated as the vehicle license plate through numeric recognition.
본 발명의 다른 실시 예에 의하면, 상기 원본 영상의 이전의 이미지 프레임과 현재의 이미지 프레임을 비교하여 새로운 객체를 검출하는 단계; 상기 검출된 새로운 객체의 이미지 영역을 흑백 이미지로 변환하는 단계; 상기 변환된 흑백 이미지를 히스토그램 균등화하는 단계; 상기 히스토그램 균등화된 이미지를 블록별로 분해하여 블록별 그래디언트를 산출하는 단계; 사전에 저장된 얼굴 이미지의 블록별 그래디언트 패턴을 상기 산출된 블록별 그래디언트 패턴과 비교하여 상기 현재 이미지 프레임 내의 얼굴 이미지를 인식하는 단계; 및 상기 인식된 얼굴 이미지를 마스킹 처리하는 단계를 더 포함할 수 있다.According to another embodiment of the present invention, the method includes: detecting a new object by comparing a previous image frame of the original image with a current image frame; Converting the detected image area of the new object into a black and white image; Equalizing the converted black and white image histogram; Decomposing the histogram equalized image for each block to calculate a gradient for each block; Recognizing a face image in the current image frame by comparing a gradient pattern for each block of the previously stored face image with the calculated gradient pattern for each block; And masking the recognized face image.
본 발명은 상기 두 번째 과제를 달성하기 위하여, 차량의 번호판을 인식하는 번호판 인식부; 사람의 얼굴을 인식하는 얼굴 인식부; 상기 인식된 차량의 번호판과 상기 인식된 얼굴을 마스킹하는 마스킹부를 포함하고, 상기 번호판 인식부는, 원본 영상이 입력되면 에지를 검출하는 에지 검출부; 상기 원본 영상을 복수의 영역으로 나누어 각 영역별로 상기 검출된 에지가 상기 차량의 번호판에 매칭될 가능성을 판단하고, 매칭 가능성이 소정의 제1 임계값보다 낮은 영역을 제거하고, 상기 원본 영상 중 남아 있는 영상 영역을 다시 복수의 영역으로 나누어 차량 번호판에 매칭될 가능성을 판단하고, 매칭 가능성이 소정의 제2 임계값보다 낮은 영역을 제거하여 상기 차량의 번호판 영역 후보를 검출하는 비후보 영역 제거부; 및 상기 비후보 영역 제거부가 검출한 상기 차량의 번호판 영역 후보로부터 숫자를 인식하는 숫자 인식부를 포함하고, 상기 마스킹부는 상기 숫자 인식부가 숫자를 인식한 상기 차량의 번호판 영역 후보에 대해 마스킹을 하는 것을 특징으로 하는 실시간 영상에서의 마스킹 장치를 제공한다.The present invention, in order to achieve the second task, the license plate recognition unit for recognizing the license plate of the vehicle; A face recognition unit that recognizes a person's face; A license plate of the recognized vehicle and a masking unit for masking the recognized face, and the license plate recognition unit includes: an edge detection unit for detecting an edge when an original image is input; Dividing the original image into a plurality of regions to determine the probability that the detected edge will match the license plate of the vehicle for each region, remove the region having a matching probability lower than a predetermined first threshold, and remain among the original images. A non-candidate area removal unit that divides the existing image area into a plurality of areas to determine a possibility of matching the vehicle license plate, and removes an area having a matching possibility lower than a predetermined second threshold value to detect a license plate area candidate of the vehicle; And a number recognition unit for recognizing a number from the license plate area candidate of the vehicle detected by the non-candidate area removal unit, wherein the masking unit masks the license plate area candidate of the vehicle for which the number recognition unit recognizes a number. It provides a masking device for real-time video.
본 발명의 일 실시 예에 의하면, 상기 번호판 인식부는, 상기 원본 영상이 입력되면 RGB 색 공간을 YUV 색 공간으로 변환하는 색공간 변환부; 차량 번호판이 갖는 색을 강조하기 위해 YUV 색 공간 중 U 채널 영상과 V 채널 영상에 대한 가중치를 부여하는 가중치 부여부; 및 가중치가 부여된 U 채널 영상 또는 V 채널 영상으로부터 차량 번호판으로 추정되는 영역을 추출하는 영역 추출부를 더 포함하고, 상기 숫자 인식부는 상기 영역 추출부가 추출한 차량 번호판으로 추정되는 영역에 대하여 숫자를 인식하고, 상기 마스킹부는 상기 숫자 인식부가 숫자를 인식한 차량 번호판으로 추정되는 영역에 대해 마스킹을 할 수 있다.According to an embodiment of the present invention, the license plate recognition unit includes: a color space conversion unit for converting an RGB color space into a YUV color space when the original image is input; A weighting unit for assigning weights to the U-channel image and the V-channel image in the YUV color space to emphasize the color of the vehicle license plate; And an area extracting unit for extracting an area estimated to be the vehicle license plate from the weighted U channel image or V channel image, wherein the number recognition unit recognizes a number for the area estimated to be the vehicle license plate extracted by the area extraction unit. , The masking unit may mask a region estimated to be a vehicle license plate in which the number recognition unit recognizes a number.
본 발명의 다른 실시 예에 의하면, 상기 얼굴 인식부는, 이전의 이미지 프레임과 현재의 이미지 프레임을 비교하여 새로운 객체를 검출하는 객체 검출부; 상기 검출된 새로운 객체의 이미지 영역을 흑백 이미지로 변환하는 흑백이미지 변환부; 상기 변환된 흑백 이미지를 히스토그램 균등화하는 히스토그램 균등화부; 상기 히스토그램 균등화된 이미지를 블록별로 분해하여 블록별 그래디언트를 산출하는 그래디언트 산출부; 및 사전에 저장된 얼굴 이미지의 블록별 그래디언트 패턴을 상기 산출된 블록별 그래디언트 패턴과 비교하여 상기 현재 이미지 프레임 내의 얼굴 이미지를 인식하는 얼굴이미지 인식부를 포함하고, 상기 마스킹부는 상기 얼굴이미지 인식부가 인식한 얼굴 이미지를 마스킹하는 것이 바람직하다.According to another embodiment of the present invention, the face recognition unit may include an object detection unit configured to detect a new object by comparing a previous image frame with a current image frame; A black and white image conversion unit converting the detected image area of the new object into a black and white image; A histogram equalization unit that equalizes the converted black-and-white image; A gradient calculator for calculating a gradient for each block by decomposing the histogram equalized image for each block; And a face image recognition unit for recognizing a face image in the current image frame by comparing a gradient pattern for each block of a previously stored face image with the calculated gradient pattern for each block, wherein the masking unit includes a face recognized by the face image recognition unit. It is desirable to mask the image.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 실시간 영상에서의 마스킹 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.In order to solve the above other technical problem, the present invention provides a computer-readable recording medium recording a program for executing the above-described real-time image masking method on a computer.
본 발명에 따르면, 차량 번호판과 매칭될 가능성이 낮은 영역을 제거해나감으로써, 차량 번호판 영역을 검출하기 위한 복잡한 연산을 최소화하고 마스킹 시간을 줄일 수 있으며, 촬영된 동영상에 개인정보와 관련된 이미지를 마스킹 처리하기 때문에, 사용자는 일반적으로 촬영한 CCTV나 블랙박스 동영상에서도 타인의 프라이버시를 침해하지 않을 수 있게 된다.According to the present invention, by removing an area that is unlikely to be matched with the vehicle license plate, it is possible to minimize a complex operation for detecting the vehicle license plate area, reduce the masking time, and mask the image related to personal information in the captured video. Therefore, the user can not infringe on the privacy of others even in a CCTV or black box video that is generally taken.
또한, 본 발명에 따르면, 차량 번호판과 동일한 색상을 빠르게 검출하고 숫자가 내부에 포함되어 있는지 확인함으로써, 차량 번호판 영역 검출을 빠르게 할 수 있다.In addition, according to the present invention, by quickly detecting the same color as the vehicle license plate and checking whether a number is contained therein, it is possible to quickly detect the vehicle license plate area.
나아가, 본 발명에 따르면, 블록별 그래디언트 패턴을 이용하여 이미지 내에 있는 얼굴을 적은 연산으로 빠르게 인식할 수 있다.Furthermore, according to the present invention, it is possible to quickly recognize a face in an image with a small number of operations using a gradient pattern for each block.
도 1은 본 발명의 바람직한 일 실시 예에 따른 실시간 영상에서의 마스킹 장치의 구성도이다.
도 2는 비후보 영역 제거부(120)가 차량 번호판에 매칭될 가능성이 낮은 영역을 제거하고, 차량 번호판 영역을 검출하는 과정을 개념적으로 도시한 것이다.
도 3은 본 발명의 일 실시 예에 따라 얼굴이미지 인식부(250)에 사전에 저장된 얼굴 이미지의 블록별 그래디언트 패턴을 도시한 것이다.
도 4는 도 1의 얼굴이미지 인식부(250)에서 얼굴을 인식하는데 사용되는 분류기의 일 례를 도시한 것이다.
도 5는 본 발명의 바람직한 일 실시 예에 따른 실시간 영상에서의 마스킹 방법의 흐름도이다.
도 6은 본 발명의 바람직한 다른 실시 예에 따른 실시간 영상에서의 마스킹 방법의 흐름도이다.
도 7은 본 발명의 바람직한 또 다른 실시 예에 따른 실시간 영상에서의 마스킹 방법의 흐름도이다.1 is a block diagram of an apparatus for masking a real-time image according to an exemplary embodiment of the present invention.
FIG. 2 conceptually illustrates a process of removing an area unlikely to be matched with the vehicle license plate by the non-candidate
3 illustrates a gradient pattern for each block of a face image previously stored in the face
FIG. 4 shows an example of a classifier used to recognize a face in the face
5 is a flowchart of a method for masking a real-time image according to an exemplary embodiment of the present invention.
6 is a flowchart of a method for masking a real-time image according to another exemplary embodiment of the present invention.
7 is a flowchart of a masking method in a real-time image according to another exemplary embodiment of the present invention.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 그러나 이들 실시 예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in which a person of ordinary skill in the art can easily implement the present invention. However, these examples are for explaining the present invention in more detail, and it will be apparent to those of ordinary skill in the art that the scope of the present invention is not limited thereto.
본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시 예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.The configuration of the invention for clarifying the solution to the problem to be solved by the present invention will be described in detail with reference to the accompanying drawings based on a preferred embodiment of the present invention, but the same in assigning reference numerals to the components of the drawings For the components, even if they are on different drawings, the same reference numerals are given, and it should be noted in advance that components of other drawings may be referred to when necessary when describing the drawings. In addition, when it is determined that a detailed description of a well-known function or configuration related to the present invention and other matters may unnecessarily obscure the subject matter of the present invention in describing the operating principle of the preferred embodiment of the present invention in detail, Its detailed description is omitted.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작, 또는 소자 외에 하나 이상의 다른 구성요소, 단계, 동작, 또는 소자의 존재 또는 추가를 배제하지 않는다.In addition, throughout the specification, when a part is said to be'connected' to another part, it is not only'directly connected', but also'indirectly connected' with another element in the middle. Include. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used herein, “comprises” or “comprising” excludes the presence or addition of one or more other elements, steps, operations, or elements other than the recited element, step, operation, or element. I never do that.
도 1은 본 발명의 바람직한 일 실시 예에 따른 실시간 영상에서의 마스킹 장치의 구성도이다.1 is a block diagram of an apparatus for masking a real-time image according to an exemplary embodiment of the present invention.
도 1을 참조하면, 본 실시 예에 따른 실시간 영상에서의 마스킹 장치는 번호판 인식부(100), 얼굴 인식부(200), 및 마스킹부(300)로 구성된다.Referring to FIG. 1, the masking apparatus for a real-time image according to the present embodiment includes a license plate recognition unit 100, a face recognition unit 200, and a
번호판 인식부(100)는 에지 검출부(110), 비후보 영역 제거부(120), 색공간 변환부(130), 가중치 부여부(140), 및 영역 추출부(150), 및 숫자 인식부(130)로 구성된다.The license plate recognition unit 100 includes an
얼굴 인식부(200)는 객체 검출부(210), 흑백이미지 변환부(220), 히스토그램 균등화부(230), 그래디언트 산출부(240), 및 얼굴이미지 인식부(250)로 구성된다.The face recognition unit 200 includes an
마스킹부(300)는 번호판 인식부(100)가 인식한 차량 번호판 영역을 마스킹 처리하거나 얼굴 인식부(200)가 인식한 얼굴 이미지를 마스킹처리한다.The
이하 번호판 인식부(100)에 대하여 보다 상세하게 살펴보기로 한다.Hereinafter, the license plate recognition unit 100 will be described in more detail.
에지 검출부(110)는 원본 영상이 입력되면 에지를 검출한다.The
에지를 검출하기 위해 사용하는 마스크는 1차 미분 마스크와 2차 미분 마스크가 있다. 1차 미분 마스크는 로버츠 마스크, 프리윗 마스크, 소벨 마스크 등이 있는데, 1차 미분 마스크는 밝기가 급격하게 변화하는 영역뿐 아니라 점진적으로 변화하는 부분까지 민감하게 에지를 검출하여 너무 많은 에지가 나타날 수 있다. 이를 보완하기 위한 방법으로 2차 미분 마스크를 사용할 수 있다. 2차 미분 마스크는 변화하는 영역의 중심에 위치한 에지만을 검출하며, 밝기가 점진적으로 변화되는 영역에 대해서는 반응을 보이지 않는 장점이 있다.Masks used to detect edges include a first-order differential mask and a second-order differential mask. The first derivative mask includes a Roberts mask, a Freewit mask, and a Sobel mask.The first derivative mask sensitively detects not only areas where the brightness changes rapidly but also areas that change gradually, so too many edges may appear. have. As a method to compensate for this, a second derivative mask can be used. The second derivative mask has an advantage that it detects only the edge located at the center of the changing region, and does not respond to the region where the brightness gradually changes.
비후보 영역 제거부(120)는 상기 원본 영상을 복수의 영역으로 나누어 각 영역별로 상기 검출된 에지가 차량 번호판에 매칭될 가능성을 판단하고, 매칭 가능성이 소정의 제1 임계값보다 낮은 영역을 제거한다.The non-candidate
비후보 영역 제거부(120)는 상기 원본 영상 중 남아 있는 영상 영역을 다시 복수의 영역으로 나누어 차량 번호판에 매칭될 가능성을 판단하고, 매칭 가능성이 소정의 제2 임계값보다 낮은 영역을 제거한다. 이때 제1 임계값보다 제2 임계값의 매칭 가능성은 높은 것이 바람직하다.The non-candidate
매칭 가능성이 소정의 임계값보다 낮은 영역을 반복하여 제거한 결과 차량 번호판 영역 후보가 남게 된다.As a result of repeatedly removing an area having a matching probability lower than a predetermined threshold value, a candidate vehicle license plate area remains.
도 2는 비후보 영역 제거부(120)가 차량 번호판에 매칭될 가능성이 낮은 영역을 제거하고, 차량 번호판 영역을 검출하는 과정을 개념적으로 도시한 것이다.2 is a conceptual diagram illustrating a process of removing an area unlikely to be matched with the vehicle license plate by the non-candidate
도 2를 참조하면, 1단계에서 원본 영상을 복수의 영역으로 나누어 각 영역별로 상기 검출된 에지가 차량 번호판에 매칭될 가능성을 판단한 후, 매칭 가능성이 소정의 제1 임계값보다 낮은 영역을 검출하여 제거하고, 남은 영상을 2단계로 전달한다.Referring to FIG. 2, after dividing the original image into a plurality of areas in step 1 and determining the possibility that the detected edge will match the vehicle license plate for each area, an area having a matching probability lower than a predetermined first threshold is detected. Remove it and deliver the remaining video to step 2.
2단계에서는 1단계에서 받은 영상을 다시 복수의 영역으로 나누어 차량 번호판에 매칭될 가능성을 판단하고, 매칭 가능성이 소정의 제2 임계값보다 낮은 영역을 제거하고, 남은 영상을 N단계로 전달한다. 단계가 거듭될수록 불필요한 영역은 삭제되고, N단계에서는 차량 번호판 영역 후보가 검출된다.In step 2, the image received in step 1 is divided into a plurality of areas to determine the possibility of matching with the vehicle license plate, the area having the possibility of matching lower than a predetermined second threshold is removed, and the remaining image is transferred to step N. As steps are repeated, unnecessary areas are deleted, and in step N, a candidate vehicle license plate area is detected.
색공간 변환부(130)는 원본 영상이 입력되면 RGB 색 공간을 YUV 색 공간으로 변환한다.When the original image is input, the color
YUV 색 공간은 휘도 신호(Y)와 색차 신호(U, V)로 색을 표현한다. 색차 신호중 U는 휘도 신호와 청색 신호 성분의 차를 V는 휘도 신호와 적색 신호 성분의 차를 말한다.The YUV color space expresses colors with a luminance signal (Y) and a color difference signal (U, V). Among the color difference signals, U is the difference between the luminance signal and the blue signal, and V is the difference between the luminance signal and the red signal.
사람 눈은 휘도에 민감하나 특정 색을 구분하기 위해서는 색차 신호(U, V)를 활용하는 것이 바람직하다. 따라서, 휘도 신호(Y)를 제거하고 색차 신호(U, V)를 이용하여 번호판을 구분하는 것이 바람직하다.The human eye is sensitive to luminance, but it is desirable to use color difference signals (U, V) to distinguish specific colors. Therefore, it is preferable to remove the luminance signal (Y) and use the color difference signals (U, V) to distinguish license plates.
가중치 부여부(140)는 차량 번호판이 갖는 색을 강조하기 위해 YUV 색 공간 중 U 채널 영상과 V 채널 영상에 대한 가중치를 부여한다.The
개인용 자동차는 흰색 번호판, 사업용 자동차는 노란색 번호판이고, 건설기계 및 중장비는 녹색 번호판이다.White license plates for personal cars, yellow license plates for business cars, and green license plates for construction machinery and heavy equipment.
표 1을 참조하면, 흰색의 경우 U 채널값과 V 채널값 모두 128로 동일하므로, U 채널과 V 채널의 가중치는 1:1이다. 반면 노란색의 경우는 U 채널과 V 채널의 가중치는 16:146, 녹색의 경우는 54:34이므로, 각 색깔별 U채널과 V 채널의 가중치를 달리하여 적용하는 것이 바람직하다. 연산을 간단하게 하기 위해서 U 채널과 V 채널 중 큰 값을 갖는 채널만을 사용하는 것도 가능하다. 즉, 노란색의 경우는 V 채널을 사용하고, 녹색의 경우는 U 채널을 사용할 수 있다.Referring to Table 1, in the case of white, since both the U and V channel values are equal to 128, the weight of the U and V channels is 1:1. On the other hand, in the case of yellow, the weights of the U and V channels are 16:146, and in the case of green, they are 54:34, so it is preferable to apply different weights of the U and V channels for each color. In order to simplify the operation, it is possible to use only the channel having the larger value among the U and V channels. In other words, yellow can use a V channel, and green can use a U channel.
영역 추출부(150)는 가중치가 부여된 U 영상 또는 V 영상으로부터 차량 번호판으로 추정되는 영역을 추출한다.The
가중치 부여부(140)에서 가중치가 부여된 U 영상과 V 영상을 합하거나, U 영상과 V 영상 중 어느 하나를 선택하여, 차량 번호판과 동일한 색을 갖는 영역을 추출할 수 있다.The
숫자 인식부(160)는 비후보 영역 제거부(120)가 검출한 차량 번호판 영역 후보로부터 숫자를 인식한다.The
숫자 인식부(160)는 영역 추출부(150)가 추출한 차량 번호판으로 추정되는 영역에 대하여 숫자를 인식한다.The
숫자 인식부(160)가 비후보 영역 제거부(120)와 영역 추출부(150)에서 수신한 영역 모두에 대하여 숫자를 인식함으로써, 차량 번호판이 누락될 가능성을 낮출 수 있다.Since the
예를 들어, 텐서플로우(TensorFlow)는 구글에서 개발하여 공개한 딥러닝/머신러닝을 위한 오픈소스 라이브러리인데, 텐서플로우 API인 softmax, cross_ entropy 등을 활용하면, 숫자 또는 문자를 인식할 수 있다.For example, TensorFlow is an open source library for deep learning/machine learning developed and published by Google.If you use TensorFlow APIs such as softmax and cross_entropy, you can recognize numbers or letters.
이하 얼굴 인식부(200)에 대하여 보다 상세하게 살펴보기로 한다.Hereinafter, the face recognition unit 200 will be described in more detail.
객체 검출부(210)는 이전의 이미지 프레임과 현재의 이미지 프레임을 비교하여 새로운 객체를 검출한다.The
이전의 이미지 프레임과 현재의 이미지 프레임을 비교하여 각 이미지 프레임 간에 대응하는 픽셀의 차이값이 0보다 큰 경우 또는 0보다 일정값 이상인 경우 객체가 존재하는 영역의 픽셀로 판단할 수 있다.By comparing the previous image frame and the current image frame, when a difference value of a pixel corresponding between each image frame is greater than 0 or a predetermined value or more than 0, it may be determined as a pixel in an area where an object exists.
흑백이미지 변환부(220)는 상기 검출된 새로운 객체의 이미지 영역을 흑백 이미지로 변환한다.The monochrome
상기 새로운 객체의 이미지 영역이 컬러 이미지인 경우 컬러 이미지는 RGB(Red, Green, Blue) 또는 HSL(Hue, Saturation, Luminance) 포맷일 수 있다.When the image area of the new object is a color image, the color image may be in RGB (Red, Green, Blue) or HSL (Hue, Saturation, Luminance) format.
이 경우, HSL 포맷의 Luminance 정보는 흑백 이미지 정보와 대응한다. 따라서, 컬러 이미지가 RGB 포맷인 경우도 HSL 포맷으로 변환하여 흑백 이미지로 변환하는 것이 바람직하다.In this case, the luminance information of the HSL format corresponds to the monochrome image information. Accordingly, it is preferable to convert the color image to a black and white image by converting it to the HSL format even when the color image is in the RGB format.
히스토그램 균등화부(230)는 상기 변환된 흑백 이미지를 히스토그램 균등화한다.The
흑백 이미지의 히스토그램은 이미지 내에서 각 명암값에 해당하는 픽셀의 갯수를 나타낸 것이다. 히스토그램의 x축은 명암값, y축은 빈도수를 나타낸다. 히스토그램의 막대분포가 왼쪽으로 치우칠수록 어두운 이미지를 나타내고, 오른쪽으로 치우칠수록 밝은 이미지를 표현하게 된다. 히스토그램 균등화는 이미지의 히스토그램을 명암값 전 구간에서 고르게 나타나도록 변경하는 것을 말한다.The histogram of a black-and-white image shows the number of pixels corresponding to each intensity value in the image. The x-axis of the histogram represents the intensity value, and the y-axis represents the frequency. The more the bar distribution of the histogram is skewed to the left, the darker the image is, and the more it is skewed to the right, the brighter the image. Histogram equalization refers to changing the histogram of an image so that it appears evenly over the entire contrast value.
히스토그램 균등화는 입력되는 이미지의 상이한 조명조건에 따라 변화되므로, 조도정규화처리를 위해 필요하다. 히스토그램 균등화와 감마 보정을 동시에 적용하는 것이 바람직하다.Since the histogram equalization varies according to different lighting conditions of the input image, it is necessary for the illuminance normalization process. It is desirable to apply histogram equalization and gamma correction at the same time.
감마 보정은 인간 시각의 비선형성에 맞추어 밝기 정보를 부호화하려는 것으로, 이미지 가운데 어두운 영역에서 밝기의 격차를 낮춰주고, 밝은 영역에서는 밝기의 격차를 높여주는 방식으로 보정이 이루어진다.Gamma correction is intended to encode brightness information according to the nonlinearity of human vision, and is corrected in a way that lowers the difference in brightness in the dark area of the image and increases the difference in brightness in the bright area.
그래디언트 산출부(240)는 상기 히스토그램 균등화된 이미지를 블록별로 분해하여 블록별 그래디언트를 산출한다.The
이미지를 작은 블록으로 분해하여 각 블록별 그래디언트가 어느 방향(상향, 우상향, 좌상향, 하향, 우하향, 우좌향 등)을 향하고 있는지 산출할 수 있다.By decomposing the image into small blocks, it is possible to calculate in which direction the gradient for each block is facing (upward, upward, upward, leftward, downward, downward, right, left, etc.).
그래디언트(Gradient)는 하나의 픽셀을 상기 하나의 픽셀을 둘러싸고 있는 주변 픽셀들과 비교해서 이미지가 어두워지는 방향 또는 밝아지는 방향을 나타내는 것으로 정의한다.Gradient is defined as representing a direction in which an image darkens or brightens by comparing one pixel with neighboring pixels surrounding the one pixel.
이미지의 모든 픽셀에 대해서 그래디언트를 산출하고, 상기 분해한 블록 내에 있는 픽셀들의 그래디언트를 합하여 블록별 그래디언트를 산출할 수 있다.Gradients for all pixels of the image may be calculated, and gradients for each block may be calculated by summing the gradients of pixels in the decomposed block.
이미지의 픽셀을 그대로 사용하는 경우 동일한 사람의 어두운 이미지와 밝은 이미지는 전혀 다른 픽셀값을 갖게 되므로 정확한 비교가 힘들다. 그러나 밝기가 변하는 방향을 고려하여 비교하게 되면, 밝은 이미지와 어두운 이미지를 비교할 때라도 밝기의 변화방향이 동일하면 동일한 이미지라고 판단할 수 있다.If the pixels of the image are used as they are, the dark image and the bright image of the same person have completely different pixel values, making it difficult to accurately compare. However, if the comparison is made in consideration of the direction in which the brightness changes, even when comparing the bright image and the dark image, it can be determined that the image is the same if the change direction of the brightness is the same.
얼굴이미지 인식부(250)는 사전에 저장된 얼굴 이미지의 블록별 그래디언트 패턴을 상기 산출된 블록별 그래디언트 패턴과 비교하여 상기 현재 이미지 프레임 내의 얼굴 이미지를 인식한다.The face
도 3은 본 발명의 일 실시 예에 따라 얼굴이미지 인식부(250)에 사전에 저장된 얼굴 이미지의 블록별 그래디언트 패턴을 도시한 것이다.3 is a diagram illustrating a gradient pattern for each block of a face image previously stored in the face
도 3에 도시된 사전에 저장된 얼굴 이미지의 블록별 그래디언트 패턴(a)을 그래디언트 산출부(130)에서 산출된 블록별 그래디언트의 패턴(b)과 비교하여 유사도가 일정 유사도 이상인 경우 얼굴 이미지로 인식하게 된다.The gradient pattern (a) for each block of the previously stored face image shown in FIG. 3 is compared with the pattern (b) of the gradient for each block calculated by the
도 4는 도 1의 얼굴이미지 인식부(250)에서 얼굴을 인식하는데 사용되는 분류기의 일 례를 도시한 것이다.FIG. 4 shows an example of a classifier used to recognize a face in the face
도 4에 도시된 분류기는 Real-AdaBoost 방법으로 구성된 강분류기들을 Cascade 방식으로 결합하여 매 단계분류기들에서 얼굴 이미지가 아닌 것을 제거하도록 할 수 있다. 분류기를 Cascade 방식으로 구성함으로써, 보다 빠르게 비얼굴 이미지를 제거할 수 있으며, 분류의 실시간성을 보장할 수 있다.The classifier shown in FIG. 4 may combine strong classifiers configured by the Real-AdaBoost method in a Cascade method to remove non-face images from each step classifier. By configuring the classifier in a Cascade method, it is possible to remove non-facial images more quickly and to ensure real-time classification.
도 4의 분류기는 네스팅(Nesting) 구조화된 캐스케이드(Cascade) 방식으로서, 앞 단계의 단계분류기를 다음 단계 분류기의 첫 약분류기로 하는 분류기이다. 이때, 첫 단계의 약분류기는 부분창문을 통해 이미지를 수신하는 것이 바람직하다.The classifier of FIG. 4 is a nesting structured cascade method, and is a classifier using the step classifier of the previous step as the first weak classifier of the next classifier. At this time, it is preferable that the weak classifier of the first stage receives the image through the partial window.
이러한 네스팅 분류기를 이용함으로써, 훨씬 적은 약분류기를 이용하여 높은 검출률과 낮은 오검출률을 보장할 수 있으며, 검출기의 실시간성을 보장할 수 있는 장점이 있다.By using such a nesting classifier, it is possible to guarantee a high detection rate and a low false detection rate by using a much smaller weak classifier, and has the advantage of ensuring real-time of the detector.
도 5는 본 발명의 바람직한 일 실시 예에 따른 실시간 영상에서의 마스킹 방법의 흐름도이다.5 is a flowchart of a method for masking a real-time image according to an exemplary embodiment of the present invention.
500 단계에서 실시간 영상에서의 마스킹 장치는 원본 영상에서 에지를 검출한다.In
510 단계에서 실시간 영상에서의 마스킹 장치는 원본 영상을 복수의 영역으로 나눈다.In
520 단계에서 실시간 영상에서의 마스킹 장치는 상기 원본 영상을 복수의 영역으로 나누어 각 영역별로 상기 검출된 에지가 차량 번호판에 매칭될 가능성을 판단한다.In
상기 판단결과 매칭 가능성이 소정의 값보다 낮으면 530 단계로 진행하고, 매칭 가능성이 소정의 값보다 높으면 560 단계로 진행한다.As a result of the determination, if the probability of matching is lower than a predetermined value,
530 단계에서 실시간 영상에서의 마스킹 장치는 매칭 가능성이 소정의 값보다 낮은 영역을 제거한다.In
540 단계에서 실시간 영상에서의 마스킹 장치는 상기 원본 영상 중 남아 있는 영상 영역을 다시 복수의 영역으로 나눈다.In
550 단계에서 실시간 영상에서의 마스킹 장치는 상기 매칭 가능성을 판단할 때 사용하는 소정의 값을 변경한다. 변경되는 소정의 값은 520 단계에서의 소정의 값보다 높은 값인 것이 바람직하다. 상기 소정의 값을 점차 높임으로써, 차량 번호판에 매칭될 확률이 높은 영역을 검출할 수 있게 된다.In
560 단계에서 실시간 영상에서의 마스킹 장치는 520 단계 내지 550 단계를 반복하여 차량 번호판 영역 후보가 남게 되면, 숫자 인식을 통해 차량 번호가 포함되어 있는지 확인한다.In
570 단계에서 실시간 영상에서의 마스킹 장치는 상기 숫자 인식 결과 차량 번호판이라고 판단되면, 상기 차량 번호판 영역을 마스킹 처리한다.In
도 6은 본 발명의 바람직한 다른 실시 예에 따른 실시간 영상에서의 마스킹 방법의 흐름도이다.6 is a flowchart of a method for masking a real-time image according to another exemplary embodiment of the present invention.
도 5와 도 6을 참조하면, 본 실시 예에 따른 실시간 영상에서의 마스킹 방법은 도 1에 도시된 실시간 영상에서의 마스킹 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 실시간 영상에서의 마스킹 장치에 관하여 이상에서 기술된 내용은 본 실시 예에 따른 실시간 영상에서의 마스킹 방법에도 적용된다.Referring to FIGS. 5 and 6, the method for masking a real-time image according to the present embodiment includes steps that are time-sequentially processed by the masking apparatus for the real-time image shown in FIG. 1. Accordingly, even if omitted below, the contents described above with respect to the masking apparatus in the real-time image shown in FIG. 1 are also applied to the masking method in the real-time image according to the present embodiment.
도 5와 도 6에 도시된 실시간 영상에서의 마스킹 방법은 병렬적으로 이루어질 수 있고, 두 가지 방법이 동시에 사용됨으로써, 마스킹 대상이 누락되는 것을 방지할 수 있을 것이다.The masking method in the real-time image shown in FIGS. 5 and 6 may be performed in parallel, and since both methods are used at the same time, it is possible to prevent the masking object from being omitted.
600 단계에서 실시간 영상에서의 마스킹 장치는 원본 영상이 입력되면 RGB 색 공간을 YUV 색 공간으로 변환한다.In
YUV 색 공간은 휘도 신호(Y)와 색차 신호(U,V)로 색을 표현한다. 색차 신호중 U는 휘도 신호와 청색 신호 성분의 차를 V는 휘도 신호와 적색 신호 성분의 차를 말한다.The YUV color space expresses colors with a luminance signal (Y) and a color difference signal (U,V). Among the color difference signals, U is the difference between the luminance signal and the blue signal, and V is the difference between the luminance signal and the red signal.
사람 눈은 휘도에 민감하나 특정 색을 구분하기 위해서는 색차 신호(U, V)를 활용하는 것이 바람직하다. 따라서, 휘도 신호(Y)를 제거하고 색차 신호(U,V)를 이용하여 번호판을 구분하는 것이 바람직하다.The human eye is sensitive to luminance, but it is desirable to use color difference signals (U, V) to distinguish specific colors. Therefore, it is preferable to remove the luminance signal (Y) and use the color difference signals (U, V) to distinguish license plates.
610 단계에서 실시간 영상에서의 마스킹 장치는 상기 차량 번호판이 갖는 색을 강조하기 위해 YUV 색 공간 중 U 성분 또는 V 성분에 가중치를 부여한다.In
개인용 자동차는 흰색 번호판, 사업용 자동차는 노란색 번호판이고, 건설기계 및 중장비는 녹색 번호판이다.White license plates for personal cars, yellow license plates for business cars, and green license plates for construction machinery and heavy equipment.
흰색의 경우 U 채널값과 V 채널값 모두 128로 동일하므로, U 채널과 V 채널의 가중치는 1:1이다. 반면 노란색의 경우는 U 채널과 V 채널의 가중치는 16:146, 녹색의 경우는 54:34이므로, 각 색깔별 U채널과 V 채널의 가중치를 달리하여 적용하는 것이 바람직하다. 연산을 간단하게 하기 위해서 U 채널과 V 채널 중 큰 값을 갖는 채널만을 사용하는 것도 가능하다. 즉, 노란색의 경우는 V 채널을 사용하고, 녹색의 경우는 U 채널을 사용할 수 있다.In the case of white, both the U and V channel values are equal to 128, so the weight of the U and V channels is 1:1. On the other hand, in the case of yellow, the weights of the U and V channels are 16:146, and in the case of green, they are 54:34, so it is preferable to apply different weights of the U and V channels for each color. In order to simplify the operation, it is possible to use only the channel having the larger value among the U and V channels. In other words, yellow can use a V channel, and green can use a U channel.
620 단계에서 실시간 영상에서의 마스킹 장치는 가중치가 부여된 U 성분 또는 V 영상에서 차량 번호판으로 추정되는 영역을 추출한다.In
가중치가 부여된 U 영상과 V 영상을 합하거나, U 영상과 V 영상 중 어느 하나를 선택하여, 차량 번호판과 동일한 색을 갖는 영역을 추출할 수 있다.A region having the same color as the vehicle license plate may be extracted by adding weighted U and V images or by selecting one of the U and V images.
630 단계에서 실시간 영상에서의 마스킹 장치는 상기 차량 번호판으로 추정되는 영역에 대하여 숫자 인식을 통해 차량 번호가 포함되어 있는지 확인한다.In
640 단계에서 실시간 영상에서의 마스킹 장치는 숫자가 인식된 차량 번호판으로 추정되는 영역을 마스킹한다.In
도 7은 본 발명의 바람직한 또 다른 실시 예에 따른 실시간 영상에서의 마스킹 방법의 흐름도이다.7 is a flowchart of a method for masking a real-time image according to another exemplary embodiment of the present invention.
700 단계에서 실시간 영상에서의 마스킹 장치는 원본 영상의 이전의 이미지 프레임과 현재의 이미지 프레임을 비교하여 새로운 객체를 검출한다.In
이전의 이미지 프레임과 현재의 이미지 프레임을 비교하여 각 이미지 프레임 간에 대응하는 픽셀의 차이값이 0보다 큰 경우 또는 0보다 일정값 이상인 경우 객체가 존재하는 영역의 픽셀로 판단할 수 있다.By comparing the previous image frame and the current image frame, when a difference value of a pixel corresponding between each image frame is greater than 0 or a predetermined value or more than 0, it may be determined as a pixel in an area where an object exists.
710 단계에서 실시간 영상에서의 마스킹 장치는 상기 검출된 새로운 객체의 이미지 영역을 흑백 이미지로 변환한다.In
720 단계에서 실시간 영상에서의 마스킹 장치는 변환된 흑백 이미지를 히스토그램 균등화한다.In
흑백 이미지의 히스토그램은 이미지 내에서 각 명암값에 해당하는 픽셀의 갯수를 나타낸 것이다. 히스토그램의 x축은 명암값, y축은 빈도수를 나타낸다. 히스토그램의 막대분포가 왼쪽으로 치우칠수록 어두운 이미지를 나타내고, 오른쪽으로 치우칠수록 밝은 이미지를 표현하게 된다. 히스토그램 균등화는 이미지의 히스토그램을 명암값 전 구간에서 고르게 나타나도록 변경하는 것을 말한다.The histogram of a black-and-white image shows the number of pixels corresponding to each intensity value in the image. The x-axis of the histogram represents the intensity value, and the y-axis represents the frequency. The more the bar distribution of the histogram is skewed to the left, the darker the image is, and the more it is skewed to the right, the brighter the image. Histogram equalization refers to changing the histogram of an image so that it appears evenly over the entire contrast value.
730 단계에서 실시간 영상에서의 마스킹 장치는 상기 히스토그램 균등화된 이미지를 블록별로 분해하여 블록별 그래디언트를 산출한다.In
이미지를 작은 블록으로 분해하여 각 블록별 그래디언트가 어느 방향(상향, 우상향, 좌상향, 하향, 우하향, 우좌향 등)을 향하고 있는지 산출할 수 있다.By decomposing the image into small blocks, it is possible to calculate in which direction the gradient for each block is facing (upward, upward, upward, leftward, downward, downward, right, left, etc.).
그래디언트(Gradient)는 하나의 픽셀을 상기 하나의 픽셀을 둘러싸고 있는 주변 픽셀들과 비교해서 이미지가 어두워지는 방향 또는 밝아지는 방향을 나타내는 것으로 정의한다.Gradient is defined as representing a direction in which an image darkens or brightens by comparing one pixel with neighboring pixels surrounding the one pixel.
이미지의 모든 픽셀에 대해서 그래디언트를 산출하고, 상기 분해한 블록 내에 있는 픽셀들의 그래디언트를 합하여 블록별 그래디언트를 산출할 수 있다.Gradients for all pixels of the image may be calculated, and gradients for each block may be calculated by summing the gradients of pixels in the decomposed block.
이미지의 픽셀을 그대로 사용하는 경우 동일한 사람의 어두운 이미지와 밝은 이미지는 전혀 다른 픽셀값을 갖게 되므로 정확한 비교가 힘들다. 그러나 밝기가 변하는 방향을 고려하여 비교하게 되면, 밝은 이미지와 어두운 이미지를 비교할 때라도 밝기의 변화방향이 동일하면 동일한 이미지라고 판단할 수 있다.If the pixels of the image are used as they are, the dark image and the bright image of the same person have completely different pixel values, making it difficult to accurately compare. However, if the comparison is made in consideration of the direction in which the brightness changes, even when comparing the bright image and the dark image, it can be determined that the image is the same if the change direction of the brightness is the same.
740 단계에서 실시간 영상에서의 마스킹 장치는 사전에 저장된 얼굴 이미지의 블록별 그래디언트 패턴을 상기 산출된 블록별 그래디언트 패턴과 비교하여 상기 현재 이미지 프레임 내의 얼굴 이미지를 인식한다.In
750 단계에서 실시간 영상에서의 마스킹 장치는 상기 인식된 얼굴 이미지를 마스킹 처리한다.In
본 발명의 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The above-described hardware device may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.
본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터,데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.The term'~ unit' used in the present embodiment refers to software or hardware components such as field-programmable gate array (FPGA) or ASIC, and'~ unit' performs certain roles. However,'~ part' is not limited to software or hardware. The'~ unit' may be configured to be in an addressable storage medium, or may be configured to reproduce one or more processors. Thus, as an example,'~ unit' refers to components such as software components, object-oriented software components, class components and task components, processes, functions, properties, and procedures. , Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables. The components and functions provided in the'~ units' may be combined into a smaller number of elements and'~ units', or may be further divided into additional elements and'~ units'. In addition, components and'~ units' may be implemented to play one or more CPUs in a device or a security multimedia card.
상술한 모든 기능은 상기 기능을 수행하도록 코딩된 소프트웨어나 프로그램 코드 등에 따른 마이크로프로세서, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit) 등과 같은 프로세서에 의해 수행될 수 있다. 상기 코드의 설계, 개발 및 구현은 본 발명의 설명에 기초하여 당업자에게 자명하다고 할 것이다.All of the above-described functions may be performed by a processor such as a microprocessor, a controller, a microcontroller, or an application specific integrated circuit (ASIC) according to software or program code coded to perform the function. The design, development, and implementation of the code will be apparent to those skilled in the art based on the description of the present invention.
이상 본 발명에 대하여 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서 상술한 실시 예에 한정되지 않고, 본 발명은 이하의 특허청구범위의 범위 내의 모든 실시 예들을 포함한다고 할 것이다.Although the present invention has been described with reference to the embodiments above, it is understood that those of ordinary skill in the relevant technical field can variously modify and change the present invention without departing from the spirit and scope of the present invention. You can understand. Therefore, it is not limited to the above-described embodiments, and the present invention will be said to include all embodiments within the scope of the following claims.
Claims (7)
Translated fromKorean상기 원본 영상을 복수의 영역으로 나누어 각 영역별로 상기 검출된 에지가 차량 번호판에 매칭될 가능성을 판단하고, 매칭 가능성이 소정의 값보다 낮은 영역을 제거하는 단계;
상기 원본 영상 중 남아 있는 영상 영역을 다시 복수의 영역으로 나누어 차량 번호판에 매칭될 가능성을 판단하고, 매칭 가능성이 소정의 값보다 낮은 영역을 제거하는 단계;
매칭 가능성이 소정의 값보다 낮은 영역을 반복하여 제거한 결과 차량 번호판 영역 후보가 남게 되면, 숫자 인식을 통해 차량 번호가 포함되어 있는지 확인하는 단계; 및
상기 숫자 인식 결과 차량 번호판이라고 판단되면, 상기 차량 번호판 영역을 마스킹 처리하는 단계를 포함하는 실시간 영상에서의 마스킹 방법.Detecting an edge in the original image;
Dividing the original image into a plurality of regions, determining a possibility that the detected edge will match the vehicle license plate for each region, and removing regions having a lower matching probability than a predetermined value;
Dividing the remaining image region of the original image into a plurality of regions, determining a possibility of matching with the vehicle license plate, and removing regions having a matching probability lower than a predetermined value;
Determining whether a vehicle number is included through number recognition when a vehicle license plate region candidate remains as a result of repeatedly removing regions having a matching probability lower than a predetermined value; And
And masking the vehicle license plate area if it is determined that the number is a vehicle license plate as a result of the number recognition.
상기 원본 영상이 입력되면 RGB 색 공간을 YUV 색 공간으로 변환하는 단계;
상기 차량 번호판이 갖는 색을 강조하기 위해 YUV 색 공간 중 U 성분 또는 V 성분에 가중치를 부여하는 단계; 및
가중치가 부여된 U 성분 또는 V 영상에서 차량 번호판으로 추정되는 영역을 추출하는 단계를 더 포함하고,
상기 차량 번호판으로 추정되는 영역에 대하여 숫자 인식을 통해 차량 번호가 포함되어 있는지 확인하는 것을 특징으로 하는 실시간 영상에서의 마스킹 방법.The method of claim 1,
Converting an RGB color space into a YUV color space when the original image is input;
Assigning a weight to a U component or a V component in a YUV color space to emphasize the color of the vehicle license plate; And
Further comprising the step of extracting a region estimated as the vehicle license plate from the weighted U component or V image,
The masking method in a real-time image, characterized in that it checks whether the vehicle number is included in the area estimated to be the vehicle license plate through number recognition.
상기 원본 영상의 이전의 이미지 프레임과 현재의 이미지 프레임을 비교하여 새로운 객체를 검출하는 단계;
상기 검출된 새로운 객체의 이미지 영역을 흑백 이미지로 변환하는 단계;
상기 변환된 흑백 이미지를 히스토그램 균등화하는 단계;
상기 히스토그램 균등화된 이미지를 블록별로 분해하여 블록별 그래디언트를 산출하는 단계;
사전에 저장된 얼굴 이미지의 블록별 그래디언트 패턴을 상기 산출된 블록별 그래디언트 패턴과 비교하여 상기 현재 이미지 프레임 내의 얼굴 이미지를 인식하는 단계; 및
상기 인식된 얼굴 이미지를 마스킹 처리하는 단계를 포함하는 실시간 영상에서의 마스킹 방법.The method of claim 1,
Detecting a new object by comparing a previous image frame of the original image with a current image frame;
Converting the detected image area of the new object into a black and white image;
Equalizing the converted black-and-white image histogram;
Decomposing the histogram equalized image for each block to calculate a gradient for each block;
Recognizing a face image in the current image frame by comparing a gradient pattern for each block of the previously stored face image with the calculated gradient pattern for each block; And
Masking method in a real-time image comprising the step of masking the recognized face image.
사람의 얼굴을 인식하는 얼굴 인식부;
상기 인식된 차량의 번호판과 상기 인식된 얼굴을 마스킹하는 마스킹부를 포함하고,
상기 번호판 인식부는,
원본 영상이 입력되면 에지를 검출하는 에지 검출부;
상기 원본 영상을 복수의 영역으로 나누어 각 영역별로 상기 검출된 에지가 상기 차량의 번호판에 매칭될 가능성을 판단하고, 매칭 가능성이 소정의 제1 임계값보다 낮은 영역을 제거하고, 상기 원본 영상 중 남아 있는 영상 영역을 다시 복수의 영역으로 나누어 차량 번호판에 매칭될 가능성을 판단하고, 매칭 가능성이 소정의 제2 임계값보다 낮은 영역을 제거하여 상기 차량의 번호판 영역 후보를 검출하는 비후보 영역 제거부; 및
상기 비후보 영역 제거부가 검출한 상기 차량의 번호판 영역 후보로부터 숫자를 인식하는 숫자 인식부를 포함하고,
상기 마스킹부는 상기 숫자 인식부가 숫자를 인식한 상기 차량의 번호판 영역 후보에 대해 마스킹을 하는 것을 특징으로 하는 실시간 영상에서의 마스킹 장치.License plate recognition unit for recognizing the license plate of the vehicle;
A face recognition unit that recognizes a person's face;
And a masking unit for masking the recognized vehicle license plate and the recognized face,
The license plate recognition unit,
An edge detector configured to detect an edge when an original image is input;
Dividing the original image into a plurality of regions to determine the probability that the detected edge will match the license plate of the vehicle for each region, remove the region having a matching probability lower than a predetermined first threshold, and remain among the original images. A non-candidate area removal unit that divides the existing image area into a plurality of areas to determine a possibility of matching the vehicle license plate, and removes an area having a matching possibility lower than a predetermined second threshold value to detect a license plate area candidate of the vehicle; And
A number recognition unit for recognizing a number from the candidate license plate area of the vehicle detected by the non-candidate area removing unit,
And the masking unit masks a license plate area candidate of the vehicle for which the number recognition unit recognizes a number.
상기 번호판 인식부는,
상기 원본 영상이 입력되면 RGB 색 공간을 YUV 색 공간으로 변환하는 색공간 변환부;
차량 번호판이 갖는 색을 강조하기 위해 YUV 색 공간 중 U 채널 영상과 V 채널 영상에 대한 가중치를 부여하는 가중치 부여부; 및
가중치가 부여된 U 채널 영상 또는 V 채널 영상으로부터 차량 번호판으로 추정되는 영역을 추출하는 영역 추출부를 더 포함하고,
상기 숫자 인식부는 상기 영역 추출부가 추출한 차량 번호판으로 추정되는 영역에 대하여 숫자를 인식하고,
상기 마스킹부는 상기 숫자 인식부가 숫자를 인식한 차량 번호판으로 추정되는 영역에 대해 마스킹을 하는 것을 특징으로 하는 실시간 영상에서의 마스킹 장치.The method of claim 4,
The license plate recognition unit,
A color space conversion unit converting an RGB color space into a YUV color space when the original image is input;
A weighting unit for assigning weights to the U-channel image and the V-channel image in the YUV color space in order to emphasize the color of the vehicle license plate; And
Further comprising a region extracting unit for extracting a region estimated as the vehicle license plate from the weighted U channel image or V channel image,
The number recognition unit recognizes a number for an area estimated to be the vehicle license plate extracted by the area extraction unit,
And the masking unit masks an area estimated to be a vehicle license plate in which the number recognition unit recognizes a number.
상기 얼굴 인식부는,
이전의 이미지 프레임과 현재의 이미지 프레임을 비교하여 새로운 객체를 검출하는 객체 검출부;
상기 검출된 새로운 객체의 이미지 영역을 흑백 이미지로 변환하는 흑백이미지 변환부;
상기 변환된 흑백 이미지를 히스토그램 균등화하는 히스토그램 균등화부;
상기 히스토그램 균등화된 이미지를 블록별로 분해하여 블록별 그래디언트를 산출하는 그래디언트 산출부; 및
사전에 저장된 얼굴 이미지의 블록별 그래디언트 패턴을 상기 산출된 블록별 그래디언트 패턴과 비교하여 상기 현재 이미지 프레임 내의 얼굴 이미지를 인식하는 얼굴이미지 인식부를 포함하고,
상기 마스킹부는 상기 얼굴이미지 인식부가 인식한 얼굴 이미지를 마스킹하는 것을 특징으로 하는 실시간 영상에서의 마스킹 장치.The method of claim 4,
The face recognition unit,
An object detection unit detecting a new object by comparing a previous image frame with a current image frame;
A black and white image conversion unit converting the detected image area of the new object into a black and white image;
A histogram equalization unit that equalizes the converted black-and-white image;
A gradient calculator for calculating a gradient for each block by decomposing the histogram equalized image for each block; And
Comprising a face image recognition unit for recognizing a face image in the current image frame by comparing a gradient pattern for each block of the face image stored in advance with the calculated gradient pattern for each block,
The masking unit in a real-time image, characterized in that the masking unit masks the face image recognized by the face image recognition unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190055197AKR102212358B1 (en) | 2019-05-10 | 2019-05-10 | Apparatus and method of masking some privacy areas of video in real time |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190055197AKR102212358B1 (en) | 2019-05-10 | 2019-05-10 | Apparatus and method of masking some privacy areas of video in real time |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200129981Atrue KR20200129981A (en) | 2020-11-18 |
| KR102212358B1 KR102212358B1 (en) | 2021-02-04 |
Family
ID=73697636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190055197AActiveKR102212358B1 (en) | 2019-05-10 | 2019-05-10 | Apparatus and method of masking some privacy areas of video in real time |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102212358B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230168102A (en)* | 2022-06-03 | 2023-12-12 | 주식회사 넷온 | Artificial Intelligence Video Surveillance Apparatus that can De-identify Personal Information in Real Time |
| KR20230168101A (en)* | 2022-06-03 | 2023-12-12 | 주식회사 넷온 | Artificial Intelligence Image Monitoring Apparatus for Minimizing Invasion of Privacy in Nursing Homes |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110070735A (en)* | 2009-12-18 | 2011-06-24 | 한국전자통신연구원 | Method and apparatus for privacy masking of images |
| KR20160078561A (en)* | 2014-12-24 | 2016-07-05 | 전자부품연구원 | Real Time Image Recognition Method in Low Performance Video Device |
| WO2016207875A1 (en)* | 2015-06-22 | 2016-12-29 | Photomyne Ltd. | System and method for detecting objects in an image |
| KR101848019B1 (en)* | 2016-12-27 | 2018-04-11 | 아주대학교산학협력단 | Method and Apparatus for Detecting Vehicle License Plate by Detecting Vehicle Area |
- 2019
- 2019-05-10KRKR1020190055197Apatent/KR102212358B1/enactiveActive
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110070735A (en)* | 2009-12-18 | 2011-06-24 | 한국전자통신연구원 | Method and apparatus for privacy masking of images |
| KR20160078561A (en)* | 2014-12-24 | 2016-07-05 | 전자부품연구원 | Real Time Image Recognition Method in Low Performance Video Device |
| WO2016207875A1 (en)* | 2015-06-22 | 2016-12-29 | Photomyne Ltd. | System and method for detecting objects in an image |
| KR101848019B1 (en)* | 2016-12-27 | 2018-04-11 | 아주대학교산학협력단 | Method and Apparatus for Detecting Vehicle License Plate by Detecting Vehicle Area |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230168102A (en)* | 2022-06-03 | 2023-12-12 | 주식회사 넷온 | Artificial Intelligence Video Surveillance Apparatus that can De-identify Personal Information in Real Time |
| KR20230168101A (en)* | 2022-06-03 | 2023-12-12 | 주식회사 넷온 | Artificial Intelligence Image Monitoring Apparatus for Minimizing Invasion of Privacy in Nursing Homes |
| KR20230168103A (en)* | 2022-06-03 | 2023-12-12 | 주식회사 넷온 | Artificial Intelligence Video Surveillance Apparatus that can Optionally De-identify Personal Information |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102212358B1 (en) | 2021-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7978917B2 (en) | Method and system for processing video data including foreground extraction | |
| Jung | Efficient background subtraction and shadow removal for monochromatic video sequences | |
| US20060029265A1 (en) | Face detection method based on skin color and pattern match | |
| US9563821B2 (en) | Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm | |
| WO2020130799A1 (en) | A system and method for licence plate detection | |
| Jagannathan et al. | License plate character segmentation using horizontal and vertical projection with dynamic thresholding | |
| Huerta et al. | Chromatic shadow detection and tracking for moving foreground segmentation | |
| JP2005190474A (en) | A method of classifying pixels in an image, a method of processing an image signal, a method of detecting skin using the method, using data derived using the method, encoding, transmitting, receiving, Alternatively, a method and apparatus configured to decode, an apparatus configured to perform the method, a computer program for executing the method, and a computer-readable storage medium storing the computer program | |
| KR102212358B1 (en) | Apparatus and method of masking some privacy areas of video in real time | |
| EP3543954B1 (en) | Method of processing a video | |
| US11113537B2 (en) | Image detection using multiple detection processes | |
| KR101875891B1 (en) | apparatus and method for face detection using multi detection | |
| KR20150094165A (en) | Method and apparatus for character segmentation of license plate | |
| KR100828183B1 (en) | Eye Region Extractor and Extraction Method Using Adaboost and SVM Learning Classifier | |
| Zangana | A New Skin Color Based Face Detection Algorithm by Combining Three Color Model Algorithms | |
| KR20170131812A (en) | Method for processing image and apparatus for executing the method | |
| Xie et al. | Robust vehicles extraction in a video-based intelligent transportation systems | |
| KR20190143525A (en) | A Method of Detecting Character Data through a Adaboost Learning Method | |
| KR102257883B1 (en) | Face Recognition Apparatus and Method | |
| KR102326185B1 (en) | Apparatus and method of matching faces using a deep learning | |
| Ukani et al. | An accurate method for license plate localization using morphological operations and edge processing | |
| Jia et al. | Design flow of vehicle license plate reader based on RGB color extractor | |
| Ouivirach et al. | Extracting the object from the shadows: Maximum likelihood object/shadow discrimination | |
| Kumar et al. | Performance analysis of color space for optimum skin color detection | |
| KR101748083B1 (en) | Method and Apparatus for Vehicle Recognition using Ramp of Automobile in Grayscale Video of Night Scene |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | Patent event code:PA01091R01D Comment text:Patent Application Patent event date:20190510 | |
| PA0201 | Request for examination | ||
| PA0302 | Request for accelerated examination | Patent event date:20190520 Patent event code:PA03022R01D Comment text:Request for Accelerated Examination Patent event date:20190510 Patent event code:PA03021R01I Comment text:Patent Application | |
| PE0902 | Notice of grounds for rejection | Comment text:Notification of reason for refusal Patent event date:20190916 Patent event code:PE09021S01D | |
| PN2301 | Change of applicant | Patent event date:20191206 Comment text:Notification of Change of Applicant Patent event code:PN23011R01D | |
| PE0902 | Notice of grounds for rejection | Comment text:Final Notice of Reason for Refusal Patent event date:20200525 Patent event code:PE09021S02D | |
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration | Patent event code:PE07011S01D Comment text:Decision to Grant Registration Patent event date:20201029 | |
| PG1501 | Laying open of application | ||
| PR0701 | Registration of establishment | Comment text:Registration of Establishment Patent event date:20210129 Patent event code:PR07011E01D | |
| PR1002 | Payment of registration fee | Payment date:20210129 End annual number:3 Start annual number:1 | |
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee | Payment date:20240117 Start annual number:4 End annual number:4 |