KR20200131424A - Image processing apparatus and method by Semantic Segmentation - Google Patents

Abstract

Translated fromKorean

영상에서 희망하는 특정 피사체를 보다 정확하게 분할해 낼 수 있도록 하는 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 장치 및 방법을 제시한다. 제시된 장치는 입력 영상에서 분할된 객체 영역을 근거로 마커를 생성하는 마커 생성부, 객체 영역을 근거로 아우터를 생성하는 아우터 생성부, 마커와 아우터를 합성하되 입력 영상에 마커를 배치하고 마커의 바깥으로 아우터를 배치시키는 합성부, 및 마커와 아우터의 사이에서 영역 기반 세그멘테이션을 통해 분할해내고자 하는 객체의 실제 에지 라인을 추출해 내고 이를 근거로 해당 객체를 분할해 내는 분할 조정부를 포함한다.We present an image processing apparatus and method using artificial intelligence image recognition semantic segmentation that enables a specific object desired in an image to be more accurately segmented. The proposed device is a marker generation unit that generates a marker based on the object area divided from the input image, an outer generation unit that generates an outer based on the object area, and synthesizes the marker and the outer. And a segmentation control unit that extracts the actual edge line of the object to be segmented through area-based segmentation between the marker and the outer, and divides the object based on this.

Description

Translated fromKorean

인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 장치 및 방법{Image processing apparatus and method by Semantic Segmentation}An image processing apparatus and method using artificial intelligence image recognition semantic segmentation TECHNICAL FIELD [Image processing apparatus and method by Semantic Segmentation]

본 발명은 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 인공지능 영상 인식 및 분할 알고리즘인 시맨틱 세그멘테이션(semantic segmentation)을 이용하는 영상 처리 장치 및 방법에 관한 것이다.The present invention relates to an image processing apparatus and method using artificial intelligence image recognition semantic segmentation, and more particularly, to an image processing apparatus and method using semantic segmentation, which is an artificial intelligence image recognition and segmentation algorithm.

인공지능 영상 인식 및 분할을 위하여 사용되는 시맨틱 세그멘테이션(semantic segmentation)은 이미지의 모든 픽셀에 레이블 또는 카테고리를 연관 짓는 딥러닝 알고리즘(즉, "인공지능 영상 인식 및 분할 알고리즘"이라 함)이다.Semantic segmentation used for artificial intelligence image recognition and segmentation is a deep learning algorithm that associates a label or category with all pixels of an image (that is, referred to as "artificial intelligence image recognition and segmentation algorithm").

이러한 시맨틱 세그멘테이션은 입력 영상의 인물, 사물, 배경 등의 분류 및 분할을 수행한다.This semantic segmentation classifies and divides a person, an object, and a background of an input image.

그리고, 시맨틱 세그멘테이션에 의해 분할된 특정 피사체 또는 특정 피사체 이외의 영역(예컨대, 배경 등)을 합성하거나 이들에게 특수 효과를 부가할 수 있다.In addition, a specific subject divided by semantic segmentation or an area other than a specific subject (eg, a background) may be synthesized or a special effect may be added to them.

그런데, 시맨틱 세그멘테이션은 예측(prediction)에 의한 분할이기 때문에 원하는 특정 피사체를 정확하게 분할할 수 없다.However, since semantic segmentation is segmentation by prediction, a desired specific subject cannot be accurately segmented.

예를 들어, 도 1에서와 같은 원본 영상에서 사람을 특정 피사체로 하여 분할하기 위해 종래의 시맨틱 세그멘테이션을 수행하게 되면 도 2에서와 같은 객체 영역(1)(예컨대, 한쪽 귀부분이 제외됨)을 분할해 낸다. 이와 같이 분할된 객체 영역(1)을 다른 배경과 합성하게 되면 도 3과 같이 부자연스러운 결과물을 얻게 된다.For example, when conventional semantic segmentation is performed to segment a person into a specific subject in the original image as in FIG. 1, the object region 1 (eg, one ear is excluded) as in FIG. Do it. When the dividedobject area 1 is synthesized with another background, an unnatural result is obtained as shown in FIG. 3.

다시 말해서, 종래의 시맨틱 세그멘테이션을 수행하게 되면 특정 피사체(사람)의 실제 에지 라인을 정확하게 추출하여 분할하는 것이 아니라 특정 피사체의 외곽을 두리뭉실하게 설정하여 객체 영역(1)으로 만든다. 이로 인해, 객체 영역(1)을 소정의 배경과 합성하게 되면 도 3과 같은 부자연스러운 결과물을 얻을 수 밖에 없다.In other words, when the conventional semantic segmentation is performed, the actual edge line of a specific subject (person) is not accurately extracted and segmented, but the outer periphery of a specific subject is set to be an object region (1). For this reason, when theobject region 1 is synthesized with a predetermined background, an unnatural result as shown in FIG. 3 is inevitably obtained.

선행기술 1 : 대한민국 등록특허 제10-0968244호(영상에서 특정 피사체를 인식하는 시스템 및 방법)Prior Art 1: Korean Patent Registration No. 10-0968244 (System and method for recognizing a specific subject in an image)선행기술 2 : 대한민국 등록특허 제10-1507662호(비디오 내 객체들의 시맨틱 파싱)Prior Art 2: Korean Patent Registration No. 10-1507662 (Semantic parsing of objects in video)

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 영상에서 희망하는 특정 피사체를 보다 정확하게 분할해 낼 수 있도록 하는 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 장치 및 방법을 제공함에 그 목적이 있다.The present invention has been proposed in order to solve the above-described problems in the related art, and an object of the present invention is to provide an image processing apparatus and method using artificial intelligence image recognition semantic segmentation that enables a specific object desired in an image to be more accurately segmented. have.

상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 장치는, 입력 영상에서 분할된 객체 영역을 근거로 마커를 생성하는 마커 생성부; 상기 객체 영역을 근거로 아우터를 생성하는 아우터 생성부; 상기 마커와 아우터를 합성하되, 상기 입력 영상에 상기 마커를 배치하고 상기 마커의 바깥으로 상기 아우터를 배치시키는 합성부; 및 상기 마커와 상기 아우터의 사이에서 영역 기반 세그멘테이션을 통해 분할해내고자 하는 객체의 실제 에지 라인을 추출해 내고, 이를 근거로 해당 객체를 분할해 내는 분할 조정부;를 포함한다.In order to achieve the above object, an image processing apparatus using artificial intelligence image recognition semantic segmentation according to a preferred embodiment of the present invention includes: a marker generator that generates a marker based on an object region divided from an input image; An outer generating unit generating an outer based on the object area; A synthesizing unit for synthesizing the marker and the outer, arranging the marker on the input image and placing the outer outside the marker; And a segmentation adjustment unit that extracts an actual edge line of an object to be segmented between the marker and the outer through region-based segmentation, and divides the object based on this.

상기 마커 생성부는, 기설정된 제 1 스케일링값을 근거로 상기 객체 영역을 스케일 다운하여 마커를 생성할 수 있다.The marker generator may generate a marker by scaling down the object area based on a preset first scaling value.

상기 마커는 상기 분할된 객체 영역이 차지하는 영역보다 작은 영역으로서, 상기 분할된 객체 영역의 내부에 포함될 수 있다.The marker is an area smaller than an area occupied by the divided object area, and may be included in the divided object area.

상기 아우터 생성부는, 기설정된 제 2 스케일링값을 근거로 상기 객체 영역을 스케일 업하여 아우터를 생성할 수 있다.The outer generating unit may generate an outer by scaling up the object area based on a preset second scaling value.

상기 아우터는 상기 객체 영역을 중심으로 상기 객체 영역의 바깥 주변을 지나는 외곽선일 수 있다.The outer may be an outline passing through the outer periphery of the object area around the object area.

상기 분할 조정부는, 상기 아우터의 이내로 영역 기반 세그멘테이션의 범위를 제한할 수 있다.The division adjustment unit may limit a range of region-based segmentation within the outer.

한편, 본 발명의 바람직한 실시양태에 따른 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 방법은, 마커 생성부가 입력 영상에서 분할된 객체 영역을 근거로 마커를 생성하고, 아우터 생성부가 상기 객체 영역을 근거로 아우터를 생성하는 단계; 합성부가, 상기 마커와 아우터를 합성하되, 상기 입력 영상에 상기 마커를 배치하고 상기 마커의 바깥으로 상기 아우터를 배치시키는 단계; 및 분할 조정부가, 상기 마커와 상기 아우터의 사이에서 영역 기반 세그멘테이션을 통해 분할해내고자 하는 객체의 실제 에지 라인을 추출해 내고, 이를 근거로 해당 객체를 분할해 내는 단계;를 포함한다.Meanwhile, in the image processing method using artificial intelligence image recognition semantic segmentation according to a preferred embodiment of the present invention, a marker generation unit generates a marker based on an object area divided from an input image, and an outer generation unit generates a marker based on the object area. Generating an outer; Synthesizing, by a synthesizing unit, the marker and the outer, placing the marker on the input image and placing the outer outside the marker; And extracting an actual edge line of the object to be divided between the marker and the outer through area-based segmentation, and dividing the corresponding object based on this.

이러한 구성의 본 발명에 따르면, 영상에서 희망하는 특정 피사체를 보다 정확하게 인식하여 분할해 낼 수 있으므로, 인공지능 영상 인식 및 분할 알고리즘인 시맨틱 세그멘테이션(semantic segmentation)의 정확성 저하로 인한 문제점을 해결할 수 있다.According to the present invention having such a configuration, since it is possible to more accurately recognize and segment a specific subject desired in an image, it is possible to solve a problem caused by a decrease in accuracy of semantic segmentation, which is an artificial intelligence image recognition and segmentation algorithm.

도 1 내지 도 3은 종래의 시맨틱 세그멘테이션의 문제점을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 장치의 구성도이다.
도 5는 도 4에 도시된 마커 생성부에 의한 마커의 일 예를 예시한 도면이다.
도 6은 도 4에 도시된 아우터 생성부에 의한 아우터의 일 예를 예시한 도면이다.
도 7은 도 4에 도시된 합성부에 의한 마커와 아우터의 합성예를 예시한 도면이다.
도 8은 도 4에 도시된 분할 조정부에 의한 결과물의 일 예를 예시한 도면이다.
도 9는 본 발명의 실시예에 따른 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 방법을 설명하기 위한 플로우차트이다.
도 10은 본 발명의 실시예에 따른 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 방법에 의한 결과물을 임의의 배경과 합성한 예를 예시한 도면이다.1 to 3 are diagrams for explaining a problem of conventional semantic segmentation.
4 is a block diagram of an image processing apparatus using artificial intelligence image recognition semantic segmentation according to an embodiment of the present invention.
5 is a diagram illustrating an example of a marker by the marker generator shown in FIG. 4.
6 is a diagram illustrating an example of an outer by the outer generating unit shown in FIG. 4.
7 is a diagram illustrating an example of synthesizing a marker and an outer by the synthesizing unit shown in FIG.
8 is a diagram illustrating an example of a result of the division adjustment unit shown in FIG. 4.
9 is a flowchart illustrating an image processing method using artificial intelligence image recognition semantic segmentation according to an embodiment of the present invention.
10 is a diagram illustrating an example of synthesizing a result of an image processing method using artificial intelligence image recognition semantic segmentation with an arbitrary background according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.However, this is not intended to limit the present invention to a specific embodiment, it is to be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this application. Does not.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the accompanying drawings. In describing the present invention, the same reference numerals are used for the same components in the drawings in order to facilitate the overall understanding, and duplicate descriptions of the same components are omitted.

도 4는 본 발명의 실시예에 따른 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 장치의 구성도이고, 도 5는 도 4에 도시된 마커 생성부에 의한 마커의 일 예를 예시한 도면이고, 도 6은 도 4에 도시된 아우터 생성부에 의한 아우터의 일 예를 예시한 도면이고, 도 7은 도 4에 도시된 합성부에 의한 마커와 아우터의 합성예를 예시한 도면이고, 도 8은 도 4에 도시된 분할 조정부에 의한 결과물의 일 예를 예시한 도면이다.FIG. 4 is a block diagram of an image processing apparatus using artificial intelligence image recognition semantic segmentation according to an embodiment of the present invention, and FIG. 5 is a diagram illustrating an example of a marker by the marker generator shown in FIG. 4, and FIG. 6 is a diagram illustrating an example of an outer by the outer generating unit illustrated in FIG. 4, FIG. 7 is a diagram illustrating an example of combining a marker and an outer by the synthesis unit illustrated in FIG. 4, and FIG. 8 is It is a diagram illustrating an example of a result of the division adjustment unit shown in FIG.

본 발명의 실시예에 따른 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 장치는, 촬영부(10), 객체 영역 분할부(12), 마커 생성부(14), 아우터 생성부(16), 합성부(18), 및 분할 조정부(20)를 포함한다.An image processing apparatus using artificial intelligence image recognition semantic segmentation according to an embodiment of the present invention includes a photographingunit 10, an objectregion dividing unit 12, amarker generation unit 14, anouter generation unit 16, and a synthesis unit. (18), and adivision adjustment unit 20.

촬영부(10)는 촬영 대상을 촬영한다.The photographingunit 10 photographs a photographing object.

객체 영역 분할부(12)는 촬영부(10)로부터의 입력 영상에서 희망하는 객체 영역(피사체 영역이라고도 할 수 있음)을 분할한다.The objectregion dividing unit 12 divides a desired object region (also referred to as a subject region) from the input image from the photographingunit 10.

이때, 객체 영역 분할부(12)는 통상의 시맨틱 세그멘테이션을 이용하여 입력 영상에서 분할하고자 하는 객체(사람 또는 사물)가 포함된 영역을 분할할 수 있다. 필요에 따라, 입력 영상은 프리뷰(preview) 영상으로 구성될 수 있다.In this case, the objectregion dividing unit 12 may divide a region including an object (person or object) to be segmented from the input image using conventional semantic segmentation. If necessary, the input image may be configured as a preview image.

이와 같이 하면 객체 영역 분할부(12)는 해당 객체(예컨대, 사람 또는 사물)의 실제 에지 라인을 따라 분할한 것이 아니라 해당 객체(피사체)의 외곽을 두리뭉실하게 분할한 객체 영역에 대한 정보를 출력할 수 있다.In this way, the objectregion dividing unit 12 outputs information on the object region in which the outer edge of the object (subject) is not divided along the actual edge line of the object (for example, a person or object). can do.

예를 들어, 도 1과 같은 입력 영상에서 사람이 차지하는 영역을 분할한다고 하였을 경우, 객체 영역 분할부(12)는 도 2에서와 같은 객체 영역(1)을 분할해 낸다.For example, when it is assumed that an area occupied by a person in the input image shown in FIG. 1 is divided, the objectarea division unit 12 divides theobject area 1 as shown in FIG. 2.

마커 생성부(14)는 객체 영역 분할부(12)에서 분할된 객체 영역(1)에 대하여 스케일 다운(scale-down)을 실시하여 소정의 마커(marker)(30)를 생성한다.Themarker generator 14 generates apredetermined marker 30 by performing a scale-down on theobject region 1 divided by the objectregion dividing unit 12.

이때, 마커 생성부(14)는 기설정된 제 1 스케일링값을 근거로 객체 영역(1)에 대한 스케일 다운을 실시한다.At this time, themarker generation unit 14 scales down theobject area 1 based on a preset first scaling value.

마커 생성부(14)에 의해 생성된 마커(30)는 도 5에서와 같이 분할된 객체 영역(1)이 차지하는 영역보다 작은 영역으로서, 분할된 객체 영역(1)내에 완전히 포함된다.Themarker 30 generated by themarker generation unit 14 is an area smaller than the area occupied by the dividedobject area 1 as shown in FIG. 5 and is completely contained within the dividedobject area 1.

아우터 생성부(16)는 객체 영역 분할부(12)에서 분할된 객체 영역(1)에 대하여 스케일 업(scale-up)을 실시하여 아우터(outer)(32)를 생성한다.Theouter generating unit 16 generates an outer 32 by performing scale-up on theobject region 1 divided by the objectregion dividing unit 12.

이때, 아우터 생성부(16)는 기설정된 제 2 스케일링값을 근거로 객체 영역(1)에 대한 스케일 업을 실시한다.In this case, theouter generation unit 16 scales up theobject area 1 based on a preset second scaling value.

아우터 생성부(16)에 의해 생성된 아우터(32)는 도 6에서와 같이 분할된 객체 영역(1)을 중심으로 객체 영역(1)의 바깥 주변을 지나는 외곽선이다. 여기서, 아우터(32)는 추후 분할 조정부(20)의 세그멘테이션의 범위를 제한하기 위해 사용될 것이다.The outer 32 generated by theouter generating unit 16 is an outline passing through the outer periphery of theobject area 1 with the dividedobject area 1 as the center as shown in FIG. 6. Here, the outer 32 will be used to limit the segmentation range of thedivision adjustment unit 20 in the future.

합성부(18)는 마커 생성부(14)에 의해 생성된 마커(30)와 아우터 생성부(16)에 의해 생성된 아우터(32)를 합성한다.Thesynthesis unit 18 synthesizes themarker 30 generated by themarker generation unit 14 and the outer 32 generated by theouter generation unit 16.

즉, 합성부(18)는 도 7에서와 같이 입력 영상에 마커(30)를 배치하고 마커(30)의 바깥으로 아우터(32)가 위치하도록 배치시킨다. 예를 들어, 합성부(18)는 마커 생성부(14)로부터의 제 1 스케일링값 및 아우터 생성부(16)로부터의 제 2 스케일링값을 근거로 마커(30) 및 아우터(32)의 위치를 파악할 수 있으므로, 마커(30) 및 아우터(32)를 충분히 제위치에 배치시킬 수 있다.That is, as shown in FIG. 7, thesynthesis unit 18 arranges themarker 30 on the input image and arranges the outer 32 to be positioned outside themarker 30. For example, thesynthesis unit 18 determines the positions of themarkers 30 and the outer 32 based on the first scaling value from themarker generation unit 14 and the second scaling value from theouter generation unit 16. Since it can be grasped, themarker 30 and the outer 32 can be sufficiently placed in place.

분할 조정부(20)는 마커(30)와 아우터(32)의 사이에서 영역 기반 세그멘테이션을 통해 분할해내고자 하는 객체의 실제 에지(edge) 라인을 추출해 내고, 이를 근거로 해당 객체를 분할해 낸다. 그에 따라, 분할 조정부(20)는 도 8에 예시된 바와 같이 객체의 실제 에지 라인(34)을 추출해 낼 수 있고, 실제 에지 라인내의 객체를 분할해 낼 수 있다.Thedivision adjustment unit 20 extracts an actual edge line of the object to be divided between themarker 30 and the outer 32 through area-based segmentation, and divides the object based on this. Accordingly, thedivision control unit 20 can extract theactual edge line 34 of the object, as illustrated in FIG. 8, and can divide the object in the actual edge line.

여기서, 영역 기반 세그멘테이션은 영상 또는 이미지에서 특정 기준점(즉, 마커(30))의 픽셀로부터 동일한 의미(색상 또는 음영이 거의 같음)를 가진 주변의 영상 범위까지 픽셀을 점점 확장해 나가면서 세그멘테이션을 나누는 방법이다. 즉, 영역 기반 세그멘테이션은 동일 영역은 색상, 잘감, 음영 등이 유사하다라는 영상의 특성을 이용한 것이다. 객체 사이의 에지(edge)에서 화소의 변화가 심하기 때문에 영역 기반 세그멘테이션을 행하게 되면 객체의 실제 에지 라인(34)을 추출할 수 있다. 이때, 세그멘테이션의 범위는 아우터(32) 이내로 제한된다.Here, the region-based segmentation divides the segmentation by gradually expanding the pixels from the pixels of a specific reference point (i.e., the marker 30) in the image or image to the surrounding image range having the same meaning (color or shade is almost the same). That's the way. In other words, the region-based segmentation uses the characteristics of an image that the same region has similar colors, senses, and shades. Since the pixel changes at the edges between objects severely, when region-based segmentation is performed, theactual edge line 34 of the object can be extracted. At this time, the segmentation range is limited within the outer 32.

필요에 따라, 상술한 제 1 스케일링값 및 제 2 스케일링값은 조정가능하다.If necessary, the above-described first scaling value and second scaling value are adjustable.

한편, 상술한 도 4에서는 마커 생성부(14)와 아우터 생성부(16)를 개별적으로 구성시켰으나, 필요에 따라서는 마커 생성부(14)와 아우터 생성부(16)를 스케일링부로 통칭하여 표현할 수도 있다.On the other hand, in FIG. 4 described above, themarker generation unit 14 and theouter generation unit 16 are individually configured, but if necessary, themarker generation unit 14 and theouter generation unit 16 may be collectively referred to as a scaling unit. have.

도 9는 본 발명의 실시예에 따른 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 방법을 설명하기 위한 플로우차트이고, 도 10은 본 발명의 실시예에 따른 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 방법에 의한 결과물을 임의의 배경과 합성한 예를 예시한 도면이다.9 is a flowchart for explaining an image processing method using artificial intelligence image recognition semantic segmentation according to an embodiment of the present invention, and FIG. 10 is an image processing method using artificial intelligence image recognition semantic segmentation according to an embodiment of the present invention. It is a diagram illustrating an example of synthesizing the result of by with an arbitrary background.

먼저, 촬영부(10)가 촬영 대상을 촬영한다(S10).First, the photographingunit 10 photographs a photographing object (S10).

그리고, 객체 영역 분할부(12)는 촬영부(10)에서의 입력 영상에서 분할을 희망하는 객체 영역을 분할한다. 이때, 객체 영역 분할부(12)는 통상의 시맨틱 세그멘테이션을 이용하여 입력 영상에서 분할하고자 하는 사람 또는 사물이 포함된 영역을 분할한다(S20). 여기서는, 도 1과 같은 입력 영상에 대해 도 2와 같은 객체 영역(1)을 분할해 낸 것으로 가정한다.In addition, the objectregion dividing unit 12 divides an object region desired to be segmented from the input image from the photographingunit 10. In this case, the objectregion dividing unit 12 divides a region including a person or object to be segmented from the input image by using conventional semantic segmentation (S20). Here, it is assumed that theobject region 1 shown in FIG. 2 is divided from the input image shown in FIG. 1.

이어, 분할된 객체 영역(1)을 기준으로 마커 및 아우터를 생성한다(S30). 즉, 마커 생성부(14)는 객체 영역 분할부(12)에서 분할된 객체 영역(1)에 대하여 스케일 다운(scale-down)을 실시하여 마커(marker)(30)를 생성하는데, 마커 생성부(14)는 기설정된 제 1 스케일링값을 근거로 스케일 다운을 실시한다. 마커 생성부(14)에 의해 생성된 마커(30)는 도 5에서와 같이 분할된 객체 영역(1)이 차지하는 영역보다 작은 영역으로서, 분할된 객체 영역(1)내에 완전히 포함되는 영역이다.Subsequently, markers and outers are generated based on the divided object area 1 (S30).That is, themarker generation unit 14 generates amarker 30 by performing a scale-down on theobject area 1 divided by the objectarea division unit 12, and the marker generation unit (14) performs scale down based on the preset first scaling value. Themarker 30 generated by themarker generation unit 14 is an area smaller than the area occupied by the dividedobject area 1 as shown in FIG. 5, and is an area completely included in the dividedobject area 1.

또한, 아우터 생성부(16)는 객체 영역 분할부(12)에서 분할된 객체 영역(1)에 대하여 스케일 업(scale-up)을 실시하여 아우터(outer)(32)를 생성하는데, 아우터 생성부(16)는 기설정된 제 2 스케일링값을 근거로 스케일 업을 실시한다. 아우터 생성부(16)에 의해 생성된 아우터(32)는 도 6에서와 같이 분할된 객체 영역(1)을 중심으로 객체 영역(1)의 바깥 주변을 지나는 외곽선이 될 수 있다.In addition, theouter generation unit 16 generates an outer 32 by performing a scale-up on theobject area 1 divided by the objectarea division unit 12, the outer generation unit (16) performs scale-up based on the preset second scaling value. The outer 32 generated by theouter generating unit 16 may be an outline passing through the outer periphery of theobject area 1 centering on the dividedobject area 1 as shown in FIG. 6.

상술한 마커(30) 및 아우터(32)의 생성은 동시에 행해져도 되고, 순차적으로 행해져도 무방하다. 순차적으로 행해질 경우 마커(30) 생성 이후에 아우터(32) 생성이 이루어지거나, 반대로 아우터(32) 생성 이후에 마커(30) 생성이 이루어질 수 있다.The above-described generation of themarker 30 and the outer 32 may be performed simultaneously or may be performed sequentially. If performed sequentially, the outer 32 may be generated after themarker 30 is generated, or conversely, themarker 30 may be generated after the outer 32 is generated.

이후, 합성부(18)는 마커 생성부(14)에 의해 생성된 마커(30)와 아우터 생성부(16)에 의해 생성된 아우터(32)를 합성한다(S40). 즉, 합성부(18)는 도 7에서와 같이 입력 영상에 마커(30)를 배치하고 마커(30)의 바깥으로 아우터(32)가 위치하도록 배치시킨다.Thereafter, thesynthesis unit 18 synthesizes themarker 30 generated by themarker generation unit 14 and the outer 32 generated by the outer generation unit 16 (S40). That is, as shown in FIG. 7, thesynthesis unit 18 arranges themarker 30 on the input image and arranges the outer 32 to be positioned outside themarker 30.

그리고 나서, 분할 조정부(20)는 마커(30)와 아우터(32)의 사이에서 영역 기반 세그멘테이션을 통해 분할해내고자 하는 객체의 실제 에지(edge) 라인을 추출해 내고, 이를 근거로 해당 객체를 분할해 낸다(S50). 그에 따라, 분할 조정부(20)는 도 8에 예시된 바와 같이 객체의 실제 에지 라인(34)을 추출해 낼 수 있고, 실제 에지 라인내의 객체를 분할해 낼 수 있다. 이때, 세그멘테이션의 범위는 아우터(32) 이내로 제한된다.Then, the division andadjustment unit 20 extracts the actual edge line of the object to be divided between themarker 30 and the outer 32 through area-based segmentation, and divides the object based on this. Serve (S50). Accordingly, thedivision control unit 20 can extract theactual edge line 34 of the object, as illustrated in FIG. 8, and can divide the object in the actual edge line. At this time, the segmentation range is limited within the outer 32.

한편, 분할 조정부(20)에서 분할 조정된 최종 결과물을 임의의 배경과 합성하게 되면 도 10에 예시한 바와 같은 영상을 얻을 수 있게 된다. 결국, 도 10의 합성 영상을 도 3의 합성 영상과 비교하여 보면, 도 10의 합성 영상에 포함된 객체(사람)가 보다 정확하게 분할되어 합성된 것이므로 본 발명의 실시예에 따르면 시맨틱 세그멘테이션의 정확도를 보다 높일 수 있음을 알 수 있다.On the other hand, when the final result divided and adjusted by thedivision adjustment unit 20 is synthesized with an arbitrary background, an image as illustrated in FIG. 10 can be obtained. In the end, when comparing the composite image of FIG. 10 with the composite image of FIG. 3, the object (person) included in the composite image of FIG. 10 is more accurately segmented and synthesized. Therefore, according to an embodiment of the present invention, accuracy of semantic segmentation It can be seen that it can be higher.

상술한 바와 같은 본 발명의 실시예는 모바일 기기(예컨대, 스마트폰 등)에 적용될 수 있다.The embodiment of the present invention as described above can be applied to a mobile device (eg, a smartphone, etc.).

또한, 상술한 본 발명의 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 방법은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.In addition, the image processing method using the artificial intelligence image recognition semantic segmentation of the present invention described above can be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tapes, floppy disks, and optical data storage devices. In addition, the computer-readable recording medium is distributed over a computer system connected through a network, so that computer-readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes and code segments for implementing the method can be easily deduced by programmers in the art to which the present invention belongs.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, an optimal embodiment has been disclosed in the drawings and specifications. Although specific terms have been used herein, these are only used for the purpose of describing the present invention, and are not used to limit the meaning or the scope of the present invention described in the claims. Therefore, those of ordinary skill in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Accordingly, the true technical scope of the present invention should be determined by the technical spirit of the appended claims.

10 : 촬영부12 : 객체 영역 분할부
14 : 마커 생성부16 : 아우터 생성부
18 : 합성부20 : 분할 조정부10: photographing unit 12: object area division unit
14: marker generation unit 16: outer generation unit
18: synthesis unit 20: division adjustment unit

Claims (10)

Translated fromKorean

입력 영상에서 분할된 객체 영역을 근거로 마커를 생성하는 마커 생성부;
상기 객체 영역을 근거로 아우터를 생성하는 아우터 생성부;
상기 마커와 아우터를 합성하되, 상기 입력 영상에 상기 마커를 배치하고 상기 마커의 바깥으로 상기 아우터를 배치시키는 합성부; 및
상기 마커와 상기 아우터의 사이에서 영역 기반 세그멘테이션을 통해 분할해내고자 하는 객체의 실제 에지 라인을 추출해 내고, 이를 근거로 해당 객체를 분할해 내는 분할 조정부;를 포함하는 것을 특징으로 하는 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 장치.A marker generator that generates a marker based on the divided object area in the input image;
An outer generating unit generating an outer based on the object area;
A synthesizing unit for synthesizing the marker and the outer, arranging the marker on the input image and placing the outer outside the marker; And
And a segmentation adjustment unit that extracts an actual edge line of an object to be segmented between the marker and the outer through region-based segmentation, and divides the object based on this segmentation and adjustment unit. An image processing device using segmentation.청구항 1에 있어서,
상기 마커 생성부는,
기설정된 제 1 스케일링값을 근거로 상기 객체 영역을 스케일 다운하여 마커를 생성하는 것을 특징으로 하는 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 장치.The method according to claim 1,
The marker generation unit,
An image processing apparatus using artificial intelligence image recognition semantic segmentation, characterized in that the object area is scaled down based on a preset first scaling value to generate a marker.청구항 2에 있어서,
상기 마커는 상기 분할된 객체 영역이 차지하는 영역보다 작은 영역으로서, 상기 분할된 객체 영역의 내부에 포함되는 것을 특징으로 하는 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 장치.The method according to claim 2,
The marker is an area smaller than an area occupied by the divided object area, and is included in the divided object area. The image processing apparatus using artificial intelligence image recognition semantic segmentation.청구항 1에 있어서,
상기 아우터 생성부는,
기설정된 제 2 스케일링값을 근거로 상기 객체 영역을 스케일 업하여 아우터를 생성하는 것을 특징으로 하는 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 장치.The method according to claim 1,
The outer generating unit,
An image processing apparatus using artificial intelligence image recognition semantic segmentation, characterized in that the object area is scaled up based on a preset second scaling value to generate an outer.청구항 4에 있어서,
상기 아우터는 상기 객체 영역을 중심으로 상기 객체 영역의 바깥 주변을 지나는 외곽선인 것을 특징으로 하는 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 장치.The method of claim 4,
The outer is an image processing apparatus using artificial intelligence image recognition semantic segmentation, characterized in that the outer is an outline passing through the outer periphery of the object area around the object area.청구항 1에 있어서,
상기 분할 조정부는,
상기 아우터의 이내로 영역 기반 세그멘테이션의 범위를 제한하는 것을 특징으로 하는 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 장치.The method according to claim 1,
The division adjustment unit,
An image processing apparatus using artificial intelligence image recognition semantic segmentation, characterized in that limiting a range of region-based segmentation within the outer.마커 생성부가 입력 영상에서 분할된 객체 영역을 근거로 마커를 생성하고, 아우터 생성부가 상기 객체 영역을 근거로 아우터를 생성하는 단계;
합성부가, 상기 마커와 아우터를 합성하되, 상기 입력 영상에 상기 마커를 배치하고 상기 마커의 바깥으로 상기 아우터를 배치시키는 단계; 및
분할 조정부가, 상기 마커와 상기 아우터의 사이에서 영역 기반 세그멘테이션을 통해 분할해내고자 하는 객체의 실제 에지 라인을 추출해 내고, 이를 근거로 해당 객체를 분할해 내는 단계;를 포함하는 것을 특징으로 하는 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 방법.Generating a marker based on an object region divided from an input image by a marker generator, and generating an outer based on the object region by an outer generator;
Synthesizing, by a synthesizing unit, the marker and the outer, placing the marker on the input image and placing the outer outside the marker; And
And extracting an actual edge line of the object to be divided between the marker and the outer through area-based segmentation, and dividing the corresponding object based on the segmentation adjustment unit. Image processing method using image recognition semantic segmentation.청구항 7에 있어서,
상기 생성하는 단계는,
상기 마커 생성부가 기설정된 제 1 스케일링값을 근거로 상기 객체 영역을 스케일 다운하여 마커를 생성하고, 상기 아우터 생성부가 기설정된 제 2 스케일링값을 근거로 상기 객체 영역을 스케일 업하여 아우터를 생성하는 것을 특징으로 하는 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 방법.The method of claim 7,
The generating step,
The marker generation unit scales down the object area based on a preset first scaling value to generate a marker, and the outer generation unit scales up the object area based on a preset second scaling value to generate an outer. An image processing method using artificial intelligence image recognition semantic segmentation.청구항 8에 있어서,
상기 마커는 상기 분할된 객체 영역이 차지하는 영역보다 작은 영역으로서 상기 분할된 객체 영역의 내부에 포함되고,
상기 아우터는 상기 객체 영역을 중심으로 상기 객체 영역의 바깥 주변을 지나는 외곽선인 것을 특징으로 하는 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 방법.The method of claim 8,
The marker is an area smaller than an area occupied by the divided object area and is included in the divided object area,
The outer is an image processing method using artificial intelligence image recognition semantic segmentation, characterized in that the outer is an outline passing through the outer periphery of the object area around the object area.청구항 7에 있어서,
상기 분할해 내는 단계는,
상기 아우터의 이내로 영역 기반 세그멘테이션의 범위를 제한하는 것을 특징으로 하는 인공지능 영상인식 시맨틱 세그멘테이션을 이용한 영상 처리 방법.The method of claim 7,
The dividing step is,
An image processing method using artificial intelligence image recognition semantic segmentation, characterized in that limiting a range of region-based segmentation within the outer.

Images