KR20200072238A - Apparatus of character area extraction in video - Google Patents

Abstract

The present invention relates to a device for extracting a character area in a video. The device for providing a character area size graph as information for determining a character with importance in a video comprises: a character area size calculation unit calculating a character area size of a character appearing in a video; and a character area size graph generation unit generating the person region size for each character extracted by the character area size calculation unit as a character area size graph for shots of the video. Accordingly, the device may quickly and accurately analyze a video such as a movie or drama since an area occupied by the character appearing in the movie is extracted as a character area and the extracted character area is generated as a graph to automatically determine the importance of a character in the video.

Description

Translated fromKorean

동영상 내 인물 영역 추출 장치{APPARATUS OF CHARACTER AREA EXTRACTION IN VIDEO}Apparatus for extracting the area of people in a video{APPARATUS OF CHARACTER AREA EXTRACTION IN VIDEO}

본 발명은 동영상 내 인물 영역 추출 장치에 관한 것으로, 좀더 자세하게는 영화 또는 드라마와 같은 동영상에 출연하는 등장인물이 차지하는 영상 내 면적을 추출하는 장치에 관한 것이다.The present invention relates to a device for extracting a person area in a video, and more particularly, to a device for extracting an area in an image occupied by a character appearing in a video such as a movie or a drama.

영화나 드라마와 같이 다수의 등장인물이 출연하는 동영상 미디어에서 등장인물을 자동으로 추출하고, 주연 등장인물 또는 조연 등장인물을 구분하는 기술이 연구 및 개발되고 있다.Techniques for automatically extracting a character from a video media in which a number of characters appear, such as a movie or a drama, and distinguishing a main character or a supporting character are researched and developed.

그러나, 단순히 인물의 등장횟수 등을 이용하여 등장인물로 판단하고 주연 또는 조연 등장인물 등으로 추출하는 것은, 동영상 내에서 등장인물이 차지하는 면적의 크기와 관계없이 수행되고 있어, 실질적으로 등장인물이 동영상 내 차지하는 중요도를 판단하는 데 직접적인 요소인 인물 영역을 이용하여 동영상 내에서 등장인물을 추출하는 방법의 개발이 필요한 실정이다.However, simply judging as a character using the number of appearances of a character and extracting it as a main character or a supporting character is performed regardless of the size of the area occupied by the character in the video, so the character is actually a video There is a need to develop a method of extracting characters from a video using a person's area, which is a direct factor in determining the importance of my own.

대한민국 등록특허공보 제10-1658413(동영상에서의 인물 정보 추출방법 및 그 장치)Republic of Korea Registered Patent Publication No. 10-1658413 (Personal information extraction method from video and its device)

본 발명이 이루고자 하는 기술적 과제는 동영상 내 등장인물이 갖는 크기를 인물 영역으로 추출하고, 이를 각 등장인물별로 구분하여 등장인물들의 중요도 등을 자동으로 판단함으로써 동영상의 처리 효율 및 정확성을 향상하기 위한 것이다.The technical problem to be achieved by the present invention is to improve the processing efficiency and accuracy of the video by extracting the size of the characters in the video as a person's area, and classifying each character for each character to automatically determine the importance of the characters, etc. .

본 발명의 일 실시예에 따른 동영상 내 인물 영역 추출 장치는 동영상에 출연하는 등장인물의 인물 영역 크기를 추출하는 인물 영역 크기 산출부, 그리고, 상기 인물 영역 크기 산출부에서 추출한 등장인물별 인물 영역 크기를 동영상의 샷들에 대한 인물 영역 크기 그래프로 생성하는 인물 영역 크기 그래프 생성부를 포함하여, 상기 인물 영역 크기 그래프를 동영상에서 비중 있는 등장인물을 판단하는 정보로 제공한다.The apparatus for extracting a person area in a video according to an embodiment of the present invention includes a person area size calculator for extracting a person area size of a character appearing in a video, and a person area size for each character extracted by the person area size calculator Includes a person area size graph generator that generates a person area size graph for shots of a video, and provides the person area size graph as information for determining a significant character in the video.

상기 인물 영역 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 영역 크기를 산출하고 이를 누적하며, 상기 인물 영역 크기 그래프 생성부는 샷에 대한 등장인물의 인물 영역 크기 누적 값을 인물 영역 크기 그래프로 생성하는 것을 특징으로 한다.The person area size calculating unit calculates and accumulates the person area size of the characters appearing in the video for the frames included in the video shot, and the person area size graph generation unit accumulates the person area size of the characters for the shot It is characterized by generating the value as a graph of the size of a person's area.

상기 인물 영역 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 영역 크기를 산출하고 이를 프레임 수로 평균내며, 상기 인물 영역 크기 그래프 생성부는 샷에 대한 등장인물의 인물 영역 크기 평균 값을 인물 영역 크기 그래프로 생성하는 것을 특징으로 한다.The person area size calculating unit calculates the person area size of the characters appearing in the video for the frames included in the video shot, and averages it by the number of frames, and the person area size graph generating unit is the person area of the characters for the shot It is characterized in that the size average value is generated as a graph of the size of a person's area.

상기 인물 영역 크기 그래프 생성부가 적어도 두 등장인물에 대해 생성한 인물 영역 크기 그래프 중 하나의 그래프에서 다른 하나의 그래프를 차감하여 인물 영역 크기 비교 그래프로서 생성하는 인물 영역 크기 그래프 비교부를 더 포함하는 것을 특징으로 한다.The character area size graph generator further includes a person area size graph comparator that subtracts another graph from one of the person area size graphs generated by at least two characters and generates the person area size comparison graph. Is done.

상기 인물 영역 크기 그래프 비교부는 하기의 식으로부터 상기 인물 영역 크기 비교 그래프를 생성하는 것을 특징으로 한다.The person area size graph comparison unit may generate the person area size comparison graph from the following equation.

[식][expression]

(G_i(n)은 i번째 등장인물 C_i가 장면 n에 따른 인물 영역 크기 변화 그래프이고, G_j(n)은 j번째 등장인물 C_i가 장면 n에 따른 인물 영역 크기 변화 그래프로서, G'(n)은 n번째 장면에서 i번째 등장인물과 j번째 등장인물의 인물 영역 크기의 차 그래프임.)(G_i (n) is the i-th character C_i is a graph of the size change of the character area according to scene n, G_j (n) is the j-th character C_i is a graph of the size of the character region change according to the scene n, G '(n) is the difference graph of the size of the character area of the i-th character and the j-th character in the nth scene.)

상기 인물 영역 크기 그래프 비교부에서 생성한 인물 영역 크기 비교 그래프에서 인물 영역 크기의 차이 값이 0이 되는 장면을 등장인물의 중요도가 전환되는 것으로 판단하는 인물 영역 크기 그래프 판단부를 더 포함하는 것을 특징으로 한다.In the character area size comparison graph generated by the character area size graph comparison unit, further comprising a character area size graph determination unit for determining that the importance of the character is switched to a scene in which the difference value of the character area size is 0. do.

상기 인물 영역 크기 그래프 판단부는 상기 인물 영역 크기 그래프 생성부에서 생성한 인물 영역 크기 그래프로부터 인물 영역이 큰 등장인물을 동영상에서 비중 있는 등장인물로 판단하는 것을 특징으로 한다.The character area size graph determination unit is characterized in that the character area size graph generated by the person area size graph generation unit determines a character having a large character area as a weighted character in a video.

상기 동영상을 프레임, 적어도 하나의 상기 프레임이 모인 샷, 적어도 하나의 상기 샷이 모인 장면으로 각각 추출하는 영상 전처리부를 더 포함하고, 상기 인물 영역 크기 산출부에 상기 영상 전처리부로부터 상기 프레임을 전달받아 등장인물의 인물 영역 크기를 추출하는 것을 특징으로 한다.Further comprising an image pre-processing unit for extracting the video into a frame, a shot in which at least one of the frames is collected, and a scene in which at least one of the shots is collected, and receiving the frame from the image pre-processing unit in the person area size calculation unit Characterized by extracting the character area size of the characters.

이러한 특징에 따르면, 본원 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치는 동영상에 등장하는 인물이 동영상에서 차지하는 면적을 인물 영역으로서 추출하고, 이를 그래프로 생성하여 동영상 내 등장인물의 중요도를 자동으로 판단할 수 있게 되어, 영화 또는 드라마와 같은 동영상을 신속 정확하게 분석할 수 있는 효과가 있다.According to these features, the apparatus for extracting a person's area in a video according to an embodiment of the present invention extracts an area occupied by a person appearing in a video as a person's area, and generates it as a graph to automatically generate the importance of the characters in the video. As it can be judged, it has the effect of quickly and accurately analyzing a movie such as a movie or a drama.

도 1은 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치의 개략적인 구조를 나타낸 블록도이다.
도 2는 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 프레임의 등장 인물에 대한 인물 영역을 추출하는 예시를 나타낸 도면이다.
도 3은 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 등장인물별 인물 영역 크기를 장면별 숏에 대해 생성한 그래프이다.
도 4는 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 장면별 등장인물별 인물 영역 크기를 하나의 그래프 상에 나타낸 도면이다.
도 5는 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 생성하는 두 등장인물간 인물 영역 크기 비교 그래프이다.1 is a block diagram showing a schematic structure of a device for extracting a person region in a video according to an embodiment of the present invention.
2 is a diagram illustrating an example in which a person area extracting device in a video extracts a person area for a character in a frame according to an embodiment of the present invention.
FIG. 3 is a graph in which a person area extraction device in a video according to an embodiment of the present invention generates a size of a person area for each character for each scene.
FIG. 4 is a diagram illustrating a size of a person area for each character in a scene on a graph by a person area extraction device in a video according to an embodiment of the present invention.
5 is a graph showing a comparison of a person area size between two characters generated by the device for extracting a person area in a video according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains can easily practice. However, the present invention can be implemented in many different forms and is not limited to the embodiments described herein. In addition, in order to clearly describe the present invention in the drawings, parts irrelevant to the description are omitted, and like reference numerals are assigned to similar parts throughout the specification.

도 1은 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치의 개략적인 구조를 나타낸 블록도이고, 도 2는 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 프레임의 등장 인물에 대한 인물 영역을 추출하는 예시를 나타낸 도면이고, 도 3은 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 등장인물별 인물 영역 크기를 장면별 숏에 대해 생성한 그래프이고, 도 4는 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 장면별 등장인물별 인물 영역 크기를 하나의 그래프 상에 나타낸 도면이고, 도 5는 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 생성하는 두 등장인물간 인물 영역 크기 비교 그래프이다.1 is a block diagram showing a schematic structure of a device for extracting a person area in a video according to an embodiment of the present invention, and FIG. 2 is a device for extracting a person area in a video according to an embodiment of the present invention. 3 is a graph illustrating an example of extracting a character area for a person, and FIG. 3 is a graph in which a person area extraction device in a video according to an embodiment of the present invention generates a size of a person area for each character for a shot by scene, and FIG. A device for extracting a person area in a video according to an embodiment of the present invention is a diagram showing a person area size for each character on a single graph, and FIG. 5 is a device for extracting a person area in a video according to an embodiment of the present invention Is a graph comparing the size of a person's area between two characters.

본 실시예에서, 동영상 내 인물 영역 추출 장치(S)는 영상 전처리부(100), 인물 영역 처리부(200) 및 인물 영역 크기 그래프 처리부(300)를 포함하는 처리장치로서, 컴퓨터에 장착될 수 있는 프로세서 형태로 구현될 수 있다.In this embodiment, the person area extraction device S in the video is a processing device including an image preprocessingunit 100, a personarea processing unit 200, and a person area sizegraph processing unit 300, which may be mounted on a computer. It can be implemented in the form of a processor.

영상 전처리부(100)는 동영상을 프레임, 샷, 장면 단위의 영상으로 추출하는 부분으로서, 외부로부터 동영상을 처리 대상 동영상으로서 입력받을 수 있다.The image pre-processingunit 100 is a part that extracts a video as a frame, shot, or scene-based video, and may receive a video as an object to be processed from the outside.

프레임 추출부(110)는 처리 대상 동영상을 프레임 단위로 추출하여 이미지를 생성한다. 한 예에서, 영상 전처리부(100)에 입력된 처리 대상 동영상이 60프레임의 동영상인 경우, 프레임 추출부(110)는 처리 대상 동영상의 1초 구간을 60개의 프레임으로 각각 추출하도록 처리한다.Theframe extracting unit 110 extracts a video to be processed in units of frames to generate an image. In one example, when the processing target video input to the image pre-processingunit 100 is a video of 60 frames, theframe extracting unit 110 processes to extract 1 second section of the processing target video into 60 frames, respectively.

샷 추출부(120)는 처리 대상 동영상에서 샷(Shot)을 추출하는데, 이때, 프레임 추출부(110)에서 추출된 연속하는 프레임들로부터 페이드 인/페이드 아웃과 같이 구분되는 부분을 통해 샷이 구분된다.Theshot extracting unit 120 extracts a shot from a video to be processed. At this time, the shot is divided through a portion that is separated from the consecutive frames extracted by theframe extracting unit 110, such as fade in/fade out. do.

예로써, 1초 내지 10분의 동영상에서 3분 시점에서 페이드 인/페이드 아웃을 통한 샷 전환이 있을 때, 샷 추출부(120)는 프레임 추출부(110)에서 3분 시점에 형성된 복수 개의 프레임을 참고하여 해당 시점에 샷 전환이 발생한 것을 감지하여, 3분 이전과 3분 이후를 서로 다른 샷으로 추출한다.For example, when there is a shot transition through fade in/fade out at a 3 minute viewpoint in a video from 1 second to 10 minutes, theshot extraction unit 120 may include a plurality of frames formed at the 3 minute viewpoint in theframe extraction unit 110 With reference to, it detects that a shot transition has occurred at that time, and extracts 3 minutes before and 3 minutes after into different shots.

이때, 샷 추출부(120)는 추출된 샷들에 일련번호를 부여할 수 있다.At this time, theshot extraction unit 120 may assign a serial number to the extracted shots.

장면 추출부(130)는 샷 추출부(120)에서 추출한 일련의 샷들을 바탕으로, 서로 다른 장면(Scene)을 추출한다. 한 예에서, 한 샷에서 제1 등장인물이 출연하고, 연속하는 다른 샷에서 제2 등장인물이 출연하나 두 샷에서 나타나는 배경은 동일한 경우, 장면 추출부(130)는 해당 두 샷을 하나의 장면으로 추출한다.Thescene extracting unit 130 extracts different scenes based on a series of shots extracted by theshot extracting unit 120. In one example, if the first character appears in one shot, and the second character appears in another successive shot, but the backgrounds appearing in the two shots are the same, thescene extraction unit 130 displays the two shots in one scene. To extract.

장면 추출부(130)는 연속하는 샷 간의 배경 유사도를 판단하여 장면을 추출할 수 있고, 추출된 장면들에 일련번호를 부여할 수 있다.Thescene extracting unit 130 may extract a scene by determining the background similarity between successive shots, and assign a serial number to the extracted scenes.

한 예에서, 장면 추출부(130)는 샷들 간 장면으로 구분되는 지점을 선택신호 또는 입력신호로서 입력받을 수 있고, 선택신호 또는 입력신호의 구분지점을 기준으로 장면을 추출하여 일련번호를 부여할 수 있다.In one example, thescene extraction unit 130 may receive a point divided into scenes between shots as a selection signal or an input signal, and extract a scene based on a selection point of the selection signal or the input signal to give a serial number. Can be.

인물 영역 처리부(200)는 인물 추출부(210)와 인물 영역 크기 산출부(220)를 포함하는데, 인물 추출부(210)는 처리 대상 동영상에서 인물을 추출한다. 이때, 인물 추출부(210)는 영상 전처리부(100)에서 장면, 샷 및 프레임으로 추출된 영상에서 인물을 추출하며, 이미지에서 인물을 자동으로 감지 및 추출하는 내용은 공지기술이므로 본 명세서에서는 이를 자세하게 설명하지 않으며, 당업자의 수준에서 이해되어야 할 것이다.The personarea processing unit 200 includes aperson extraction unit 210 and a person areasize calculation unit 220, and theperson extraction unit 210 extracts a person from a video to be processed. At this time, theperson extracting unit 210 extracts a person from an image extracted as a scene, a shot, and a frame from the video pre-processingunit 100, and the content for automatically detecting and extracting a person from an image is a known technology, so this specification It is not described in detail, and should be understood at the level of those skilled in the art.

이때, 인물추출부(210)는 추출된 인물들을 구분하고, 구분된 인물들에 대해 일련번호를 부여할 수 있다.In this case, theperson extracting unit 210 may classify the extracted persons and assign a serial number to the separated persons.

인물 영역 크기 산출부(220)는 인물 추출부(210)에서 인물이 추출된 프레임에서 인물 영역 크기를 산출한다. 인물 영역 크기 산출부(220)는 도 2의 (a)에 도시한 것처럼, 하나의 프레임에 등장한 인물의 영역을 등장인물의 얼굴 윤곽선을 따라 추출하거나 또는 등장인물의 눈, 코, 입, 눈썹을 포함하는 사각형태로 추출할 수 있다.The person areasize calculating unit 220 calculates a person area size from a frame in which the person is extracted by theperson extraction unit 210. The person areasize calculating unit 220 extracts the area of the person appearing in one frame along the facial contour of the person, or extracts the eyes, nose, mouth, and eyebrows of the person, as shown in FIG. 2(a). It can be extracted in a rectangular shape.

인물 영역 크기 산출부(220)는 도 2의 (b)에 도시한 것처럼, 하나의 프레임에 등장한 복수의 인물의 영역을 각각 추출한다.As illustrated in FIG. 2B, the personarea size calculator 220 extracts areas of a plurality of persons appearing in one frame, respectively.

인물 영역 크기 산출부(220)는 도 2와 같이 추출된 인물 영역의 크기를 산출하는 부분으로서, 다음의 식 1을 이용하여 시간, 즉, 프레임에 대한 인물 영역의 크기를 산출한다.The person areasize calculating unit 220 calculates the size of the extracted person area as shown in FIG. 2, and calculates the time, that is, the size of the person area for the frame, usingEquation 1 below.

[식 1][Equation 1]

위의 식 1에서, C_i는 i번째 등장인물, t는 시간(프레임)이고, Area()는 크기를 산출하는 함수로서, Area(C_i, t)는 t번째 시간(프레임)에서 C_i 등장인물의 인물 영역 크기이다.InEquation 1 above, C_i is the i-th character, t is the time (frame), and, Area () is a function for calculating the size, Area (C_i, t) is C_i in the t-th time (frame) It is the size of the character's character area.

인물 영역 크기 산출부(220)는 다음의 식 2를 이용하여 샷에 대한 인물 영역의 크기를 산출하는데, 이때, 한 샷에 포함되는 프레임들에서 각각 산출되는 인물 영역 크기를 참조하여 샷에 대한 인물 영역 크기를 산출한다.The person areasize calculating unit 220 calculates the size of the person area for theshot using Equation 2 below, wherein the person for the shot is referred to by referring to the person area size calculated in frames included in one shot. Calculate area size.

한 예에서, 인물 영역 크기 산출부(220)는 샷에 포함된 프레임에서 산출된 인물 영역 크기를 누적, 즉, 합산하여 샷에 포함된 특정 등장인물에 대한 인물 영역 크기를 산출한다.In one example, the personarea size calculator 220 accumulates, that is, sums, the person area sizes calculated in the frame included in the shot to calculate the person area size for a specific character included in the shot.

다른 한 예에서, 인물 영역 크기 산출부(220)는 샷에 포함된 프레임에서 산출된 인물 영역 크기를 샷을 구성하는 프레임 수로 나누어, 즉, 평균내여 샷에 포함된 특정 등장인물에 대한 인물 영역 크기를 산출한다.In another example, the person areasize calculating unit 220 divides the person area size calculated from the frame included in the shot by the number of frames constituting the shot, that is, the person area size for a specific character included in the average overshot Calculate

[식 2] [Equation 2]

위의 식 2에서, SH_j는 j번째 샷이고, Area(C_i, SH_j)는 j번째 샷에서 C_i 등장인물의 인물 영역 크기의 누적값 또는 평균값이다.InEquation 2 above, SH_j is the j-th shot, and Area(C_i , SH_j ) is the cumulative or average value of the character area size of the character C_i in the j-th shot.

인물 영역 크기 산출부(220)는 다음의 식 3을 이용하여 장면에 대한 인물 영역의 크기를 산출하는데, 이때, 한 장면에 포함되는 적어도 하나의 샷에서 산출된 인물 영역 크기를 참조하여 장면에 대한 인물 영역 크기를 산출한다.The person areasize calculating unit 220 calculates the size of the person area for thescene using Equation 3 below, wherein the person area size is calculated with reference to the person area size calculated from at least one shot included in one scene. Calculate person area size.

한 예에서, 인물 영역 크기 산출부(220)는 장면에 포함되는 적어도 하나의 샷에서 산출된 인물 영역 크기를 누적, 즉, 합산하여 장면에 포함된 특정 등장인물에 대한 인물 영역 크기를 산출한다.In one example, the personarea size calculator 220 accumulates, that is, sums, the person area sizes calculated from at least one shot included in the scene to calculate a person area size for a specific character included in the scene.

다른 한 예에서, 인물 영역 크기 산출부(220)는 장면에 포함되는 적어도 하나의 샷에서 산출된 인물 영역 크기를 장면을 구성하는 샷 수로 나누어, 즉, 평균내여 장면에 포함된 특정 등장인물에 대한 인물 영역 크기를 산출한다.In another example, the person areasize calculating unit 220 divides the person area size calculated from at least one shot included in the scene by the number of shots constituting the scene, that is, averages a specific character included in the scene. Calculate person area size.

[식 3][Equation 3]

위의 식 3에서, SCk는 k번째 장면이고, Area(C_i, SCk)는 k번째 장면에서 C_i 등장인물의 인물 영역 크기의 누적값 또는 평균값이다.InEquation 3 above, SCk is the k-th scene, and Area(C_i , SCk) is the cumulative or average value of the character area size of the C_i characters in the k-th scene.

이처럼, 인물 영역 크기 산출부(220)가 등장인물의 인물 영역 크기를 프레임, 샷, 장면 단위로 산출하므로, 프레임, 샷, 장면에서 등장인물의 인물 영역 크기를 비교하여 등장인물의 중요도를 판단하는 데 이를 이용할 수 있다.As described above, since the person areasize calculating unit 220 calculates the person area size of the characters in units of frames, shots, and scenes, the importance of the characters is determined by comparing the person area sizes of the characters in the frames, shots, and scenes. You can use it.

인물 영역 크기 그래프 처리부(300)는 인물 영역 크기 그래프 생성부(310), 인물 영역 크기 그래프 비교부(320) 및 인물 영역 크기 그래프 판단부(330)를 포함하여 구성되는데, 인물 영역 크기 그래프 생성부(310)는 인물 영역 처리부(200)의 인물 영역 크기 산출부(220)에서 샷 단위로 생성한 인물 영역 크기를 각 등장인물에 대해 도 3과 같이 그래프로 도시한다.The person area sizegraph processing unit 300 includes a person area sizegraph generation unit 310, a person area sizegraph comparison unit 320, and a person area sizegraph determination unit 330. 310 shows the size of the person area generated in units of shots by the person areasize calculating unit 220 of the personarea processing unit 200 in a graph as shown in FIG. 3 for each character.

인물 영역 크기 그래프 생성부(310)는 도 3의 (a)에 도시한 것처럼, 등장인물 조지와 라이오넬에 대해, 샷 일련번호에 따른 인물 영역 누적 크기의 그래프를 생성한다.The person area sizegraph generation unit 310 generates a graph of the person area cumulative size according to the shot serial number, for the characters George and Lionel, as shown in FIG. 3A.

이때, 샷 일련번호에 포함된 프레임들에서 추출된 인물 영역 크기를 누적한 값을 그래프 생성의 데이터로 사용함에 따라, 특정 등장인물이 프레임에서 얼굴 영역 크기가 작게 등장하지만 복수의 프레임에 자주 등장하는 경우 해당 등장인물이 영화 또는 드라마 내에서 높은 중요도를 갖는 것을 그래프 상에 도시할 수 있고, 그래프 결과를 참조하여 등장인물의 중요도 판단에 해석할 수 있는 효과가 있다.At this time, as the data of graph generation using the accumulated value of the person's area extracted from the frames included in the shot serial number is used as a data for graph generation, the size of the face area in the frame appears small, but frequently appears in multiple frames. In this case, it can be shown on the graph that the character has a high importance in a movie or a drama, and there is an effect that can be interpreted in determining the importance of the character by referring to the graph result.

또는, 인물 영역 크기 그래프 생성부(310)는 도 3의 (b)에 도시한 것처럼, 등장인물 조지와 라이오넬에 대해, 샷 일련번호에 따른 인물 영역 평균 크기의 그래프를 생성한다.Alternatively, the person area sizegraph generating unit 310 generates a graph of the person area average size according to the shot serial number for the characters George and Lionel, as shown in FIG. 3B.

이때, 샷 일련번호에 포함된 프레임들에서 추출된 인물 영역 크기를 프레임 개수로 평균낸 값을 그래프 생성의 데이터로 사용함에 따라, 특정 등장인물이 단 1회의 샷 또는 프레임에서 큰 얼굴 영역 크기를 갖도록 등장하였지만 다른 프레임 또는 샷에서는 전혀 등장하지 않는 1회성 등장인 등장인물인 경우, 인물 영역 크기를 프레임 수로 나누어 해당 등장인물의 인물 영역 크기가 극중 중요도와는 다르게 크게 나타날 수 있는 노이즈를 상쇄할 수 있는 효과가 있다.At this time, as the data of the graph generation is used as the value of the average number of frames extracted from the frames included in the shot serial number as the data of the graph generation, a specific character has a large face area size in only one shot or frame. In the case of a one-time character that appears but does not appear at all in other frames or shots, the character area size is divided by the number of frames to compensate for the noise that the character area size of the character may appear different from the importance of the play. It works.

그리고 이때, 인물 영역 크기 그래프 생성부(310)는 여러 등장인물들의 인물 영역 크기를 도 4에 도시한 것처럼 하나의 장면에 따른 인물 영역 크기 그래프로 도시하고, 샷 평균 또는 샷 누적 인물 영역 크기일 수 있으며 이를 한정하지는 않는다.In this case, the person area sizegraph generation unit 310 shows the person area size of several characters as a person area size graph according to one scene, as shown in FIG. 4, and may be a shot average or a cumulative person area size shot And does not limit it.

도 4의 그래프에서, G(n)은 Area(C_i,n)으로, 등장인물 C_i가 장면 n에 따른 인물 영역 크기 변화 그래프이다.In the graph of FIG. 4, G(n) is Area(C_i ,n), and the character C_i is a graph of the change in the size of the character area according to scene n.

인물 영역 크기 그래프 생성부(310)가 도 4에 도시한 것처럼 여러 등장인물들의 장면별 인물 영역 크기를 하나의 그래프에 도시함에 따라, 등장인물들 중 동영상에서 중요도를 갖는 등장인물을 용이하게 구분할 수 있는 효과가 있다.As the person area sizegraph generation unit 310 shows the size of the person area for each scene of several characters in one graph, as shown in FIG. 4, among the characters, characters having importance in a video can be easily distinguished. It has an effect.

인물 영역 크기 그래프 비교부(320)는 인물 영역 크기 그래프 생성부(310)에서 생성한 적어도 두 등장인물에 대한 인물 영역 크기 그래프 중, 하나의 등장인물에 대한 인물 영역 크기 그래프에서 다른 하나의 등장인물에 대한 인물 영역 크기 그래프를 차감하여 도 5와 같이 두 등장인물간 인물 영역 크기 비교 그래프로서 생성한다.The character area sizegraph comparison unit 320 is one of the character area size graphs for at least two characters generated by the character area sizegraph generation unit 310, and the other character in the character area size graph for one character. By subtracting the person area size graph for, as shown in FIG. 5, a person area size comparison graph between two characters is generated.

이때, 도 5에서, G'(n)은 두 개의 G(n)을 차감하여 생성한 그래프로서, 다음의 식 4로 표현될 수 있다.At this time, in FIG. 5, G'(n) is a graph generated by subtracting two G(n), and may be expressed by the followingEquation 4.

[식 4][Equation 4]

위의 식 4에서, G_i(n)은 i번째 등장인물 C_i가 장면 n에 따른 인물 영역 크기 변화 그래프이고, G_j(n)은 j번째 등장인물 C_i가 장면 n에 따른 인물 영역 크기 변화 그래프로서, G'(n)은 n번째 장면에서 i번째 등장인물과 j번째 등장인물의 인물 영역 크기의 차 그래프이다.InEquation 4 above, G_i (n) is the i-th character C_i is a graph of the size change of the character area according to scene n, and G_j (n) is the j-th character C_i is the size of the character region according to scene n As a change graph, G'(n) is a difference graph of the size of the character area of the i-th character and the j-th character in the n-th scene.

인물 영역 크기 그래프 비교부(320)가 도 5와 같이 등장인물들의 인물 영역 크기 그래프의 차 그래프를 생성함에 따라, 해당 그래프를 참조하여 장면의 흐름에 따라 어떤 등장인물의 인물 영역 크기가 큰지 직관적으로 확인할 수 있는 효과 있다.As the character areasize graph comparator 320 generates a difference graph of the character area size graph of the characters as shown in FIG. 5, referring to the graph, it is intuitive to determine which character area size is large according to the flow of the scene. There is an effect that can be confirmed.

인물 영역 크기 그래프 판단부(330)는 인물 영역 크기 그래프 비교부(320)에서 생성한 도 4의 그래프로부터, 동영상에서 출연하는 등장인물을 높은 비중을 갖는 순서대로 판단할 수 있고, 도 5의 그래프에서 두 등장인물의 인물 영역 크기 차이 값이 0이 되는 지점을 극중 흐름이 어느 한 등장인물에서 다른 등장인물로 전환되는 것으로 판단한다.The person area sizegraph determining unit 330 may determine the characters appearing in the video in the order having the highest specific gravity from the graph of FIG. 4 generated by the person area sizegraph comparison unit 320, and the graph of FIG. 5 It is judged that the flow in the play is switched from one character to another character at the point where the difference in the size of the character area of the two characters becomes 0.

한 예에서, 도 5의 그래프의 장면 초반에서는 등장인물 C₁이 등장인물 C₂가 갖는 인물 영역 크기보다 작은 값을 가지므로 면적 값의 차이가 음의 값을 가지지만, 장면 중반에서는 그 값이 0이 되고, 그 이후에는 등장인물 C₁이 등장인물 C₂가 갖는 인물 영역 크기보다 큰 값을 가지므로 면적 값이 양의 값을 갖는다. 이에 따라, 인물 영역 크기 그래프 판단부(330)는 도 5의 그래프로부터 장면 초반에는 등장인물 C₂가 극중 중요도가 높으나 중반부터는 등장인물 C₁의 중요도가 높아지는 것으로 판단한다.In one example, even in the beginning scene of the 5 graph, because the characters C₁ a character C₂ is of a value less than the character area size having only the difference between the area values have a negative value, in the middle of the scene that value It becomes 0, and after that, the character C₁ has a value larger than the size of the character area of the character C₂ , and thus the area value has a positive value. Accordingly, from the graph of FIG. 5, the character area sizegraph determining unit 330 determines that the character C₂ has a high importance in the play at the beginning of the scene, but from the middle, the importance of the character C₁ increases.

또는, 인물 영역 크기 그래프 판단부(330)는 인물 영역 크기 그래프 생성부(310)에서 생성한 도 4의 그래프로부터 큰 면적 값을 갖는 등장인물을 동영상에서 비중이 큰 것으로 판단한다.Alternatively, the person area sizegraph determining unit 330 determines that the character having a large area value is large in the video from the graph of FIG. 4 generated by the person area sizegraph generating unit 310.

이와 같이, 영화 또는 드라마와 같은 동영상에서 등장인물의 인물 영역 크기를 판단함으로부터 동영상의 등장인물의 중요도를 자동으로 판단할 수 있어, 동영상의 등장인물 상세정보를 신속하고 정확하게 자동 수집할 수 있는 효과가 있다.In this way, the importance of the character of the video can be automatically determined by determining the size of the character area of the character in a movie such as a movie or a drama, so that the detailed information of the character of the video can be automatically and quickly collected. There is.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concept of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

S : 동영상 내 인물 영역 추출 장치100 : 영상 전처리부
110 : 프레임 추출부120 : 샷 추출부
130 : 장면 추출부200 : 인물 영역 처리부
210 : 인물 추출부220 : 인물 영역 크기 산출부
300 : 인물 영역 크기 그래프 처리부
310 : 인물 영역 크기 그래프 생성부
320 : 인물 영역 크기 그래프 비교부
330 : 인물 영역 크기 그래프 판단부S: Person area extraction device in video 100: Image pre-processing unit
110: frame extraction unit 120: shot extraction unit
130: scene extraction unit 200: person area processing unit
210: person extraction unit 220: person area size calculation unit
300: Person area size graph processing unit
310: Person area size graph generation unit
320: Character area size graph comparison unit
330: Person area size graph judgment unit

Claims (8)

Translated fromKorean

동영상에 출연하는 등장인물의 인물 영역 크기를 추출하는 인물 영역 크기 산출부, 그리고,
상기 인물 영역 크기 산출부에서 추출한 등장인물별 인물 영역 크기를 동영상의 샷들에 대한 인물 영역 크기 그래프로 생성하는 인물 영역 크기 그래프 생성부
를 포함하여, 상기 인물 영역 크기 그래프를 동영상에서 비중 있는 등장인물을 판단하는 정보로 제공하는 동영상 내 인물 영역 추출 장치.
Character area size calculation unit to extract the character area size of the characters appearing in the video, and
A person area size graph generator that generates the person area size for each character extracted from the person area size calculation unit as a person area size graph for shots of a video.
Including, the person area extraction device in the video to provide the person area size graph as information for determining a significant character in the video.
제1항에 있어서,
상기 인물 영역 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 영역 크기를 산출하고 이를 누적하며,
상기 인물 영역 크기 그래프 생성부는 샷에 대한 등장인물의 인물 영역 크기 누적 값을 인물 영역 크기 그래프로 생성하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.
According to claim 1,
The person area size calculating unit calculates and accumulates the person area size of the characters appearing in the video for frames included in the video shot,
The person area size graph generation unit generates a person area size graph in a video, wherein the person area size cumulative value of a character for a shot is generated as a person area size graph.
제1항에 있어서,
상기 인물 영역 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 영역 크기를 산출하고 이를 프레임 수로 평균내며,
상기 인물 영역 크기 그래프 생성부는 샷에 대한 등장인물의 인물 영역 크기 평균 값을 인물 영역 크기 그래프로 생성하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.
According to claim 1,
The person area size calculating unit calculates the person area size of the characters appearing in the video for the frames included in the video shot, and averages it by the number of frames,
The person area size graph generating unit generates a person area size graph in the video, wherein the person area size average value of the characters for the shot is generated as a person area size graph.
제1항에 있어서,
상기 인물 영역 크기 그래프 생성부가 적어도 두 등장인물에 대해 생성한 인물 영역 크기 그래프 중 하나의 그래프에서 다른 하나의 그래프를 차감하여 인물 영역 크기 비교 그래프로서 생성하는 인물 영역 크기 그래프 비교부를 더 포함하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.
According to claim 1,
The character area size graph generator further includes a person area size graph comparator that subtracts another graph from one of the person area size graphs generated by at least two characters and generates the person area size comparison graph. Person area extraction device in video.
제4항에 있어서,
상기 인물 영역 크기 그래프 비교부는 하기의 식으로부터 상기 인물 영역 크기 비교 그래프를 생성하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.
[식]

(G_i(n)은 i번째 등장인물 C_i가 장면 n에 따른 인물 영역 크기 변화 그래프이고, G_j(n)은 j번째 등장인물 C_i가 장면 n에 따른 인물 영역 크기 변화 그래프로서, G'(n)은 n번째 장면에서 i번째 등장인물과 j번째 등장인물의 인물 영역 크기의 차 그래프임.)
According to claim 4,
The person area size graph comparison unit generates the person area size comparison graph from the following equation.
[expression]

(G_i (n) is the i-th character C_i is a graph of the size change of the character area according to scene n, G_j (n) is the j-th character C_i is a graph of the size of the character region change according to the scene n, G '(n) is the difference graph of the size of the character area of the i-th character and the j-th character in the nth scene.)
제1항에 있어서,
상기 인물 영역 크기 그래프 비교부에서 생성한 인물 영역 크기 비교 그래프에서 인물 영역 크기의 차이 값이 0이 되는 장면을 등장인물의 중요도가 전환되는 것으로 판단하는 인물 영역 크기 그래프 판단부를 더 포함하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.
According to claim 1,
In the character area size comparison graph generated by the character area size graph comparison unit, further comprising a character area size graph determination unit for determining that the importance of the character is switched to a scene in which the difference value of the character area size is 0. A device for extracting a person's area in a video.
제6항에 있어서,
상기 인물 영역 크기 그래프 판단부는 상기 인물 영역 크기 그래프 생성부에서 생성한 인물 영역 크기 그래프로부터 인물 영역이 큰 등장인물을 동영상에서 비중 있는 등장인물로 판단하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.
The method of claim 6,
The character area size graph determining unit determines a character area having a large character area as a weighted character in a video from the person area size graph generated by the person area size graph generating unit.
제1항에 있어서,
상기 동영상을 프레임, 적어도 하나의 상기 프레임이 모인 샷, 적어도 하나의 상기 샷이 모인 장면으로 각각 추출하는 영상 전처리부를 더 포함하고,
상기 인물 영역 크기 산출부에 상기 영상 전처리부로부터 상기 프레임을 전달받아 등장인물의 인물 영역 크기를 추출하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.

According to claim 1,
Further comprising an image pre-processing unit for extracting the video into a frame, a shot in which at least one frame is collected, and a scene in which at least one shot is collected, respectively,
A device for extracting a person area in a video, characterized by extracting the size of a person area of a character by receiving the frame from the image preprocessing unit in the person area size calculation unit.

Images