KR101828710B1 - Apparatus and method for object occlusion detection - Google Patents

Abstract

Translated fromKorean

객체 가려짐 검출 장치 및 그 방법이 개시된다. 객체 가려짐 검출 장치는 현재 프레임을 배경 모델에 입력한 후 상기 배경 모델을 이용하여 객체 영역을 추출하고, 상기 추출된 객체 영역을 이용하여 소실점 및 소실 선을 검출하고, 상기 소실점 및 소실 선을 이용하여 카메라 파라미터를 교정하는 카메라 파라미터 교정부; 카메라 파라미터 교정 결과를 이용하여 상기 객체의 일부 위치를 3D 공간상의 지면으로 역 투영하여 객체의 깊이를 추정하는 깊이 추정부; 및 상기 추정된 객체의 깊이와 이전 프레임에서 추정된 객체의 깊이를 이용하여 객체의 깊이 변화량을 계산하고, 상기 객체의 깊이 변화량을 이용하여 상기 현재 프레임에서의 객체의 가려짐을 검출하는 검출부를 포함한다.An object clipping detection apparatus and method thereof are disclosed. The object clipping detection apparatus extracts an object region using the background model after inputting a current frame into a background model, detects a vanishing point and a vanishing line using the extracted object region, and uses the vanishing point and the vanishing line A camera parameter calibration unit for calibrating camera parameters; A depth estimator for estimating an object depth by projecting a part of the object to a ground on a 3D space using a camera parameter correction result; And a detector for calculating a depth variation of the object using the depth of the estimated object and the depth of the object estimated in the previous frame and detecting a cloaking of the object in the current frame using the depth variation of the object, .

Description

Translated fromKorean

객체 가려짐 검출 장치 및 그 방법{Apparatus and method for object occlusion detection}[0001] Apparatus and method for object occlusion detection [

본 발명은 영상 분석을 통해 객체의 가려짐 상황을 검출할 수 있는 객체 가려짐 검출 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for detecting an object clogging which can detect a clogging state of an object through image analysis.

객체의 가려짐 검출 (Occlusion detection)을 위해 객체의 깊이 (Depth) 정보가 이용된다. 종래의 깊이 추정 방법은 두 개 이상의 카메라의 시차를 이용하거나 적외선 센서 (Infra-red sensor)와 같은 깊이 추정을 위한 추가적인 센서를 이용하였다.Depth information of the object is used for occlusion detection of the object. The conventional depth estimation method utilizes the parallax of two or more cameras or an additional sensor for depth estimation such as an infrared sensor (Infra-red sensor).

그러나, 추가적인 장비에 따른 비용 증가와 환경에 따른 제약이 발생하는 문제점이 있었다. 이를 보완하기 위해 단일 카메라에 다중 색상 필터 조리개 (Multiple color-filter apertures)를 장착하여 깊이 추정 및 가려짐 검출 기술이 제안되었으나, 다중 색상 필터 조리개를 사용한 깊이 추정 및 가려짐 검출 기술은 특수한 조리개를 필요로 하는 단점이 있다. 또한 아웃 포커스 상의 객체의 경계에서 색상 왜곡이 발생하여 추가적인 왜곡 보정 처리를 요구하는 문제점이 있다.However, there is a problem in that the cost is increased due to additional equipment and the environment is limited. To compensate for this, depth estimation and occlusion detection techniques have been proposed by mounting multiple color-filter apertures in a single camera, but depth estimation and occlusion detection techniques using a multi-color filter aperture require special aperture . In addition, color distortion occurs at the boundary of objects on the out-focus, which requires additional distortion correction processing.

본 발명은 추가적인 장비 또는 센서 없이 영상 분석을 통한 카메라 자동 교정을 통해 객체 가려짐 상황을 검출할 수 있는 객체 가려짐 검출 장치 및 그 방법을 제공하기 위한 것이다.The object of the present invention is to provide an apparatus and method for detecting an object clogging which can detect an object clogging state by automatically calibrating a camera through image analysis without additional equipment or a sensor.

또한, 본 발명은 추가적인 비용 없이 기존의 감시 카메라에 적용하여 종래에 비해 정확하게 객체 추적 및 객체 인식이 가능한 객체 가려짐 검출 장치 및 그 방법을 제공하기 위한 것이다.It is another object of the present invention to provide an apparatus and method for detecting an object which can be accurately tracked and object recognized by applying the same to an existing surveillance camera without additional cost.

본 발명의 일 측면에 따르면, 영상 분석을 통한 카메라 자동 교정을 통해 객체 가려짐 상황을 검출할 수 있는 객체 가려짐 검출 방법이 제공된다.According to an aspect of the present invention, there is provided an object cloaking detection method capable of detecting a cloaking state of an object through automatic camera calibration through image analysis.

본 발명의 일 실시예에 따르면, (a) 현재 프레임을 배경 모델에 입력한 후 상기 배경 모델을 이용하여 객체 영역을 추출하고, 상기 추출된 객체 영역을 이용하여 소실점 및 소실 선을 검출하는 단계; (b) 상기 소실점 및 소실 선을 이용하여 카메라 파라미터를 교정하는 단계; (c) 카메라 파라미터 교정 결과를 이용하여 상기 객체의 일부 위치를 3D 공간상의 지면으로 역 투영하여 객체의 깊이를 추정하는 단계;According to an embodiment of the present invention, there is provided a method of extracting object regions, comprising the steps of: (a) inputting a current frame into a background model, extracting an object region using the background model, and detecting a vanishing point and a vanishing line using the extracted object region; (b) calibrating camera parameters using the vanishing point and the vanishing line; (c) estimating the depth of an object by projecting a part of the object back to the ground on the 3D space using the camera parameter correction result;

(d) 상기 추정된 객체의 깊이와 이전 프레임에서 추정된 객체의 깊이를 이용하여 객체의 깊이 변화량을 추정하는 단계; 및 (e) 상기 객체의 깊이 변화량을 이용하여 상기 현재 프레임에서의 객체의 가려짐을 검출하는 단계를 나타내는 객체 가려짐 검출 방법이 제공될 수 있다.(d) estimating a depth variation of the object using the depth of the estimated object and the depth of the object estimated in the previous frame; And (e) detecting a cloaking of the object in the current frame using a depth variation of the object.

상기 (a) 단계는, 상기 객체 영역의 발 위치 및 머리 위치를 검출하는 단계; 및 상기 검출된 발 위치 및 머리 위치를 연결한 평행선과 배경 선 정보 중 적어도 하나를 이용하여 상기 소실점 및 소실 선을 검출하는 단계를 포함할 수 있다.The step (a) may include: detecting a foot position and a head position of the object region; And detecting the vanishing point and the disappearing line using at least one of parallel line information and background line information connecting the detected foot position and the head position.

(a) 단계는, 상기 검출된 발 위치 및 머리 위치의 개수가 기준 개수 보다 작은 경우, 상기 배경 선 정보와 교차되는 적어도 3개의 교차점을 소실점으로 선택하는 단계; 상기 선택된 소실점 중 적어도 하는 수직 소실점으로 검출하는 단계; 및 상기 선택된 소실점 중 나머지 소실점을 연결하는 선을 수평 소실 선으로 검출하는 단계를 포함할 수 있다.(a) selecting at least three intersection points intersecting with the background line information as a vanishing point when the detected number of foot positions and head positions is smaller than a reference number; Detecting at least a vertical vanishing point among the selected vanishing points; And detecting a line connecting a remaining vanishing point of the selected vanishing point with a horizontal vanishing line.

상기 (a) 단계는, 상기 검출된 발 위치 및 머리 위치의 개수가 기준 개수보다 많고, 상기 객체가 선형적으로 이동하는 경우, 상기 객체의 발 위치와 머리 위치를 이용하여 수직 소실점을 검출하는 단계; 및 배경 선 정보를 이용하여 수평 소실 선을 검출하는 단계를 포함할 수 있다.The step (a) may include detecting a vertical vanishing point using the foot position and the head position of the object when the number of the detected foot positions and head positions is larger than the reference number and the object linearly moves ; And detecting the horizontal disappearance line using the background line information.

상기 (a) 단계는, 상기 검출된 발 위치 및 머리 위치의 개수가 기준 개수보다 많고, 상기 객체가 선형적으로 이동하지 않은 경우, 상기 검출된 발 위치와 상기 머리 위치를 연결한 선을 이용하여 수직 소실점을 검출하는 단계; 및 상기 검출된 발 위치를 연결한 선과 상기 머리 위치를 연결한 선을 이용하여 수평 소실점을 결정하고, 상기 결정된 수평 소실점을 연결하여 수평 소실 선을 검출하는 단계를 포함할 수 있다.Wherein the step (a) comprises: when a number of the detected foot positions and head positions is greater than a reference number and the object does not move linearly, using a line connecting the detected foot position and the head position Detecting a vertical vanishing point; And determining a horizontal vanishing point by using a line connecting the detected foot position and a line connecting the head position and connecting the determined horizontal vanishing point to detect a horizontal vanishing line.

상기 (b) 단계는, 상기 소실점과 소실 선을 이용하여 하기 수학식을 기반으로 카메라 파라미터를 교정하되,Wherein the step (b) corrects the camera parameters based on the following equation using the vanishing point and the disappearance line,

여기서,

는 초점 길이를 나타내고,

는 롤각을 나타내며,

는 틸트 각을 나타내고,

는 카메라 높이를 나타내며,

는 수평 소실 선을 나타내고,

는 수직 소실 점을 나타내고,

는 객체 높이를 나타내고,

는 객체의 발 위치를 나타내고,

는 객체의 머리 위치를 나타내고,

는 위치 A와 위치 B 사이의 거리를 나타낸다.here,

Represents the focal length,

Represents a roll angle,

Represents a tilt angle,

Represents the height of the camera,

Indicates a horizontal disappearance line,

Represents a vertical vanishing point,

Represents the height of the object,

Represents the foot position of the object,

Represents the head position of the object,

Represents the distance between position A and position B.

상기 (c) 단계는,The step (c)

상기 객체의 발 위치를 3D 공간상의 기준 평면으로 역투영하여 상기 객체의 깊이를 추정할 수 있다.The depth of the object can be estimated by projecting the foot position of the object back to the reference plane in 3D space.

본 발명의 다른 측면에 따르면, 영상 분석을 통한 카메라 자동 교정을 통해 객체 가려짐 상황을 검출할 수 있는 객체 가려짐 검출 장치가 제공된다.According to another aspect of the present invention, there is provided an object clipping detection apparatus capable of detecting an object cloaking state by automatic camera calibration through image analysis.

본 발명의 일 실시예에 따르면, 현재 프레임을 배경 모델에 입력한 후 상기 배경 모델을 이용하여 객체 영역을 추출하고, 상기 추출된 객체 영역을 이용하여 소실점 및 소실 선을 검출하고, 상기 소실점 및 소실 선을 이용하여 카메라 파라미터를 교정하는 카메라 파라미터 교정부; 카메라 파라미터 교정 결과를 이용하여 상기 객체의 일부 위치를 3D 공간상의 지면으로 역 투영하여 객체의 깊이를 추정하는 깊이 추정부; 및 상기 추정된 객체의 깊이와 이전 프레임에서 추정된 객체의 깊이를 이용하여 객체의 깊이 변화량을 계산하고, 상기 객체의 깊이 변화량을 이용하여 상기 현재 프레임에서의 객체의 가려짐을 검출하는 검출부를 포함하는 객체 가려짐 검출 장치가 제공될 수 있다.According to an embodiment of the present invention, an object region is extracted using a background model after inputting a current frame into a background model, a vanishing point and a vanishing line are detected using the extracted object region, Camera parameter calibration for calibrating camera parameters using lines; A depth estimator for estimating an object depth by projecting a part of the object to a ground on a 3D space using a camera parameter correction result; And a detector for calculating a depth variation of the object using the depth of the estimated object and the depth of the object estimated in the previous frame and detecting a cloaking of the object in the current frame using the depth variation of the object, An object clipping detection apparatus may be provided.

상기 카메라 파라미터 교정부는, 상기 객체 영역의 발 위치 및 머리 위치를 검출하고, 상기 검출된 발 위치 및 머리 위치를 연결한 평행선과 배경 선 정보 중 적어도 하나를 이용하여 상기 소실점 및 소실 선을 검출한 후 상기 소실점 및 상기 소실 선을 이용하여 상기 카메라 파라미터를 교정할 수 있다.The camera parameter calibrating unit detects the foot position and the head position of the object area and detects the vanishing point and the disappearing line using at least one of the parallel line and the background line information connecting the detected foot position and the head position The camera parameters can be corrected using the vanishing point and the vanishing line.

본 발명의 일 실시예에 따른 객체 가려짐 검출 장치 및 그 방법을 제공함으로써, 추가적인 장비 또는 센서 없이 영상 분석을 통한 카메라 자동 교정을 통해 객체 가려짐 상황을 검출할 수 있다.The object cloaking detection apparatus and method according to an embodiment of the present invention can detect the object cloaking state through automatic camera calibration through image analysis without additional equipment or a sensor.

또한, 본 발명은 추가적인 비용 없이 기존의 감시 카메라에 적용하여 종래에 비해 정확하게 객체 추적 및 객체 인식이 가능한 이점이 있다.In addition, the present invention is advantageous in that object tracking and object recognition can be performed more accurately than conventional methods by applying the present invention to an existing surveillance camera without additional cost.

도 1은 본 발명의 일 실시예에 따른 객체 가려짐 검출 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 카메라 투영 모델을 설명하기 위해 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 발 위치 및 머리 위치를 연결한 선과 배경 선을 예시한 도면.
도 4는 본 발명의 일 실시예에 따른 발과 머리 위치 데이터 집합의 개수에 따른 초점 거리 예측 에러를 나타낸 도면.
도 5는 본 발명의 일 실시예에 따른 소실점과 소실 선을 설명하기 위해 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 객체 깊이 예측을 설명하기 위해 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 객체 가려짐 검출 장치의 내부 구성을 개략적으로 도시한 블록도.
도 8은 본 발명의 일 실시예에 따른 객체 가려짐 검출 결과를 도시한 도면.1 is a flowchart illustrating an object cloaking detection method according to an embodiment of the present invention;
2 is a diagram illustrating a camera projection model according to an embodiment of the present invention;
FIG. 3 illustrates line and background lines connecting a foot position and a head position according to an embodiment of the present invention; FIG.
4 illustrates focal length estimation errors according to the number of foot and head position data sets in accordance with an embodiment of the present invention.
5 is a diagram illustrating a vanishing point and a vanishing line according to an embodiment of the present invention;
FIG. 6 is a diagram illustrating object depth prediction according to an embodiment of the present invention; FIG.
FIG. 7 is a block diagram schematically illustrating an internal configuration of an object obfuscation detecting apparatus according to an embodiment of the present invention; FIG.
8 is a view showing an object cloaking detection result according to an embodiment of the present invention.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.As used herein, the singular forms "a", "an" and "the" include plural referents unless the context clearly dictates otherwise. In this specification, the terms "comprising ", or" comprising "and the like should not be construed as necessarily including the various elements or steps described in the specification, Or may be further comprised of additional components or steps. Also, the terms "part," " module, "and the like described in the specification mean units for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software .

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 객체 가려짐 검출 방법을 나타낸 순서도이고, 도 2는 본 발명의 일 실시예에 따른 카메라 투영 모델을 설명하기 위해 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 발 위치 및 머리 위치를 연결한 선과 배경 선을 예시한 도면이며, 도 4는 본 발명의 일 실시예에 따른 발과 머리 위치 데이터 집합의 개수에 따른 초점 거리 예측 에러를 나타낸 도면이고, 도 5는 본 발명의 일 실시예에 따른 소실점과 소실 선을 설명하기 위해 예시한 도면이며, 도 6은 본 발명의 일 실시예에 따른 객체 깊이 예측을 설명하기 위해 도시한 도면이다.2 is a view for explaining a camera projection model according to an embodiment of the present invention, and FIG. 3 is a view for explaining a camera projection model according to an embodiment of the present invention. FIG. 4 is a diagram illustrating a focal length prediction error according to the number of foot and head position data sets according to an embodiment of the present invention. FIG. FIG. 5 is a diagram illustrating a vanishing point and a vanishing line according to an embodiment of the present invention, and FIG. 6 is a view for explaining object depth prediction according to an embodiment of the present invention.

객체 가려짐 검출 방법을 설명하기 전에, 이해와 설명의 편의를 도모하기 위해, 선 카메라 기하(지오메트리)에 관해 간략하게 설명하기로 한다.Before explaining the object clipping detection method, the linear camera geometry (geometry) will be briefly described in order to facilitate understanding and explanation.

널리 알려진 바와 같이, 깊이 예측을 위해서는 3D 공간 정보가 필요하다. 2D 영상과 3D 공간 정보간의 투영 관계를 획득하기 위해, 카메라 센서, 렌즈, 광축, 좌표내에서의 카메라 위치를 설명하는 카메라 파라미터를 포함하는 카메라 지오메트리가 사용되었다.As is well known, 3D spatial information is needed for depth prediction. To obtain the projection relationship between the 2D image and the 3D spatial information, camera geometry including a camera sensor, a lens, an optical axis, and camera parameters describing the camera position within the coordinates was used.

핀-홀 카메라 모델에서, 3D 공간상의 한점은 수학식 1을 이용하여 2D 영상내의 한 점으로 투영될 수 있다.In the pin-hole camera model, one point in 3D space can be projected to a point in the 2D image using equation (1).

여기서, s는 스케일을 나타내고,

는 2D 영상에서의 한점을 나타내며, 행렬A는 고유 카메라 파라미터로 구성되고,

와

는 x축과 y 축 초점 길이를 나타내고, skew는 변형 정도를 나타내며,

는 화상비(영상비)를 나타내고, R은 카메라 회전 행렬로 카메라 회전 파라미터(

)로 구성된다. 또한,

는 카메라 변환 벡터를 나타내고,

는 3D 공간상에서의 한점을 나타낸다.Here, s represents a scale,

Represents a point in the 2D image, the matrix A is composed of unique camera parameters,

Wow

Represents the x-axis and y-axis focal length, skew represents the degree of deformation,

(Image ratio), R denotes a camera rotation parameter (camera rotation parameter

). Also,

Represents a camera conversion vector,

Represents a point in 3D space.

본 발명의 일 실시예에서는 이해와 설명의 편의를 도모하기 위해

와

는 동일한 것으로 가정하며, 원점(center point)는 영상의 중앙인 것으로 가정하며, 변형은 제로에 가까운 것으로 가정하며, 화상비(영상비)는 1인 것을 가정하여 설명하기로 한다In an embodiment of the present invention, in order to facilitate understanding and explanation

Wow

The center point is assumed to be the center of the image, the deformation is assumed to be close to zero, and the image ratio (image ratio) is assumed to be 1

또한, Z축에 관한 카메라 회전 각은 제로인 것으로 가정하며, x축과 y축에 관한 카메라 변형은 제로이며, 외부 행렬

은 수학식 2를 이용하여 계산되는 것을 가정하기로 한다.It is also assumed that the camera rotation angle with respect to the Z axis is zero, the camera deformation with respect to the x and y axes is zero,

Is calculated using Equation (2).

여기서,

는 Z축에 관한 회전 행렬을 나타내고,

는 X축에 관한 회전 행렬을 나타내며, T는 변형(translation)을 위한 트랜스폼을 나타내고,

는 카메라 높이를 나타낸다.here,

Represents a rotation matrix about the Z axis,

Represents the rotation matrix for the X axis, T represents the transform for translation,

Represents the height of the camera.

3차원 공간을 촬영하는 경우, 2D 영상은 객체에 의해 반사되어 카메라 센서에 도달하는 빛에 의해 생성된다. 이 과정에서, 단일 객체는 도 2에서 보여지는 바와 같이, 카메라로부터의 거리에 따라 다른 크기를 가지도록 2D 영상에 투영된다. 이로 인해, 3D 공간내에서 평행선은 깊이에 종속되는 비평행선으로 2D 영상의 영역으로 투영될 수 있다.When shooting a three-dimensional space, the 2D image is generated by the light reflected by the object and arriving at the camera sensor. In this process, a single object is projected onto the 2D image to have a different size depending on the distance from the camera, as shown in Fig. This allows the parallel lines in the 3D space to be projected into the area of the 2D image as non-parallel lines dependent on the depth.

영상에서 분명한 비 평행선을 사용하여 비 평행선들의 교차점으로 소실점이 예측될 수 있다. 투영 카메라 변환 모델은 3D 공간내의 한점을 카메라 센서상으로 투영하고, 카메라 파라미터는 소실점을 이용하여 예측될 수 있다.The vanishing point can be predicted at the intersection of nonparallel lines using nonparallel lines that are apparent in the image. The projected camera conversion model projects one point in the 3D space onto the camera sensor, and the camera parameters can be predicted using the vanishing point.

3D 공간상의 한 점(위치)는 투영 변환을 이용하여 2D 영상내의 한 점(위치)에 상응하도록 카메라 센서상에 투영될 수 있다. 그러나 카메라 투영 변환은 1:1 함수가 아니므로, 2D 영상의 한 점이 3D 공간상의 유일한 한점으로 역투영되지는 않는다.One point (position) in 3D space can be projected onto the camera sensor to correspond to a point (position) in the 2D image using the projection transformation. However, since the camera projection transformation is not a 1: 1 function, one point of the 2D image is not projected back to a unique point in 3D space.

그러나 기준 평면(reference plane)이 있다면, 2D 영상의 한 점은 3 차원 공간에서 미리 정의된 기준 평면상의 한 점으로 역으로 투영될 수 있다.However, if there is a reference plane, one point of the 2D image can be projected back to a point on the predefined reference plane in three-dimensional space.

따라서, 이하에서 설명되는 객체 깊이 예측을 기반으로 객체의 가려짐 영역을 검출하는 방법은 미리 설정된 기준 평면에 기반한 2D 영상을 이용하여 객체 깊이를 예측하는 것으로 이해되어야 할 것이다.Therefore, it should be understood that the method of detecting the shadowed region of an object based on the object depth prediction described below predicts the object depth using a 2D image based on a predetermined reference plane.

이하, 도 1을 참조하여 객체 가려짐 영역을 검출하는 방법에 대해 상세히 설명하기로 한다.Hereinafter, a method for detecting an object cloaking area will be described in detail with reference to FIG.

단계 110에서 객체 가려짐 검출 장치(100)는 현재 프레임을 배경 모델에 입력한 후 상기 배경 모델을 이용하여 객체 영역을 추출한다.Inoperation 110, the objectclosure detection apparatus 100 extracts an object region using the background model after inputting a current frame into the background model.

여기서, 객체 가려짐 검출 장치(100)는 현재 프레임을 입력으로 GMM(Gaussian mixture model) 기반 배경 모델을 생성하여 이동하는 객체 영역을 검출할 수 있다. 객체 영역은 기준치 이상 큰 영역을 라벨링함에 의해 검출될 수 있다.Here, the objectclosure detecting apparatus 100 can detect a moving object region by generating a Gaussian mixture model (GGM) -based background model by inputting a current frame. The object region can be detected by labeling an area larger than the reference value.

단계 115에서 객체 가려짐 검출 장치(100)는 추출된 객체 영역을 이용하여 머리 위치와 발 위치를 각각 검출한다.Inoperation 115, the objectclosure detection apparatus 100 detects the head position and the foot position using the extracted object region, respectively.

예를 들어, 객체 가려짐 검출 장치(100)는 객체 영역에서 수직적으로 가장 높은 위치- 즉 정점-을 머리 위치로 결정할 수 있다. 또한, 객체 가려짐 검출 장치(100)는 객체 영역에서 수직적으로 낮은 위치를 발 위치로 결정함에 있어, 최하단 위치를 결정하기 보다는 바닥에서 약 20% 정도의 위치를 발 위치로 결정할 수 있다.For example, the objectclosure detection apparatus 100 may determine the vertically highest position-the vertex-as the head position in the object region. In addition, the object obscuring detectingapparatus 100 may determine the foot position to be about 20% at the floor, rather than determining the lowest position, in determining the vertically lower position to the foot position in the object region.

단계 120에서 객체 가려짐 검출 장치(100)는 검출된 머리 위치와 발 위치를 이용하여 적어도 하나의 소실점과 소실 선을 예측한다.Inoperation 120, the objectclosure detection apparatus 100 predicts at least one vanishing point and a vanishing line using the detected head position and foot position.

예를 들어, 객체 가려짐 검출 장치(100)는 검출된 머리 위치와 발 위치를 연결한 한쌍의 평행선을 이용하여 적어도 하나의 소실점과 소실 선을 검출할 수 있다.For example, the object obscuringdetection apparatus 100 can detect at least one vanishing point and a vanishing line by using a pair of parallel lines connecting the detected head position and foot position.

일반적으로, 머리 위치와 발 위치를 연결한 선은 객체가 걷는 동안 변하기 때문에 평행하지 않다. 따라서, 본 발명의 일 실시예에 따른 객체 가려짐 검출 장치(100)는 보행자의 다리가 교차했을 때를 이용하여 객체의 획일적인 높이를 검출할 수 있다. 이를 수학식으로 나타내면, 수학식 3과 같다.In general, the line connecting the head position to the foot position is not parallel because the object changes while walking. Accordingly, the objectcloaking detecting apparatus 100 according to an embodiment of the present invention can detect a uniform height of an object using a case where a leg of a pedestrian crosses. This can be expressed by the following equation (3).

여기서, n은 후보 발 위치의 개수를 나타내고,

는 후보 발 위치를 나타내며,

는 검출된 발 위치를 나타내고,

는 임계값(threshold value)을 나타낸다.Here, n represents the number of candidate foot positions,

Represents the candidate foot position,

Represents the detected foot position,

Represents a threshold value.

도 3에는 검출된 발과 머리 위치 및 배경 선 정보가 예시되어 있다.FIG. 3 illustrates detected foot, head position, and background line information.

도 3의 (a)는 검출된 발과 머리를 연결한 선이 예시되어 있고, 도 3의 (b)에는 배경 선 정보들이 예시되어 있다.FIG. 3 (a) illustrates a line connecting the detected foot and head, and FIG. 3 (b) illustrates background line information.

이론적으로, 카메라 교정을 위한 호모그래피 예측은 8개의 선형 부등식을 풀기 위해 4개의 2D 좌표가 필요하다. 그러나 실제 랜덤 샘플 일치(RANSAC) 기반 로버스트 카메라 교정은 도 4에서 보여지는 바와 같이, 교정 에러를 최소화하기 위해 적어도 8개의 좌표를 필요로 한다.In theory, homography prediction for camera calibration requires four 2D coordinates to solve eight linear inequalities. However, a true random sample match (RANSAC) based robust camera calibration requires at least eight coordinates to minimize calibration errors, as shown in FIG.

본 발명의 일 실시예에서는 객체의 발과 머리 위치의 개수에 기반하여 다음과 같이 소실점과 선을 예측할 수 있다.In an embodiment of the present invention, a vanishing point and a line can be predicted based on the number of foot and head positions of an object as follows.

제11st실시예Example

검출된 발과 머리 집합이 N보다 작은 경우, 소실점과 소실 선은 배경 선 정보를 이용하여 예측될 수 있다.When the detected foot and head set are smaller than N, the vanishing point and the disappearance line can be predicted using the background information.

예를 들어, 3개의 소실점이 RANSAC 알고리즘을 사용하여 배경 선 정보와 교차하는 교차점으로부터 선택될 수 있다. 선택된 3개의 소실점 중 적어도 하나는 수직 소실점으로 결정된다. 이어, 3개의 소실점 중 나머지 두개의 소실점을 연결하는 선은 수평 소실 선으로 결정될 수 있다.For example, three vanishing points may be selected from intersections that intersect background line information using the RANSAC algorithm. At least one of the three selected vanishing points is determined as a vertical vanishing point. Then, a line connecting the remaining two vanishing points of the three vanishing points may be determined as a horizontal vanishing line.

제2Second실시예Example

검출된 발과 머리 집합이 N보다 많고, 객체 이동이 선형적인 경우, 객체 가려짐 검출 장치(100)는 객체의 발과 머리 위치를 이용하여 수직 소실점을 예측할 수 있다.If the detected foot and head set is greater than N and the object movement is linear, the object obscuringdetection apparatus 100 can predict the vertical vanishing point using the foot and head positions of the object.

수직 소실점은 도 5에서 보여지는 바와 같이, 발과 머리 위치를 연결한 선의 교차점에서 결정될 수 있다. 그러나 객체가 선형적으로 이동하는 경우, 하나의 수평 소실점이 예측되므로, 수평 소실 선의 예측은 불가능하다. 따라서, 객체 가려짐 검출 장치(100)는 배경 선 정보를 이용하여 소실 선을 예측할 수 있다.The vertical vanishing point can be determined at the intersection of the line connecting the foot and the head position, as shown in FIG. However, when the object moves linearly, since one horizontal vanishing point is predicted, it is impossible to predict the horizontal vanishing line. Therefore, the objectocclusion detection apparatus 100 can predict the disappearance line using the background line information.

제3Third실시예Example

검출된 발과 머리 집합이 N보다 많고, 객체 이동이 선형적이지 않은 경우, 객체 가려짐 검출 장치(100)는 발과 머리 위치를 이용하여 소실점과 소실 선을 예측할 수 있다. 검출된 발 위치 중 두 발의 위치를 연결한 선(발 선이라 칭하기로 함)과 두 머리의 위치를 연결한 선(머리 선이라 칭하기로 함)은 수평 소실점을 예측하기 위해 이용된다.If the detected foot and head set is greater than N and the object movement is not linear, the object obscuringdetection apparatus 100 can predict the vanishing point and the disappearance line using the foot and head positions. A line connecting two positions of the detected foot positions (referred to as a foot line) and a line connecting the positions of the two heads (referred to as a head line) are used to predict the horizontal vanishing point.

결과적으로, 수평 소실 선은 도 5에서 보여지는 바와 같이, 두 수평 소실점을 이용하여 예측될 수 있다.As a result, the horizontal disappearance line can be predicted using two horizontal vanishing points, as shown in Fig.

단계 125에서 객체 가려짐 검출 장치(100)는 예측된 소실점과 소실 선을 이용하여 카메라 파라미터를 교정한다.Inoperation 125, the objectclosure detection apparatus 100 corrects the camera parameters using the predicted vanishing point and the disappearance line.

예를 들어, 객체 가려짐 검출 장치(100)는 예측된 두 수직 소실점과 수평 소실 선을 이용하여 카메라 파라미터를 교정할 수 있다. 이를 수학식으로 나타내면, 수학식 4와 같다.For example, the objectocclusion detection apparatus 100 can calibrate camera parameters using two predicted vertical vanishing points and horizontal disappearing lines. This can be expressed by the following equation (4).

여기서,

는 초점 길이를 나타내고,

는 롤각을 나타내며,

는 틸트 각을 나타내고,

는 카메라 높이를 나타내며,

는

와 같은 수평 소실 선을 나타내고,

는 수직 소실 점을 나타내고,

는 객체 높이를 나타내고,

는 객체의 발 위치를 나타내고,

는 객체의 머리 위치를 나타내고,

는 위치 A와 위치 B 사이의 거리를 나타낸다.here,

Represents the focal length,

Represents a roll angle,

Represents a tilt angle,

Represents the height of the camera,

The

And a horizontal deficit line such as < RTI ID = 0.0 >

Represents a vertical vanishing point,

Represents the height of the object,

Represents the foot position of the object,

Represents the head position of the object,

Represents the distance between position A and position B.

단계 130에서 객체 가려짐 검출 장치(100)는 카메라 파라미터 교정 결과를 이용하여 객체의 일부를 3D 공간상의 기준 평면으로 역투영하여 객체의 깊이를 추정한다.Inoperation 130, the objectclosure detecting apparatus 100 estimates the depth of the object by projecting a part of the object back to the reference plane in the 3D space using the camera parameter correction result.

객체의 깊이 추정을 위해, 2D 영상의 좌표는 투영 행렬을 이용하여 3D 공간상의 기준 평면으로 투영된다. 객체의 발 위치는 지면상에 놓이고, 카메라 높이는 지면과 카메라 사이의 거리로 계산되고, 지면은 XY 평면으로 간주되므로, 기준 평면으로 지면을 사용할 수 있다.For depth estimation of the object, the coordinates of the 2D image are projected onto the reference plane in 3D space using the projection matrix. The foot position of the object is placed on the ground, the height of the camera is calculated as the distance between the ground and the camera, and the ground is regarded as the XY plane, so the ground plane can be used as the reference plane.

2D 영상에서 객체 발 위치를 사용하여 3D 공간에서의 기준 평면에 대한(지면) 객체 발 위치가 계산될 수 있다. 3D 공간상에서 발 위치를 검출하기 위해, 2D 영상에서 발 위치는 역으로 투영 행렬을 이용하여 3D 공간상의 기준 평면으로 투영될 수 있다.The (foot) object foot position with respect to the reference plane in 3D space can be calculated using the object foot position in the 2D image. To detect the foot position in 3D space, the foot position in the 2D image can be projected back to the reference plane in 3D space using the projection matrix.

이를 수학식으로 나타내면, 수학식 5와 같다.This can be expressed by the following equation (5).

여기서,

는 2D 영상에서의 발 위치를 나타내고, P는 투영 행렬을 나타내며, X는 역으로 투영된

의 좌표를 나타낸다. 역으로 투영된 X의 좌표는 수학식 6과 같이 3D 공간상에서 발 위치를 검출하기 위해 Z축 값에 의해 정규화된다.here,

Represents the foot position in the 2D image, P represents the projection matrix, and X represents the projected

. The coordinates of the projected X inversely are normalized by the Z-axis value to detect the foot position in 3D space as shown in Equation (6).

여기서, Z는 X의 Z축 값을 나타내고,

는 3D 공간상 기준 평면(지면 평면)상에서 발 위치를 나타낸다.Here, Z represents the Z-axis value of X,

(Foot plane) on the 3D space.

객체의 깊이는 객체와 카메라 사이의 거리를 계산함으로써 예측될 수 있다.The depth of an object can be predicted by calculating the distance between the object and the camera.

그러나, 발 위치는 입력 영상 중 한정된 위치에서 나타낸다. 따라서, 본 발명의 일 실시예에서는 객체 깊이 예측을 위한 중심점에 가장 근접한 발 위치를 사용한다. 예측된 깊이는 중심점을 기준으로 가장 먼 거리를 이용하여 정규화될 수 있다.However, the foot position is shown at a limited position in the input image. Therefore, in one embodiment of the present invention, the foot position closest to the center point for object depth prediction is used. The predicted depth can be normalized using the farthest distance with respect to the center point.

만일 객체가 카메라로부터 충분히 먼 경우, 객체 발 위치의 깊이는 카메라 팬 앵글이 제로이고, 중심점이 지면상에 있으므로 Y축 좌표로 추정될 수 있다.If the object is sufficiently far from the camera, the depth of the object foot position can be estimated as the Y axis coordinate because the camera pan angle is zero and the center point is on the ground.

그러나, 만일 객체 깊이가 객체 발 위치 깊이와 같지 않으면, 객체 깊이는 수학식 7을 이용하여 계산될 수 있다.However, if the object depth is not equal to the object foot position depth, the object depth can be calculated using Equation (7).

여기서, d는 객체 깊이를 나타내고,

는 중심점의 Y 축 값을 나타내고,

는 객체 발 위치를 나타내고,

는 가장 먼 거리를 나타낸다.Where d represents the depth of the object,

Represents the Y-axis value of the center point,

Represents an object foot position,

Represents the farthest distance.

도 6은 객체 검출 예측을 설명하기 위해 도시한 도면이다. 도 6에서

은 가장 가까운 거리를 나타내고,

은 중심점을 나타내고,

는 객체 발 위치를 나타낸다.6 is a diagram for explaining the object detection prediction. 6

Represents the closest distance,

Represents a center point,

Represents the position of the object foot.

단계 135에서 객체 가려짐 검출 장치(100)는 추정된 객체 깊이를 이용하여 객체의 깊이 변화량을 계산한다.Instep 135, the objectclosure detecting apparatus 100 calculates the depth variation of the object using the estimated object depth.

객체 가려짐 검출 장치(100)는 현재 프레임의 추정된 객체의 깊이와 이전 프레임의 추정된 객체의 깊이를 이용하여 객체의 깊이 변화량을 계산할 수 있다. 즉, 객체의 깊이 변화량은 현재 프레임의 객체의 깊이 추정치와 이전 프레임의 객체의 깊이 추정치의 차이로 계산될 수 있다.The objectclosure detection apparatus 100 can calculate the depth variation of the object using the depth of the estimated object of the current frame and the depth of the estimated object of the previous frame. That is, the depth variation of the object can be calculated by the difference between the depth estimate of the object of the current frame and the depth estimate of the object of the previous frame.

단계 140에서 객체 가려짐 검출 장치(100)는 계산된 객체의 깊이 변화량을 이용하여 객체의 가려짐을 검출한다.Inoperation 140, the objectclosure detecting apparatus 100 detects cloaking of the object using the calculated depth variation of the object.

인접한 프레임에서 동일 객체의 깊이는 천천히 변한다. 만일 객체가 가려진 경우, 객체의 예측된 깊이는 빠르게 변한다. 이러한 관찰에 기초하여 객체 가려짐은 수학식 8와 같이 검출될 수 있다.The depth of the same object in an adjacent frame changes slowly. If the object is obscured, the predicted depth of the object changes quickly. Based on this observation, the object closure can be detected as shown in equation (8).

여기서, O는 객체 가려짐 검출 결과를 나타내고,

는 t시간에서의 객체의 깊이를 나타내며,

는 객체 가려짐 검출을 위한 임계값을 나타낸다.Here, O represents an object clog detection result,

Represents the depth of the object at time t,

Represents a threshold value for object closure detection.

객체의 t번째 프레임과 이전 프레임에서 깊이 변화량이 임계값 이상으로 커지게 될 경우, 객체의 가려짐 상황이 검출될 수 있다.When the depth change amount becomes larger than the threshold value in the t-th frame and the previous frame of the object, the occlusion state of the object can be detected.

도 7은 본 발명의 일 실시예에 따른 객체 가려짐 검출 장치의 내부 구성을 개략적으로 도시한 블록도이다.FIG. 7 is a block diagram schematically illustrating an internal configuration of an object clipping detection apparatus according to an embodiment of the present invention. Referring to FIG.

도 7을 참조하면, 본 발명의 일 실시예에 따른 객체 가려짐 검출 장치(100)는 카메라 파라미터 교정부(710), 깊이 추정부(715), 검출부(720), 메모리(725) 및 프로세서(730)를 포함하여 구성된다.7, the objectobfuscation detection apparatus 100 according to an embodiment of the present invention includes a cameraparameter calibration unit 710, adepth estimation unit 715, adetection unit 720, amemory 725, 730).

카메라 파라미터 교정부(710)는 현재 프레임을 배경 모델에 입력한 후 배경 모델을 이용하여 객체 영역을 추출하고, 추출된 객체 영역을 이용하여 소실점 및 소실 선을 검출한 후 이를 기반으로 카메라 파라미터를 교정하는 역할을 한다.The cameraparameter calibrating unit 710 extracts the object region using the background model after inputting the current frame into the background model, detects the vanishing point and the disappearance line using the extracted object region, .

예를 들어, 카메라 파라미터 교정부(710)는 객체 영역의 발 위치 및 머리 위치를 검출한 후 검출된 발 위치 및 머리 위치를 연결한 평행선과 배경 선 정보 중 적어도 하나를 이용하여 적어도 하나의 소실점 및 소실 선을 검출할 수 있다. 이는 이미 도 1에서 상세히 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.For example, the cameraparameter calibrating unit 710 may detect the foot position and the head position of the object region, and then use at least one of the parallel line and the background line information that connects the detected foot position and the head position, A missing line can be detected. Since this is the same as that described in detail in FIG. 1, redundant description will be omitted.

깊이 추정부(715)는 카메라 파라미터 교정 결과를 이용하여 객체의 일부 위치를 3D 공간상의 지면으로 역 투영하여 객체의 깊이를 추정하는 기능을 한다.Thedepth estimator 715 estimates the depth of the object by projecting the position of a part of the object back to the ground on the 3D space using the camera parameter correction result.

검출부(720)는 추정된 객체의 깊이와 이전 프레임에서 추정된 객체의 깊이를 이용하여 객체의 깊이 변화량을 추정하고, 상기 객체의 깊이 변화량을 이용하여 현재 프레임에서의 객체의 가려짐을 검출하는 기능을 한다.The detectingunit 720 estimates the depth variation of the object using the depth of the estimated object and the depth of the object estimated in the previous frame and detects the clipping of the object in the current frame using the depth variation of the object do.

메모리(725)는 영상에서 객체를 추출한 후 객체의 깊이 변화량을 추정하여 가려짐 상황을 검출하는 방법을 수행하기 위해 필요한 다양한 알고리즘, 이 과정에서 파생되는 다양한 데이터 등을 저장하기 위한 수단이다.Thememory 725 is a means for storing various algorithms necessary for performing a method of detecting the occluded state by estimating the depth variation of the object after extracting the object from the image, various data derived from the process, and the like.

프로세서(730)는 본 발명의 일 실시예에 따른 객체 가려짐 검출 장치(100)의 내부 구성 요소들(예를 들어, 카메라 파라미터 교정부(710), 깊이 추정부(715), 검출부(720), 메모리(725) 등)을 제어하기 위한 수단이다.Theprocessor 730 may include internal components (e.g., a cameraparameter calibration unit 710, adepth estimator 715, a detector 720) of the objectocclusion detection apparatus 100 according to an embodiment of the present invention. ,Memory 725, etc.).

상술한 객체 가려짐 검출 장치(100)는 감시 카메라 등에 일부 구성으로 포함되어 객체 추적 및 인식에 이용될 수 있다.The above-described object clippingdetection apparatus 100 may be included in a surveillance camera or the like and used for object tracking and recognition.

도 8은 본 발명의 일 실시예에 따른 객체 가려짐 검출 결과를 도시한 도면이다.FIG. 8 is a diagram illustrating an object cloaking detection result according to an embodiment of the present invention.

도 8의 (a)는 배경에 의해 가려진 객체의 검출 결과를 나타내고, 도 8의 (b)는 다른 객체에 의해 가려진 객체를 검출한 결과를 나타내며, 도 8의 (c)는 다른 테스트 영상에서의 검출 결과를 나타내며, 도 8의 (d)는 다른 테스트 영상에서 발 위치의 y축 값의 검출이 가려짐에 의해 잘못 검출된 결과이다.8 (a) shows the detection result of the object obscured by the background, FIG. 8 (b) shows the detection result of the object obscured by the other object, and FIG. 8 (c) 8 (d) is a result of erroneously detecting the detection of the y-axis value of the foot position in another test image.

도 8의 (d)는 객체의 깊이 정보를 이용하지 않음으로써 객체 검출에 오류가 발생한 반면, 본 발명은 3D 공간에서 객체의 깊이 정보를 이용하여 장면에 불변한 방법으로 객체 가려짐을 정확하게 검출할 수 있는 것을 알 수 있다.FIG. 8 (d) shows an error in object detection due to the fact that the object depth information is not used. On the other hand, the present invention can accurately detect object clipping in the scene using the depth information of the object in 3D space .

한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.On the other hand, the components of the above-described embodiment can be easily grasped from a process viewpoint. That is, each component can be identified as a respective process. Further, the process of the above-described embodiment can be easily grasped from the viewpoint of the components of the apparatus.

또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, the above-described technical features may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks, and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.It will be apparent to those skilled in the art that various modifications, additions and substitutions are possible, without departing from the spirit and scope of the invention as defined by the appended claims. Should be regarded as belonging to the following claims.

100: 객체 가려짐 검출 장치
710: 카메라 파라미터 교정부
715: 깊이 추정부
720: 검출부
725: 메모리
730: 프로세서100: object detection device
710: camera parameter calibration
715:
720:
725: Memory
730: Processor

Claims (10)

Translated fromKorean

(a) 현재 프레임을 배경 모델에 입력한 후 상기 배경 모델을 이용하여 객체 영역을 추출하고, 상기 추출된 객체 영역을 이용하여 소실점 및 소실 선을 검출하는 단계;
(b) 상기 소실점 및 소실 선을 이용하여 카메라 파라미터를 교정하는 단계;
(c) 카메라 파라미터 교정 결과를 이용하여 상기 객체의 일부 위치를 3D 공간상의 지면으로 역 투영하여 객체의 깊이를 추정하는 단계;
(d) 상기 추정된 객체의 깊이와 이전 프레임에서 추정된 객체의 깊이를 이용하여 객체의 깊이 변화량을 추정하는 단계; 및
(e) 상기 객체의 깊이 변화량을 이용하여 상기 현재 프레임에서의 객체의 가려짐을 검출하는 단계를 포함하되,
(a) 단계는,
상기 검출된 발 위치 및 머리 위치의 개수가 기준 개수 보다 작은 경우, 배경 선 정보와 교차되는 적어도 3개의 교차점을 소실점으로 선택하는 단계;
상기 선택된 소실점 중 적어도 하나를 수직 소실점으로 검출하는 단계; 및
상기 선택된 소실점 중 나머지 소실점을 연결하는 선을 수평 소실 선으로 검출하는 단계를 포함하는 것을 특징으로 하는 객체 가려짐 검출 방법.
(a) inputting a current frame into a background model, extracting an object region using the background model, and detecting a vanishing point and a vanishing line using the extracted object region;
(b) calibrating camera parameters using the vanishing point and the vanishing line;
(c) estimating the depth of an object by projecting a part of the object back to the ground on the 3D space using the camera parameter correction result;
(d) estimating a depth variation of the object using the depth of the estimated object and the depth of the object estimated in the previous frame; And
(e) detecting cloaking of the object in the current frame using a depth variation of the object,
(a)
Selecting at least three intersection points intersecting with the background line information as vanishing points when the detected number of foot positions and head positions is smaller than a reference number;
Detecting at least one of the selected vanishing points as a vertical vanishing point; And
And detecting a line connecting the remaining vanishing points among the selected vanishing points as a horizontal vanishing line.
제1 항에 있어서,
상기 (a) 단계는,
상기 객체 영역의 발 위치 및 머리 위치를 검출하는 단계; 및
상기 검출된 발 위치 및 머리 위치를 연결한 평행선과 배경 선 정보 중 적어도 하나를 이용하여 상기 소실점 및 소실 선을 검출하는 단계를 포함하는 객체 가려짐 검출 방법.
The method according to claim 1,
The step (a)
Detecting a foot position and a head position of the object region; And
Detecting the vanishing point and the vanishing line by using at least one of parallel line and background line information connecting the detected foot position and head position.
삭제delete제2 항에 있어서, 상기 (a) 단계는,
상기 검출된 발 위치 및 머리 위치의 개수가 기준 개수보다 많고, 상기 객체가 선형적으로 이동하는 경우, 상기 객체의 발 위치와 머리 위치를 이용하여 수직 소실점을 검출하는 단계; 및
배경 선 정보를 이용하여 수평 소실 선을 검출하는 단계를 포함하는 것을 특징으로 하는 객체 가려짐 검출 방법.
3. The method of claim 2, wherein step (a)
Detecting a vertical vanishing point using the foot position and the head position of the object when the number of detected foot positions and head positions is larger than a reference number and the object linearly moves; And
And detecting the horizontal disappearance line using the background line information.
제2 항에 있어서, 상기 (a) 단계는,
상기 검출된 발 위치 및 머리 위치의 개수가 기준 개수보다 많고, 상기 객체가 선형적으로 이동하지 않은 경우, 상기 검출된 발 위치와 상기 머리 위치를 연결한 선을 이용하여 수직 소실점을 검출하는 단계; 및
상기 검출된 발 위치를 연결한 선과 상기 머리 위치를 연결한 선을 이용하여 수평 소실점을 결정하고, 상기 결정된 수평 소실점을 연결하여 수평 소실 선을 검출하는 단계를 포함하는 것을 특징으로 하는 객체 가려짐 검출 방법.
3. The method of claim 2, wherein step (a)
Detecting a vertical vanishing point using a line connecting the detected foot position and the head position when the number of the detected foot positions and head positions is greater than a reference number and the object does not move linearly; And
Determining a horizontal vanishing point using a line connecting the detected foot position and a line connecting the head position and connecting the determined horizontal vanishing point to detect a horizontal vanishing line, Way.
제1 항에 있어서, 상기 (b) 단계는,
상기 소실점과 소실 선을 이용하여 하기 수학식을 기반으로 카메라 파라미터를 교정하는 것을 특징으로 하는 객체 가려짐 검출 방법.

여기서,

는 초점 길이를 나타내고,

는 롤각을 나타내며,

는 틸트 각을 나타내고,

는 카메라 높이를 나타내며,

는 수평 소실 선을 나타내고,

는 수직 소실 점을 나타내고,

는 객체 높이를 나타내고,

는 객체의 발 위치를 나타내고,

는 객체의 머리 위치를 나타내고,

는 위치 A와 위치 B 사이의 거리를 나타냄.
The method of claim 1, wherein the step (b)
Wherein the camera parameter is corrected based on the following equation using the vanishing point and the vanishing line.

here,

Represents the focal length,

Represents a roll angle,

Represents a tilt angle,

Represents the height of the camera,

Indicates a horizontal disappearance line,

Represents a vertical vanishing point,

Represents the height of the object,

Represents the foot position of the object,

Represents the head position of the object,

Represents the distance between position A and position B.
제1 항에 있어서, 상기 (c) 단계는,
상기 객체의 발 위치를 3D 공간상의 기준 평면으로 역투영하여 상기 객체의 깊이를 추정하는 것을 특징으로 하는 객체 가려짐 검출 방법.
The method of claim 1, wherein the step (c)
And estimating the depth of the object by projecting the foot position of the object back to the reference plane in the 3D space.
제1 항 내지 제2항, 제4항 내지 제7 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체.
7. A computer-readable recording medium having recorded thereon a program code for performing the method according to any one of claims 1 to 4,
현재 프레임을 배경 모델에 입력한 후 상기 배경 모델을 이용하여 객체 영역을 추출하고, 상기 추출된 객체 영역을 이용하여 소실점 및 소실 선을 검출하고, 상기 소실점 및 소실 선을 이용하여 카메라 파라미터를 교정하는 카메라 파라미터 교정부;
카메라 파라미터 교정 결과를 이용하여 상기 객체의 일부 위치를 3D 공간상의 지면으로 역 투영하여 객체의 깊이를 추정하는 깊이 추정부; 및
상기 추정된 객체의 깊이와 이전 프레임에서 추정된 객체의 깊이를 이용하여 객체의 깊이 변화량을 계산하고, 상기 객체의 깊이 변화량을 이용하여 상기 현재 프레임에서의 객체의 가려짐을 검출하는 검출부를 포함하되,
상기 카메라 파라미터 교정부는,
상기 검출된 발 위치 및 머리 위치의 개수가 기준 개수 보다 작은 경우, 상기 배경 선 정보와 교차되는 적어도 3개의 교차점을 소실점으로 선택하고, 상기 선택된 소실점 중 적어도 하나를 수직 소실점으로 검출하며, 상기 선택된 소실점 중 나머지 소실점을 연결하는 선을 수평 소실 선으로 검출하는 것을 특징으로 하는 객체 가려짐 검출 장치.
A current frame is input to a background model, an object region is extracted using the background model, a vanishing point and a vanishing line are detected using the extracted object region, and camera parameters are corrected using the vanishing point and vanishing line Camera parameter calibration;
A depth estimator for estimating an object depth by projecting a part of the object to a ground on a 3D space using a camera parameter correction result; And
Calculating a depth variation of the object using the depth of the estimated object and the depth of the object estimated in the previous frame and detecting a cloaking of the object in the current frame using the depth variation of the object,
The camera parameter calibrating unit,
Selecting at least three intersection points intersecting with the background line information as a vanishing point when at least one of the detected foot position and head position is smaller than a reference number and detecting at least one of the selected vanishing points as a vertical vanishing point, And a line connecting the remaining vanishing points is detected as a horizontal vanishing line.
제9 항에 있어서, 상기 카메라 파라미터 교정부는,
상기 객체 영역의 발 위치 및 머리 위치를 검출하고, 상기 검출된 발 위치 및 머리 위치를 연결한 평행선과 배경 선 정보 중 적어도 하나를 이용하여 상기 소실점 및 소실 선을 검출한 후 상기 소실점 및 상기 소실 선을 이용하여 상기 카메라 파라미터를 교정하는 것을 특징으로 하는 객체 가려짐 검출 장치.

10. The apparatus according to claim 9,
Detecting a vanishing point and a vanishing line by using at least one of a parallel line and a background line information connecting the detected foot position and the head position and detecting the vanishing point and the vanishing line, And the camera parameter is calibrated using the camera parameter.

Images