본 발명은 고정 카메라 및 이동 카메라를 이용한 영상 분석에 관한 것이다.The present invention relates to image analysis using a fixed camera and a moving camera.
빌딩, 공원 등과 같은 공공장소에 설치된 많은 수의 고정 카메라는 사고 또는 범죄 행위를 검출할 수 있다. 고정 카메라는 주변 환경에 영향을 덜 받으면서 넓은 시야를 확보하기 위해 높은 위치에 주로 설치된다. 특정 위치에 일단 설치되면 이동할 수 없기 때문에, 공공장소에 고정 카메라를 설치할 때에는 사각 영역이 최소화될 수 있도록 위치를 결정하여야 한다. 그러나 고정 카메라를 설치할 수 있는 위치는 도로 구조물(예를 들어, 가로등이나 전주) 또는 건물의 벽에 한정된다. 따라서 도로 구조물이 없는 위치에 고정 카메라를 설치하기 위해서, 폴을 먼저 설치한 후 고정 카메라를 폴에 설치한다. PTZ(Pan-tilt-zoom) 카메라를 포함한 고정 카메라는 설치 위치가 높아질수록 원거리로 촬영할 수는 있지만, 카메라의 수직 하부에 형성되는 사각 영역은 더욱 증가하며, 원거리에 위치한 객체를 촬영할 수 있어도 영상 분석시 식별 불가할 수 있다.A large number of fixed cameras installed in public places such as buildings and parks can detect accidents or criminal acts. Fixed cameras are usually installed in high locations to secure a wide field of view while being less affected by the surrounding environment. Since they cannot be moved once installed in a specific location, the location of fixed cameras in public places must be determined so that blind spots can be minimized. However, the locations where fixed cameras can be installed are limited to road structures (e.g., streetlights or electric poles) or building walls. Therefore, in order to install fixed cameras in locations where there are no road structures, a pole is first installed and then the fixed camera is installed on the pole. Fixed cameras, including PTZ (Pan-tilt-zoom) cameras, can capture long-distance shots as the installation location increases, but the blind spots formed at the vertical bottom of the camera increase further, and even if objects located at a long distance can be captured, they may not be identified during image analysis.
본 발명의 실시예는 고정 카메라와 이동 카메라를 이용하여 넓은 영역을 감시할 수 있는 영상 분석 장치를 제공하고자 한다.An embodiment of the present invention seeks to provide an image analysis device capable of monitoring a wide area using a fixed camera and a moving camera.
한편, 본 발명의 실시예는 고정 카메라에 의해 발생한 사각 영역을 이동 카메라를 이용하여 촬영할 수 있는 영상 분석 장치를 제공하고자 한다.Meanwhile, an embodiment of the present invention seeks to provide an image analysis device capable of capturing a blind area generated by a fixed camera using a moving camera.
또한 본 발명의 실시예는 고정 카메라에 의해 검출된 이벤트의 발생 위치로 이동 카메라를 이동시킬 수 있는 영상 분석 장치를 제공하고자 한다.In addition, an embodiment of the present invention seeks to provide an image analysis device capable of moving a mobile camera to the location where an event detected by a fixed camera occurs.
본 발명의 일 측면에 따르면, 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치가 제공된다. 영상 분석 장치는 고정 카메라로부터 수신한 제1 영상 및 이동 카메라로부터 수신한 제2 영상을 전처리하는 영상 데이터 처리 모듈, 및 상기 제1 영상의 객체 중 분석 가능한 제1 객체를 검출 및 추적하고, 상기 제1 영상의 객체 중 연속 추적할 제2 객체를 검출하면 상기 제2 객체를 촬영하여 상기 제2 영상을 생성하도록 상기 이동 카메라를 제어하고, 상기 제2 객체에 대응하는 분석 가능한 제3 객체를 상기 제2 영상에서 검출 및 추적하며, 이벤트 조건에 부합하는 이벤트를 상기 제1 영상 및 상기 제2 영상에서 검출하는 영상 분석 모듈을 포함할 수 있다.According to one aspect of the present invention, an image analysis device using a fixed camera and a mobile camera is provided. The image analysis device may include an image data processing module for preprocessing a first image received from a fixed camera and a second image received from a mobile camera, and an image analysis module for detecting and tracking an analyzable first object among objects in the first image, controlling the mobile camera to capture a second object to be continuously tracked when the second object is detected among objects in the first image to generate the second image, detecting and tracking an analyzable third object corresponding to the second object in the second image, and detecting an event satisfying an event condition in the first image and the second image.
일 실시예로, 상기 영상 분석 모듈은 상기 제1 영상에서 상기 제1 객체 및 상기 제2 객체를 검출하며, 상기 제2 영상에서 상기 제3 객체를 식별하는 객체 검출부, 상기 제1 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 제2 영상에서 상기 제3 객체의 움직임을 추적하는 객체 추적부, 상기 제1 객체의 움직임 및 상기 제3 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부 및 상기 제2 객체의 위치를 산출하고, 산출된 위치를 향해 이동하여 상기 제3 객체를 촬영하도록 상기 이동 카메라를 제어하는 이동 제어부를 포함할 수 있다.In one embodiment, the image analysis module may include an object detection unit that detects the first object and the second object in the first image and identifies the third object in the second image, an object tracking unit that tracks movement of the first object in the first image and tracks movement of the third object in the second image, an event detection unit that analyzes movement of the first object and movement of the third object to detect the event, and a movement control unit that calculates a position of the second object and controls the mobile camera to move toward the calculated position and photograph the third object.
일 실시예로, 상기 이벤트 검출부는 상기 제1 영상 및 상기 제2 영상을 딥러닝 방식으로 분석하여 이벤트를 검출하는 딥러닝 이벤트 검출부 및 상기 제1 영상 및 상기 제2 영상을 룰 기반 방식으로 분석하여 이벤트를 검출하는 룰 기반 이벤트 검출부를 포함할 수 있다.In one embodiment, the event detection unit may include a deep learning event detection unit that analyzes the first image and the second image in a deep learning manner to detect an event, and a rule-based event detection unit that analyzes the first image and the second image in a rule-based manner to detect an event.
일 실시예로, 상기 이동 카메라는 비행 드론에 장착되며, 상기 이동 제어부는 상기 제3 객체를 향해 경로를 설정하여 상기 비행 드론을 이동시킬 수 있다.In one embodiment, the mobile camera is mounted on a flying drone, and the movement control unit can move the flying drone by setting a path toward the third object.
일 실시예로, 상기 이동 카메라는 로봇에 장착되며, 상기 이동 제어부는 상기 제3 객체를 향해 경로를 설정하여 상기 로봇을 이동시킬 수 있다.In one embodiment, the mobile camera is mounted on a robot, and the movement control unit can move the robot by setting a path toward the third object.
일 실시예로, 상기 이동 제어부는 상기 고정 카메라의 촬영 범위에 의해 정의된 전체 사각 영역의 적어도 일부 내에 상기 이동 카메라의 경로를 설정할 수 있다.In one embodiment, the movement control unit can set the path of the movement camera within at least a portion of the entire rectangular area defined by the shooting range of the fixed camera.
본 발명의 다른 측면에 따르면, 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치가 제공된다. 영상 분석 장치는 고정 카메라로부터 수신한 제1 영상을 전처리하며, 상기 고정 카메라의 촬영 범위에 의해 정의된 전체 사각 영역의 적어도 일부 내에 설정된 경로를 따라 이동하는 이동 카메라로부터 수신한 제2 영상을 전처리하는 영상 데이터 처리 모듈, 및 분석 가능한 제1 객체를 상기 제1 영상에서 검출 및 추적하고, 연속 추적할 제2 객체를 검출하면 상기 제2 객체에 대응하는 제3 객체를 상기 제2 영상에서 검출 및 추적하며, 상기 제1 객체의 움직임 및 상기 제3 객체의 움직임을 분석하여 이벤트 조건에 부합하는 이벤트를 검출하는 영상 분석 모듈을 포함할 수 있다.According to another aspect of the present invention, an image analysis device using a fixed camera and a mobile camera is provided. The image analysis device may include an image data processing module that preprocesses a first image received from a fixed camera and preprocesses a second image received from a mobile camera moving along a set path within at least a portion of an entire rectangular area defined by a shooting range of the fixed camera, and an image analysis module that detects and tracks an analyzable first object in the first image, detects and tracks a third object corresponding to the second object in the second image when a second object to be continuously tracked is detected, and analyzes the movement of the first object and the movement of the third object to detect an event satisfying an event condition.
일 실시예로, 상기 영상 분석 모듈은 상기 제1 영상에서 상기 제1 객체 및 상기 제2 객체를 검출하며, 상기 제2 영상에서 상기 제3 객체를 식별하는 객체 검출부, 상기 제1 영상에서 상기 제1 객체의 움직임을 추적하며, 상기 제2 영상에서 상기 제3 객체의 움직임을 추적하는 객체 추적부, 상기 경로를 따라 이동하도록 상기 이동 카메라를 제어하는 이동 제어부 및 상기 제1 객체의 움직임 및 상기 제3 객체의 움직임을 분석하여 상기 이벤트를 검출하는 이벤트 검출부를 포함할 수 있다.In one embodiment, the image analysis module may include an object detection unit that detects the first object and the second object in the first image and identifies the third object in the second image, an object tracking unit that tracks movement of the first object in the first image and tracks movement of the third object in the second image, a movement control unit that controls the moving camera to move along the path, and an event detection unit that analyzes movement of the first object and movement of the third object to detect the event.
일 실시예로, 상기 이동 제어부는, 상기 제2 객체의 위치를 산출하고, 상기 경로에서 이탈하여 상기 제3 객체를 촬영한 후 상기 경로로 복귀하도록 상기 이동 카메라를 제어할 수 있다.In one embodiment, the movement control unit may control the moving camera to calculate the position of the second object, deviate from the path, photograph the third object, and then return to the path.
일 실시예로, 상기 이동 카메라는 비행 드론에 장착되며, 상기 이동 제어부는 상기 제3 객체를 향해 경로를 설정하여 상기 비행 드론을 이동시킬 수 있다.In one embodiment, the mobile camera is mounted on a flying drone, and the movement control unit can move the flying drone by setting a path toward the third object.
본 발명의 또 다른 측면에 따르면, 고정 카메라 및 이동 카메라를 이용한 영상 분석 시스템이 제공된다. 영상 분석 시스템은 감시 공간 내에 설치된 고정 카메라로부터 수신한 제1 영상을 분석하여 제1 메타 데이터를 생성하며, 이벤트를 검출하면 이벤트 발생 위치까지의 경로를 산출하는 지역 영상 분석 장치 및 현재 위치부터 상기 이벤트 발생 위치까지 설정된 상기 경로를 따라 이동하며 상기 이벤트 발생 위치에서 생성한 제2 영상을 분석하여 제2 메타 데이터를 생성하는 이동 카메라를 포함할 수 있다.According to another aspect of the present invention, a video analysis system using a fixed camera and a mobile camera is provided. The video analysis system may include a local video analysis device that analyzes a first video received from a fixed camera installed in a surveillance space to generate first metadata, and calculates a path to a location where an event occurs when an event is detected, and a mobile camera that moves along the path set from a current location to the location where the event occurs and analyzes a second video generated at the location where the event occurs to generate second metadata.
일 실시예로, 영상 분석 시스템은 상기 제1 메타 데이터 및 상기 제2 메타 데이터를 수신하여 분석하는 에지 기반 영상 분석 장치를 더 포함할 수 있다.In one embodiment, the image analysis system may further include an edge-based image analysis device that receives and analyzes the first metadata and the second metadata.
일 실시예로, 상기 지역 영상 분석 장치는 상기 감시 공간에 설치된 환경 센서로부터 수신한 측정 데이터를 분석하여 이벤트 발생을 검출하는 측정 데이터 처리 모듈을 포함할 수 있다.In one embodiment, the local image analysis device may include a measurement data processing module that analyzes measurement data received from an environmental sensor installed in the surveillance space to detect an event occurrence.
본 발명의 실시예에 따르면, 넓은 감시 공간을 감시하기 위해 많은 고정 카메라를 설치하는 대신, 고정 카메라와 이동 카메라를 함께 이용함으로써, 넓은 감시 공간을 효율적으로 효율적으로 감시할 수 있다. 특히, 고정 카메라의 사각 영역은 이동 카메라로 촬영할 수 있어서, 감시 공간 전체를 완벽하게 감시할 수 있게 된다.According to an embodiment of the present invention, instead of installing many fixed cameras to monitor a wide surveillance space, a wide surveillance space can be efficiently monitored by using fixed cameras and mobile cameras together. In particular, the blind area of the fixed camera can be captured by the mobile camera, so that the entire surveillance space can be perfectly monitored.
한편, 본 발명에 따른 실시예는 고정 카메라가 촬영한 영상으로부터 검출된 이벤트의 발생 위치로 이동 카메라를 이동시킬 수 있어서, 검출된 이벤트에 관한 더욱 상세한 정보 획득 및 분석을 가능하게 한다.Meanwhile, an embodiment according to the present invention can move a mobile camera to the location where an event detected from an image captured by a fixed camera occurs, thereby enabling acquisition and analysis of more detailed information regarding the detected event.
이하에서 본 발명은 첨부된 도면에 도시된 실시예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다. 특히, 첨부된 도면들은 발명의 이해를 돕기 위해서, 도면에 표현된 요소 중 일부를 다소 과장하여 표현하고 있다.
도 1은 고정 카메라 및 이동 카메라를 이용한 영상 분석을 예시적으로 설명하기 위한 도면이다.
도 2는 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치의 일 실시예를 기능적으로 설명하기 위한 구성도이다.
도 3은 고정 카메라 및 이동 카메라를 이용한 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다.
도 4는 복수의 고정 카메라가 설치된 공간에서 사각 영역이 발생하는 이유를 예시적으로 설명하기 위한 도면이다.
도 5는 고정 카메라 및 이동 카메라를 이용한 영상 분석의 다른 실시예를 예시적으로 설명하기 위한 흐름도이다.
도 6은 도 5에 예시된 공간에서 전체 사각 영역을 정의하는 과정을 예시적으로 설명하기 위한 도면이다.
도 7은 고정 카메라 및 이동 카메라를 이용한 영상 분석 시스템의 일 실시예를 기능적으로 설명하기 위한 구성도이다.
도 8은 도 7에 예시된 영상 분석 시스템에 의해 실행되는 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다.
도 9는 고정 카메라 및 이동 카메라를 이용한 영상 분석의 적용 분야를 예시적으로 설명하기 위한 도면이다.Hereinafter, the present invention will be described with reference to embodiments illustrated in the accompanying drawings. To facilitate understanding, the same reference numerals are assigned to the same components throughout the accompanying drawings. The configurations illustrated in the accompanying drawings are merely exemplary embodiments implemented to explain the present invention, and are not intended to limit the scope of the present invention. In particular, the accompanying drawings somewhat exaggerate some of the elements depicted in the drawings to facilitate understanding of the invention.
Figure 1 is a drawing for exemplarily explaining image analysis using a fixed camera and a moving camera.
Figure 2 is a configuration diagram for functionally explaining one embodiment of an image analysis device using a fixed camera and a moving camera.
Figure 3 is a flowchart illustrating an example of image analysis using a fixed camera and a moving camera.
Figure 4 is a drawing to exemplarily explain why a blind spot occurs in a space where multiple fixed cameras are installed.
Figure 5 is a flowchart illustrating another embodiment of image analysis using a fixed camera and a moving camera.
Figure 6 is a drawing for exemplarily explaining the process of defining an entire rectangular area in the space illustrated in Figure 5.
Figure 7 is a configuration diagram for functionally explaining one embodiment of an image analysis system using a fixed camera and a moving camera.
FIG. 8 is a flowchart exemplarily illustrating one embodiment of image analysis performed by the image analysis system illustrated in FIG. 7.
Figure 9 is a drawing for exemplarily explaining the application fields of image analysis using fixed cameras and moving cameras.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 특히, 이하에서 첨부된 도면을 참조하여 설명될 기능, 특징, 실시예들은 단독으로 또는 다른 실시예와 결합하여 구현될 수 있다. 따라서 본 발명의 범위가 첨부된 도면에 도시된 형태에만 한정되는 것이 아님을 유의하여야 한다. 한편, 첨부된 도면 전체에 걸쳐서, 동일하거나 유사한 요소는 동일한 도면 부호를 사용하여 인용된다.The present invention can have various modifications and embodiments, and thus specific embodiments are illustrated in the drawings and described in detail through the detailed description. However, this is not intended to limit the present invention to specific embodiments, but should be understood to include all modifications, equivalents, and substitutes included in the spirit and technical scope of the present invention. In particular, the functions, features, and embodiments described below with reference to the attached drawings can be implemented alone or in combination with other embodiments. Therefore, it should be noted that the scope of the present invention is not limited to the forms illustrated in the attached drawings. Meanwhile, throughout the attached drawings, identical or similar elements are cited using the same drawing reference numerals.
도 1은 고정 카메라 및 이동 카메라를 이용한 영상 분석을 예시적으로 설명하기 위한 도면이다.Figure 1 is a drawing for exemplarily explaining image analysis using a fixed camera and a moving camera.
고정 카메라 및 이동 카메라를 이용한 영상 분석은 고정 카메라가 촬영한 영상에서 검출된 객체를 이동 카메라도 촬영하여 객체 관련 이벤트를 검출(이하에서, 연속 추적이라 함)하거나, 고정 카메라가 촬영할 수 없는 사각 영역에 위치한 객체를 검출(이하에서, 확장 추적이라 함)하는 방식이다. 연속 추적은 고정 카메라로 촬영한 영상에서 검출된 동일 객체를 촬영하도록 이동 카메라를 탑재한 비행 드론 또는 로봇을 객체를 향해 이동시켜 촬영하는 방식이다. 확장 추적은 고정 카메라의 사각 영역을 이동 카메라가 경로를 따라 이동하면서 촬영하여 감시 공간에서 사각 영역을 실질적으로 제거하는 방식이다. 연속 추적과 확장 추적은 독립적으로 수행될 수 있지만, 필요한 경우 확장 추적중인 이동 카메라가 연속 추적을 수행할 수도 있다. 이하에서, 이동 카메라는 비행 드론, 로봇 이외에도 다양한 이동 수단에 탑재될 수 있으며 비행 드론 또는 로봇은 이동 카메라를 지정된 위치로 이동시키기 위한 이동 수단이므로, 이하에서는 필요한 경우가 아니면 이동 카메라의 이동 수단을 언급하지 않는다.Image analysis using fixed cameras and mobile cameras is a method of detecting object-related events by shooting an object detected in an image shot by a fixed camera with a moving camera (hereinafter, referred to as continuous tracking) or detecting an object located in a blind area that a fixed camera cannot shoot (hereinafter, referred to as extended tracking). Continuous tracking is a method of moving a flying drone or robot equipped with a moving camera toward an object to shoot the same object detected in an image shot by a fixed camera. Extended tracking is a method of shooting the blind area of a fixed camera while the moving camera moves along a path to substantially remove the blind area from the surveillance space. Continuous tracking and extended tracking can be performed independently, but if necessary, a moving camera undergoing extended tracking can also perform continuous tracking. In the following, the mobile camera can be mounted on various means of transportation in addition to a flying drone or robot, and since a flying drone or robot is a means of transportation for moving a mobile camera to a specified location, the means of transportation of the mobile camera will not be mentioned unless necessary.
연속 추적은 도 1에 예시되어 있다. (a)는 이동 카메라가 사람 객체로 접근하여 촬영하는 예를 나타내며, (b)는 이동 카메라가 사람 객체를 추적하면서 촬영하는 예를 각각 나타낸다. 두 예에서, 감시 공간(10)은 1대의 고정 카메라 F1 및 2대의 이동 카메라 M1, M2에 의해 촬영되며, 이동 카메라 M1, M2는 경로(15, 16)를 따라 이동한다.Continuous tracking is illustrated in Fig. 1. (a) shows an example of a moving camera approaching a human object and filming it, and (b) shows an example of a moving camera tracking and filming the human object, respectively. In both examples, the surveillance space (10) is filmed by one fixed camera F1 and two moving cameras M1, M2, and the moving cameras M1, M2 move along a path (15, 16).
(a)에서, 제1 영상(12)은 고정 카메라 F1의 촬영 범위(11) 내에 위치한 사람 객체를 나타낸다. 사람 객체(13)는 촬영 범위(11)에 새로 진입했으며, 고정 카메라 F1은 사람 객체(13)의 얼굴을 촬영하지 못했다. 감시 공간(10)을 이동중인 2대의 M1, M2 중에서 사람 객체(13)의 예상 이동 방향과 교차하는 경로로 이동중인 이동 카메라 M1이 선택될 수 있다. 이동 카메라 M1은 사람 객체(13)를 향해 이동하여 제2 영상(14)을 생성할 수 있다. 사람 객체(13)의 얼굴을 촬영하면, 이동 카메라 M1은 경로(15)로 되돌아갈 수 있다.In (a), the first image (12) represents a human object located within the shooting range (11) of the fixed camera F1. The human object (13) has newly entered the shooting range (11), and the fixed camera F1 has failed to capture the face of the human object (13). Among the two cameras M1 and M2 moving in the surveillance space (10), the mobile camera M1 moving along a path intersecting the expected moving direction of the human object (13) may be selected. The mobile camera M1 may move toward the human object (13) to generate the second image (14). When the face of the human object (13) is captured, the mobile camera M1 may return to the path (15).
(b)에서, 사람 객체(13)는 고정 카메라 F1의 촬영 범위(11)를 완전히 벗어났다. 카메라의 촬영 범위는 카메라의 시야각 또는 초점 거리에 의해 결정될 수 있다. 본 명세서에서 촬영 범위는 카메라로부터 촬영한 객체가 식별 가능한 위치까지 연장된 부채꼴 모양 영역을 의미한다. 촬영 범위(11)의 좌우측은 사각 영역이다. 이동 카메라 M1은 경로를 변경하여 사람 객체(13)를 계속해서 추적할 수 있다.In (b), the human object (13) is completely out of the shooting range (11) of the fixed camera F1. The shooting range of the camera can be determined by the field of view or focal length of the camera. In this specification, the shooting range means a fan-shaped area extending from the camera to a position where the object shot is identifiable. The left and right sides of the shooting range (11) are rectangular areas. The moving camera M1 can continuously track the human object (13) by changing the path.
도 2는 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치의 일 실시예를 기능적으로 설명하기 위한 구성도이다.Figure 2 is a configuration diagram for functionally explaining one embodiment of an image analysis device using a fixed camera and a moving camera.
도 2를 참조하면, 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치는 영상 데이터 처리 모듈(100) 및 영상 분석 모듈(200)을 포함할 수 있다. 영상 데이터 처리 모듈(100)은 하나 이상의 고정 카메라(20) 및 하나 이상의 이동 카메라(25)로부터 통신망(30)을 통해 영상을 수신하며, 수신한 영상을 영상 분석에 적합하게 전처리한다. 영상 분석 모듈(200)은 전처리된 영상에서 객체를 검출하고, 객체의 움직임을 추적하며, 추적중인 객체의 행위를 분석하여 이벤트를 검출한다. 영상 데이터 처리 모듈(100)과 영상 분석 모듈(200)은 물리적으로 하나의 서버에서 독립적으로 실행되거나, 통신망을 통해 연결된 지능형 에지 장치와 서버에서 실행되는 모듈 형태의 소프트웨어일 수 있다. 영상 데이터 처리 모듈(100)과 영상 분석 모듈(200), 및 각 모듈에 포함된 서브 모듈들은 지능형 에지 장치와 서버에 분산되어 실행될 수도 있다. 즉, 서버 또는 지능형 에지 장치는 하나 이상의 중앙처리장치(예를 들어, CPU, GPU 등), 반도체 메모리, 통신 모뎀 칩 등과 같은 물리적 구성 요소를 포함하며, 영상 데이터 처리 모듈(100) 및 영상 분석 모듈(200)은 메모리에 로딩된 프로그램이 CPU에 의해 실행되는 동작을 기능적으로 구분하여 표현한 것이다.Referring to FIG. 2, an image analysis device using a fixed camera and a mobile camera may include an image data processing module (100) and an image analysis module (200). The image data processing module (100) receives images from one or more fixed cameras (20) and one or more mobile cameras (25) through a communication network (30), and preprocesses the received images to be suitable for image analysis. The image analysis module (200) detects objects in the preprocessed images, tracks the movement of the objects, and analyzes the behavior of the objects being tracked to detect events. The image data processing module (100) and the image analysis module (200) may be independently executed on a physical server, or may be software in the form of modules executed on an intelligent edge device and server connected through a communication network. The image data processing module (100) and the image analysis module (200), and the sub-modules included in each module may be distributed and executed on the intelligent edge device and server. That is, a server or intelligent edge device includes physical components such as one or more central processing units (e.g., CPU, GPU, etc.), semiconductor memory, communication modem chips, etc., and an image data processing module (100) and an image analysis module (200) are functionally distinct expressions of operations in which a program loaded into memory is executed by the CPU.
고정 카메라(20)는 2차원 영상 또는 3차원 영상을 생성하는 CCTV, IP 카메라 등일 수 있다. 고정 카메라(20)는 넓은 시야를 확보하기 위해 일정 높이로 설치될 수 있다.The fixed camera (20) may be a CCTV, IP camera, etc. that generates a two-dimensional image or a three-dimensional image. The fixed camera (20) may be installed at a certain height to secure a wide field of view.
이동 카메라(25)는 2차원 영상 또는 3차원 영상을 생성하는 IP 카메라 등일 수 있다. 이동 카메라(25)는 비행 드론, 로봇 등과 같은 이동 수단에 장착되어 이동한다. 따라서 이동 카메라(25)의 촬영 범위는 이동 수단을 통해 변경 가능하다.The mobile camera (25) may be an IP camera that generates a two-dimensional image or a three-dimensional image. The mobile camera (25) is mounted on a moving vehicle such as a flying drone or robot and moves. Therefore, the shooting range of the mobile camera (25) can be changed through the moving vehicle.
통신망(30)은 영상의 전송이 가능한 유선, 무선 또는 유무선 혼합 데이터 통신망일 수 있다. 유선 통신망은 패킷 형태의 디지털 데이터 전송을 위한 통신 프로토콜을 지원하는 전용선이나 케이블망 등일 수 있으며, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 뿐 아니라, 와이파이 이외에 블루투스, 지그비 등과 같이, 무선 신호를 이용하여 데이터를 전송하는 통신 시스템일 수 있다.The communication network (30) may be a wired, wireless, or wired/wireless hybrid data communication network capable of transmitting images. The wired communication network may be a dedicated line or cable network that supports a communication protocol for transmitting digital data in packet form, and the wireless communication network may be a communication system that transmits data using wireless signals, such as CDMA, WCDMA, GSM, EPC (Evolved Packet Core), LTE (Long Term Evolution), Wibro, and, in addition to Wi-Fi, Bluetooth, Zigbee, etc.
영상 데이터 처리 모듈(100)은 RTSP 클라이언트(110), 디코더(120) 및 영상 전처리부(130)를 포함할 수 있다. RTSP 클라이언트(110)는 영상 전송 프로토콜, 예를 들어, RTSP(Real time streaming protocol)를 지원하는 통신 모뎀으로, 통신망(30)을 통해 고정 카메라(20) 및 이동 카메라(25)로부터 영상 데이터를 수신한다. 디코더(120)는 수신된 영상 데이터를 디코딩하여 영상을 복원한다. 영상 전처리부(130)는 영상 분석에 적합하도록, 복원된 영상의 해상도, 크기 등을 변경하거나 컬러 영상을 흑백 영상으로 변환한다. 추가적으로, 영상 전처리부(130)는 3차원 영상 분석을 위해, 복원된 영상을 처리할 수 있다. 디코더(120) 및 영상 전처리부(130)는 CPU 또는 GPU에 의해 실행되는 모듈일 수 있다.The video data processing module (100) may include an RTSP client (110), a decoder (120), and a video preprocessing unit (130). The RTSP client (110) is a communication modem that supports a video transmission protocol, for example, RTSP (Real Time Streaming Protocol), and receives video data from a fixed camera (20) and a mobile camera (25) through a communication network (30). The decoder (120) decodes the received video data to restore the video. The video preprocessing unit (130) changes the resolution, size, etc. of the restored video to be suitable for video analysis, or converts a color video to a black-and-white video. Additionally, the video preprocessing unit (130) may process the restored video for 3D video analysis. The decoder (120) and the video preprocessing unit (130) may be modules executed by a CPU or a GPU.
영상 분석 모듈(200)은 객체 검출부(210), 객체 추적부(220), 이동 제어부(230) 및 이벤트 검출부(240)를 포함할 수 있다. 객체 검출, 객체 식별 및 객체 추적은 분리할 수 없는 일련의 과정으로도 수행될 수 있음을 이해하여야 한다. 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치는 둘 이상의 영상 분석 방식에 적용하기 위해 필요한, 객체의 검출 및 추적을 독립적으로 수행함으로써, 중복되거나 불필요한 연산이 감소되며, 동시에 둘 이상의 영상 분석 방식이 병행 또는 적응적으로 수행될 수 있도록 한다.The image analysis module (200) may include an object detection unit (210), an object tracking unit (220), a movement control unit (230), and an event detection unit (240). It should be understood that object detection, object identification, and object tracking may also be performed as a series of inseparable processes. The image analysis device using a fixed camera and a moving camera independently performs object detection and tracking, which are necessary for applying two or more image analysis methods, thereby reducing redundant or unnecessary operations, and simultaneously enabling two or more image analysis methods to be performed in parallel or adaptively.
객체 검출부(210)는 전처리 영상에서 하나 이상의 객체를 검출하며, 검출된 객체를 유형별로 분류할 수 있다. 객체 검출부(210)는 예를 들어, 객체 이미지를 이용하여 학습된 객체 검출 모듈, 또는 객체를 표현한 템플릿을 이용하는 객체 검출 모듈일 수 있다. 특히, 객체 검출부(210)는 3차원 기하학 필터를 적용하여, 검출된 객체를 표현할 수 있는 3차원 좌표값을 결정할 수 있다. 결정된 3차원 좌표값을 이용하면, 검출된 객체는 3차원 도형으로 영상에 표출되거나 객체 추적에 이용될 수 있다. 또한, 객체 검출부(210)는 환경 필터를 적용하여, 영상에서 노이즈를 제거할 수 있다.The object detection unit (210) detects one or more objects from a preprocessed image and can classify the detected objects by type. The object detection unit (210) may be, for example, an object detection module learned using an object image, or an object detection module using a template expressing an object. In particular, the object detection unit (210) may apply a three-dimensional geometric filter to determine three-dimensional coordinate values that can express the detected object. Using the determined three-dimensional coordinate values, the detected object may be displayed in an image as a three-dimensional shape or may be used for object tracking. In addition, the object detection unit (210) may apply an environmental filter to remove noise from the image.
객체 검출부(210)는 고정 카메라(20) 및 이동 카메라(25)에 의해 촬영된 영상에서 동일 객체를 식별할 수 있다. 하나 이상의 고정 카메라(20) 및 하나 이상의 이동 카메라(25)로 구성된 다중 카메라 환경에서, 동일 객체는 고정 카메라(20)가 촬영한 제1 영상 및 이동 카메라(25)가 촬영한 제2 영상에 표출된다. 객체 검출부(210)는 예를 들어, 딥러닝 분석을 통해, 검출된 객체의 속성을 추출하며, 기존에 등록된 객체의 속성과 비교하여, 두 영상에 각각 표출된 객체가 동일 객체인지를 판단할 수 있다. 판단 결과에 따라, 예를 들어, 기존에 등록된 객체와 일치할 확률(이하 유사도)이 표출되거나, 제1 영상의 분석 결과로 부여되었던 객체 식별자가 제2 영상에서 검출된 객체에 다시 부여될 수 있다.The object detection unit (210) can identify the same object in images captured by the fixed camera (20) and the mobile camera (25). In a multi-camera environment composed of one or more fixed cameras (20) and one or more mobile cameras (25), the same object is displayed in the first image captured by the fixed camera (20) and the second image captured by the mobile camera (25). The object detection unit (210) can extract the properties of the detected object, for example, through deep learning analysis, and compare them with the properties of previously registered objects to determine whether the objects displayed in each of the two images are the same object. Depending on the determination result, for example, the probability of matching with a previously registered object (hereinafter, “similarity”) may be displayed, or the object identifier assigned as a result of the analysis of the first image may be re-assigned to the object detected in the second image.
객체 검출부(210)는 객체의 유형에 따라, 해당 객체를 식별하는데 적절한 속성을 이용할 수 있다. 사람 객체의 경우, 객체 검출부(210)는 예를 들어, 시각적 특징, 얼굴 특징, 걸음 걸이 특징 등을 이용하여 사람 객체를 재인식할 수 있다. 시각적 특징으로는, 사람 객체의 키, 착용한 옷의 종류나 색깔 등이 이용될 수 있다. 차량 객체의 경우, 차종, 색깔, 차량 번호 등을 이용하여 객체를 재인식할 수 있다.The object detection unit (210) can use appropriate properties to identify the object depending on the type of the object. In the case of a human object, the object detection unit (210) can re-recognize the human object using, for example, visual features, facial features, gait features, etc. As visual features, the height of the human object, the type or color of the clothes worn, etc. can be used. In the case of a vehicle object, the object can be re-recognized using the vehicle type, color, vehicle number, etc.
객체 추적부(220)는 검출된 객체의 움직임을 추적한다. 객체 추적부(220)는 객체의 움직임 예측을 통해 객체를 추적하거나, 객체의 속성을 비교하여 객체를 추적할 수 있다. 객체 추적 방식은 제1 영상(또는 프레임)에서 검출된 객체의 움직임을 예측하거나 속성을 검출하고, 이를 제2 영상(또는 프레임)에서 검출된 객체와 비교하여 두 객체가 동일 객체인지를 판단한다. 영상을 구성하는 매크로 블록 단위로 비교하여 객체의 움직임을 추적하거나 영상에서 배경을 제거하여 객체만 영상에 남도록 하여 객체 검출 및 움직임을 추적하는 방식 등과 같이, 다양한 객체 추적 방식이 적용될 수 있다.The object tracking unit (220) tracks the movement of the detected object. The object tracking unit (220) can track the object by predicting the movement of the object or by comparing the properties of the object. The object tracking method predicts the movement of the object detected in the first image (or frame) or detects the properties, and compares it with the object detected in the second image (or frame) to determine whether the two objects are the same object. Various object tracking methods can be applied, such as a method of tracking the movement of the object by comparing the macroblock units that constitute the image or a method of detecting and tracking the movement of the object by removing the background from the image so that only the object remains in the image.
이동 제어부(230)는 이동 카메라(25)가 이동하는 경로를 결정한다. 이동 카메라(25)는 미리 설정된 경로를 따라 이동하거나 장애물을 피해 랜덤한 경로로 이동할 수 있다. 이동 카메라(25)의 경로는 제1 영상에서 연속 추적할 객체 검출시 변경될 수 있다. 연속 추적할 객체는 영상 분석을 위한 속성을 획득하지 못한 객체, 이상 행위를 하는 객체, 사각 영역에 진입하여 더 이상 추적할 수 없는 객체 또는 고정 카메라(20)로부터 멀어져서 더 이상 식별할 수 없는 객체일 수 있다. 이동 제어부(230)는 연속 추적할 객체의 위치 및 이동 카메라(25)의 위치를 산출하여 연속 추적할 객체를 향하도록 이동 카메라(25)의 경로를 변경할 수 있다.The movement control unit (230) determines the path along which the mobile camera (25) moves. The mobile camera (25) can move along a preset path or move along a random path to avoid obstacles. The path of the mobile camera (25) can be changed when an object to be continuously tracked is detected in the first image. The object to be continuously tracked can be an object that has not acquired properties for image analysis, an object that behaves abnormally, an object that has entered a blind area and cannot be tracked any longer, or an object that has moved away from the fixed camera (20) and cannot be identified any longer. The movement control unit (230) can calculate the position of the object to be continuously tracked and the position of the mobile camera (25) and change the path of the mobile camera (25) to face the object to be continuously tracked.
영상 분석 모듈(200)은 이벤트 조건에 부합하는 이벤트를 검출하는 이벤트 검출부(240)를 포함할 수 있다. 이벤트 검출부(240)는 검출된 객체, 객체의 움직임, 및 객체의 주변 환경 중 어느 하나 또는 이들의 조합에 기초하여, 이벤트 조건에 부합하는 이벤트를 검출한다. 이벤트 검출부(240)는 둘 이상의 상이한 영상 분석 방식으로 구동할 수 있다. 예를 들어, 딥러닝 이벤트 검출부는 검출된 객체의 속성을 추출하고, 속성에 기초하여 설정된 이벤트 조건에 부합하는지를 판단하며, 룰 기반 이벤트 검출부는 관심 영역에서 객체의 움직임에 기초하여 이벤트 조건에 부합하는 이벤트를 검출한다. 한편, 딥러닝 분석에 의해 제1 이벤트 조건에 부합하는 객체는 룰 기반 분석에 전달되어, 제2 이벤트 조건에 부합하는지 판단될 수 있다.The image analysis module (200) may include an event detection unit (240) that detects an event that satisfies an event condition. The event detection unit (240) detects an event that satisfies an event condition based on one or a combination of a detected object, movement of the object, and the surrounding environment of the object. The event detection unit (240) may be driven by two or more different image analysis methods. For example, the deep learning event detection unit extracts properties of the detected object and determines whether it satisfies a set event condition based on the properties, and the rule-based event detection unit detects an event that satisfies the event condition based on the movement of the object in the region of interest. Meanwhile, an object that satisfies a first event condition by deep learning analysis may be transferred to a rule-based analysis, and may be determined to satisfies a second event condition.
도 3은 고정 카메라 및 이동 카메라를 이용한 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다.Figure 3 is a flowchart illustrating an example of image analysis using a fixed camera and a moving camera.
S10에서, 하나 이상의 고정 카메라(20)가 감시 공간의 적어도 일부를 촬영하여 하나 이상의 제1 영상을 생성하며, 제1 영상은 영상 분석 모듈(200)에 의해 분석된다. 영상 분석 모듈(200)의 객체 검출부(210)는 제1 영상에 표출된 하나 이상의 객체를 검출하며, 객체 추적부(220)는 각 객체의 움직임을 추적한다.In S10, one or more fixed cameras (20) capture at least a portion of a surveillance space to generate one or more first images, and the first images are analyzed by an image analysis module (200). An object detection unit (210) of the image analysis module (200) detects one or more objects displayed in the first images, and an object tracking unit (220) tracks the movement of each object.
S11에서, 연속 추적할 객체를 검출하며 그 객체의 위치를 산출한다. 연속 추적할 객체는 객체 검출부(210), 객체 추적부(220), 이벤트 검출부(240) 중 어느 하나에 의해 검출될 수 있다. 연속 추적할 객체의 일 예는 영상 분석을 위한 속성을 획득하지 못한 객체일 수 있으며, 예를 들어, 사람 객체의 식별에 필요한 얼굴 정면을 하나 이상의 제1 영상을 통해 획득하지 못하면, 연속 추적할 객체로 분류한다. 연속 추적할 객체의 다른 예는 하나 이상의 제1 영상을 분석하여 추적이 필요한 객체 관련 이벤트, 즉, 이상 행위가 검출된 객체일 수 있다. 연속 추적할 객체의 또 다른 예는 사각 영역에 진입하여 더 이상 추적할 수 없는 객체이며, 하나 이상의 제1 영상에서 더 이상 검출되지 않는 객체일 수 있다. 연속 추적할 객체의 또 다른 예는 고정 카메라(20)로부터 멀어져서 더 이상 식별할 수 없는 객체일 수 있다.In S11, an object to be continuously tracked is detected and the position of the object is calculated. The object to be continuously tracked may be detected by any one of the object detection unit (210), the object tracking unit (220), and the event detection unit (240). An example of an object to be continuously tracked may be an object that has not acquired properties for image analysis, and for example, if a frontal face required for identification of a human object is not acquired through one or more first images, the object is classified as an object to be continuously tracked. Another example of an object to be continuously tracked may be an object for which an event related to an object requiring tracking, i.e., an abnormal behavior, is detected by analyzing one or more first images. Another example of an object to be continuously tracked may be an object that has entered a blind area and cannot be tracked any longer, and may be an object that is no longer detected in one or more first images. Another example of an object to be continuously tracked may be an object that has moved away from a fixed camera (20) and cannot be identified any longer.
연속 추적할 객체의 지리적 위치는 고정 카메라(20)의 위치, 회전(pan) 각도, 틸트(tilt) 각도 등을 이용하여 다양한 방식으로 산출될 수 있다. 이동 카메라(25)의 이동 목적지는 연속 추적 유형에 따라 결정될 수 있다. 사각 영역에 진입한 객체의 경우, 해당 객체가 사라지기 직전까지 검출된 지점을 이동 카메라(25)의 이동 목적지로 결정하여 위치를 산출할 수 있다. 객체가 사각 영역에 진입한 경우를 제외하면, 연속 추적할 객체는 하나 이상의 제1 영상에서 검출되고 있으며, 따라서 이동 카메라(25)의 이동 목적지는 객체의 현재 위치이다.S12에서, 이동 카메라(25)의 위치를 산출하고 연속 추적할 객체까지의 경로를 설정한다. 이동 카메라(25)의 위치는 다양한 측위 방식을 통해 산출될 수 있다. 실외의 경우, GPS(Global positioning system) 등을 이용하여 이동 카메라(25)의 위치가 산출될 수 있다. 실내의 경우, 영상 매칭 방식, 관성 센서 기반 방식, 마커 기반 방식, VLC(Visible light communication) 등을 이용하여 이동 카메라(25)의 위치가 산출될 수 있다. 둘 이상의 이동 카메라(25)가 활용 가능한 경우, 연속 추적할 객체까지의 이동 시간이 짧은 위치에 있는 이동 카메라(25)가 선택될 수 있다.The geographical location of the object to be continuously tracked can be calculated in various ways using the location, pan angle, tilt angle, etc. of the fixed camera (20). The movement destination of the mobile camera (25) can be determined according to the type of continuous tracking. In the case of an object that has entered a rectangular area, the location can be calculated by determining the point detected before the object disappears as the movement destination of the mobile camera (25). Except for the case where the object has entered a rectangular area, the object to be continuously tracked is detected in one or more first images, and therefore the movement destination of the mobile camera (25) is the current location of the object. In S12, the location of the mobile camera (25) is calculated and the path to the object to be continuously tracked is set. The location of the mobile camera (25) can be calculated using various positioning methods. In the case of outdoors, the location of the mobile camera (25) can be calculated using a global positioning system (GPS), etc. In the case of indoors, the position of the mobile camera (25) can be calculated using an image matching method, an inertial sensor-based method, a marker-based method, a VLC (Visible light communication), etc. If two or more mobile cameras (25) are available, a mobile camera (25) located at a position with a short movement time to an object to be continuously tracked can be selected.
이동 카메라(25)의 위치가 산출되면, 연속 추적할 객체까지의 경로가 설정될 수 있다. 경로는 이동 카메라(25)가 탑재된 이동 수단의 유형 또는 이동 속도뿐 아니라 주변의 방해물의 위치를 고려하여 결정될 수 있다. 예를 들어, 비행 드론의 경로는 이동 카메라(25)의 현재 위치로부터 연속 추적할 객체의 위치까지 대부분 직선이며, 경로 중간에 위치한 방해물 주변으로 우회하도록 결정될 수 있다.Once the position of the mobile camera (25) is calculated, a path to the object to be continuously tracked can be set. The path can be determined by considering the type or moving speed of the vehicle on which the mobile camera (25) is mounted, as well as the positions of obstacles in the vicinity. For example, the path of a flying drone is mostly a straight line from the current position of the mobile camera (25) to the position of the object to be continuously tracked, and can be determined to detour around obstacles located in the middle of the path.
S13에서, 이동 카메라(25)는 경로를 따라 이동하여 목적지에 도착하며 제2 영상을 생성한다. 영상 분석 모듈(200)은 제1 영상에서 검출된 연속 추적할 객체와 동일한 객체를 제2 영상에서 식별한다. 객체의 속성을 획득하기 위한 연속 추적의 경우, 사람 객체의 얼굴 정면을 촬영한 후 연속 추적은 종료된다. 반면 이상 행위를 한 객체에 대한 연속 추적은 제2 영상에서 객체가 식별된 이후에도 계속될 수 있다.In S13, the moving camera (25) moves along the path and arrives at the destination, generating a second image. The image analysis module (200) identifies an object identical to the object to be continuously tracked detected in the first image in the second image. In the case of continuous tracking to obtain the properties of the object, continuous tracking ends after capturing the front face of the human object. On the other hand, continuous tracking of an object that has performed an abnormal behavior can continue even after the object is identified in the second image.
S14에서, 제1 영상 및 제2 영상에서 검출 및 추적한 객체에 대한 메타 데이터가 생성되며, 생성된 메타 데이터는 영상 분석에 이용될 수 있다.In S14, metadata for objects detected and tracked in the first and second images are generated, and the generated metadata can be used for image analysis.
도 4는 복수의 고정 카메라가 설치된 공간에서 사각 영역이 발생하는 이유를 예시적으로 설명하기 위한 도면이다.Figure 4 is a drawing to exemplarily explain why a blind spot occurs in a space where multiple fixed cameras are installed.
도 4의 (a)를 참조하면, 복수의 고정 카메라(20a, 20b)를 일정 이상의 높이로 배치할 수 있다면, 아무리 넓은 감시 공간(10)도 충분히 촬영할 수 있다. 그러나 복수의 고정 카메라(20a, 20b)를 설치하더라도, 사각 영역은 완전히 제거될 수 없다. 사각 영역은 고정 카메라(20a, 20b)의 하부 공간, 시야 방해물의 반대편 공간, 촬영 범위(11a, 11b) 밖 공간으로 고정 카메라(20a, 20b)가 객체를 촬영할 수 없는 영역이다. 공항의 여객 터미널이 감시 공간이라고 가정하면, 복수의 PTZ 카메라는 여객 터미널의 대부분을 촬영할 수 있다. 하지만 체크인 카운터와 같은 시야 방해물은 사각 영역을 발생시키며, 이렇게 발생된 사각 영역을 제거하기 위해 PTZ 카메라를 추가적으로 설치하여야 한다.Referring to (a) of Fig. 4, if a plurality of fixed cameras (20a, 20b) can be arranged at a certain height or higher, even a wide surveillance space (10) can be sufficiently captured. However, even if a plurality of fixed cameras (20a, 20b) are installed, blind spots cannot be completely eliminated. The blind spots are the space below the fixed cameras (20a, 20b), the space opposite to a view obstruction, and the space outside the shooting range (11a, 11b), which are areas where the fixed cameras (20a, 20b) cannot capture objects. Assuming that the passenger terminal of an airport is the surveillance space, a plurality of PTZ cameras can capture most of the passenger terminal. However, a view obstruction such as a check-in counter creates a blind spot, and in order to eliminate the blind spot created in this way, a PTZ camera must be additionally installed.
고정 카메라(20a, 20b)는 객체 식별에 필요한 정보 획득에 적합하지 않을 수 있다. 예를 들어, 사람 객체는 얼굴의 랜드마크 분석을 통해 식별될 수 있다. 시야 확보를 위해 높은 위치에 설치된 고정 카메라(20a, 20b)는 사람 객체의 얼굴 정면을 촬영할 수 없다. 한편, 원거리에서 촬영된 영상에 포함된 사람 객체의 얼굴은 해상도가 낮아서 식별이 불가할 수 있다. 특히, 다른 고정 카메라(20a, 20b)에 비해 넓은 촬영 범위를 가진 PTZ 카메라도 카메라의 수직 하부 및 상부 공간을 촬영할 수 없다.The fixed camera (20a, 20b) may not be suitable for obtaining information required for object identification. For example, a human object can be identified through landmark analysis of the face. The fixed camera (20a, 20b) installed at a high position to secure a field of view cannot capture the front of the face of the human object. Meanwhile, the face of the human object included in the image captured from a distance may not be identifiable due to low resolution. In particular, even a PTZ camera with a wide shooting range compared to other fixed cameras (20a, 20b) cannot capture the vertical lower and upper space of the camera.
비행 드론에 의해 이동하는 이동 카메라(25)는 감시 공간(10) 내 사각 영역을 다양한 방식으로 촬영할 수 있다. 도 4의 (a)와 (b)는 이동 카메라(25)가 사각 영역을 촬영하는 두 경우를 각각 나타낸다.A mobile camera (25) moving by a flying drone can photograph a rectangular area within a surveillance space (10) in various ways. Figures 4 (a) and (b) show two cases in which a mobile camera (25) photographs a rectangular area, respectively.
도 4의 (a)에서 이동 카메라(25)는 감시 공간(10)의 적어도 일부 또는 전체가 촬영 범위(11c) 내에 들어오는 높이까지 상승하여 감시 공간(10)을 촬영할 수 있다. 따라서 이동 카메라(25)가 생성한 제2 영상은 사각 영역이 없는 감시 공간(10)을 표출할 수 있다. 제2 영상은 감시 공간(10) 내 혼잡도/피플 카운팅, 사람 객체의 이동 추적 등과 같은 객체 관련 이벤트 검출에 이용될 수 있다. 또한 제2 영상은 감시 공간(10)내 시야 방해물의 위치와 형태를 검출하여 감시 공간에 대한 맵에 반영할 수 있다. 감시 공간(10)이 실외에 위치한 경우, 시야 방해물의 위치와 형태를 자주 변경될 수 있다.In (a) of FIG. 4, the mobile camera (25) can shoot the surveillance space (10) by rising to a height where at least a part or the entire surveillance space (10) is within the shooting range (11c). Therefore, the second image generated by the mobile camera (25) can display the surveillance space (10) without any blind spots. The second image can be used for object-related event detection, such as congestion/people counting, and movement tracking of human objects in the surveillance space (10). In addition, the second image can detect the location and shape of a view obstruction in the surveillance space (10) and reflect it on a map of the surveillance space. If the surveillance space (10) is located outdoors, the location and shape of the view obstruction can change frequently.
한편, 도 4의 (b)에서, 이동 카메라(25)는 감시 공간(10)내 사각 영역에 설정된 경로를 따라 이동하면서 촬영할 수 있다. 비행 드론뿐 아니라 로봇에 탑재된 이동 카메라(25)는 경로를 따라 사각 영역을 이동하면서 객체를 검출할 수 있다. 사람 객체의 얼굴 정면을 촬영하거나, 차량 객체의 번호판 촬영 등과 같이 객체의 속성을 획득해야 하는 경우에 수행될 수 있다. 도 5 내지 도 6은 이동 카메라(25)가 사각 영역에 설정된 경로를 이동하면서 제2 영상을 생성하는 확장 추적에 관한 것이다.Meanwhile, in (b) of Fig. 4, the mobile camera (25) can take pictures while moving along a path set in a rectangular area within the surveillance space (10). The mobile camera (25) mounted on a robot as well as a flying drone can detect an object while moving along a path in a rectangular area. This can be performed when it is necessary to obtain the properties of an object, such as taking a picture of the front face of a human object or taking a picture of a license plate of a vehicle object. Figs. 5 and 6 relate to extended tracking in which the mobile camera (25) moves along a path set in a rectangular area and generates a second image.
도 5는 고정 카메라 및 이동 카메라를 이용한 영상 분석의 다른 실시예를 예시적으로 설명하기 위한 흐름도이며, 도 6은 도 5에 예시된 공간에서 전체 사각 영역을 정의하는 과정을 예시적으로 설명하기 위한 도면이다.FIG. 5 is a flowchart for exemplarily explaining another embodiment of image analysis using a fixed camera and a moving camera, and FIG. 6 is a drawing for exemplarily explaining a process of defining an entire rectangular area in the space illustrated in FIG. 5.
도 5 내지 도 6을 함께 참조하면, S20에서 감시 공간에 설치된 고정 카메라의 촬영 범위를 결정한다. 회전 각도, 틸트 각도, 줌, 시야각, 해상도, 설치 높이 등 촬영 범위에 영향을 미치는 요소들은 고정 카메라마다 상이할 수 있다. 도 6의 (a)에 예시된 바와 같이, 감시 공간에 대한 맵(50)에 고정 카메라별 촬영 범위(51a, 51b)를 표시하면, 나머지 공간은 사각 영역(52)이 된다.Referring to FIGS. 5 and 6 together, the shooting range of a fixed camera installed in a surveillance space is determined in S20. Factors affecting the shooting range, such as rotation angle, tilt angle, zoom, field of view, resolution, and installation height, may be different for each fixed camera. As illustrated in (a) of FIG. 6, when the shooting range (51a, 51b) for each fixed camera is displayed on a map (50) for the surveillance space, the remaining space becomes a square area (52).
S21에서, 고정 카메라의 시야를 가리는 시야 방해물이 감시 공간에 존재하는지 판단한다. 시야 방해물은 일시적으로 존재하거나 항상 존재할 수 있다. 시야 방해물의 위치와 형태는 비행 드론에 탑재된 이동 카메라에 의해 획득될 수 있다.In S21, it is determined whether there is a view obstruction blocking the view of the fixed camera in the surveillance space. The view obstruction may exist temporarily or permanently. The location and shape of the view obstruction can be acquired by a moving camera mounted on the flying drone.
S22에서, 시야 방해물이 존재하면, 시야 방해물로 인해 발생하는 새로운 사각 영역을 검출한다. 도 6의 (b)에 예시된 바와 같이, 위에서 볼 때 사각형의 시야 방해물(53)이 고정 카메라의 촬영 범위(51a, 51b)가 중첩된 영역에 위치한다. 이로 인해, 시야 방해물(53)은 새로운 사각 영역(52a)을 중첩된 영역에 생성한다.In S22, if there is a view obstruction, a new rectangular area caused by the view obstruction is detected. As illustrated in (b) of Fig. 6, a rectangular view obstruction (53) is located in an area where the shooting ranges (51a, 51b) of the fixed camera overlap when viewed from above. As a result, the view obstruction (53) creates a new rectangular area (52a) in the overlapped area.
S23에서, 감시 공간 전체에 대한 사각 영역을 정의한다. 전체 사각 영역은 새로운 사각 영역(52a)을 맵에 추가함으로써 최종적으로 확정될 수 있다.In S23, a rectangular area for the entire surveillance space is defined. The entire rectangular area can be finally determined by adding a new rectangular area (52a) to the map.
S24에서, 이동 카메라의 경로를 전체 사각 영역에 설정한다. 도 6의 (c)에 예시된 바와 같이, 이동 카메라의 경로(54)는 전체 사각 영역 내에 설정될 수 있다. 경로(54)는, 이동 수단의 유형, 이동 속도, 방해물의 위치와 형태, 및 이동 카메라의 회전 가능 여부 중 어느 하나 또는 이들의 조합을 고려하여, 전체 사각 영역을 촬영할 수 있도록 설정된다. 예를 들어, 회전할 수 없는 이동 카메라의 경로와 회전할 수 있는 이동 카메라의 경로는 상이할 수 있다. 설정된 경로는 맵에 반영된다. 이동 제어부(230)는 맵을 참조하여 이동 카메라를 경로를 따라 이동시킬 수 있으며, 연속 추적이 필요한 경우 이동 카메라의 경로를 일시적으로 변경할 수 있다.In S24, the path of the mobile camera is set to the entire rectangular area. As illustrated in (c) of Fig. 6, the path (54) of the mobile camera can be set within the entire rectangular area. The path (54) is set so that the entire rectangular area can be captured by considering one or a combination of the type of the moving means, the moving speed, the position and shape of the obstacle, and whether the mobile camera can rotate. For example, the path of a non-rotatable mobile camera and the path of a rotatable mobile camera can be different. The set path is reflected on the map. The movement control unit (230) can move the mobile camera along the path by referring to the map, and can temporarily change the path of the mobile camera when continuous tracking is required.
경로가 설정된 맵을 생성하는 과정이 반드시 영상 분석 모듈(200)에 의해서만 수행되어야 하는 것은 아니며, 경로가 설정되지 않은 맵 또는 경로가 설정된 맵은 외부에서 생성된 후 영상 분석 모듈(200)에 전달될 수도 있다.The process of generating a map with a set path does not necessarily have to be performed only by the image analysis module (200), and a map without a set path or a map with a set path may be generated externally and then transmitted to the image analysis module (200).
S25에서, 이동 카메라는 경로를 따라 이동하면서 제2 영상을 생성한다. 확장 추적시, 이동 카메라는 제2 영상이 촬영된 위치를 나타내는 메타 데이터를 제2 영상에 추가하거나 제2 영상에 연관된 파일에 기록(이하 추가로 총칭함)할 수 있다. 한편, 이동 카메라는 제2 영상 촬영시 카메라 방향을 나타내는 메타 데이터를 제2 영상에 더 추가할 수 있다. 또한, 이동 수단이 비행 드론인 경우, 이동 카메라는 비행 드론의 지상으로부터의 높이를 나타내는 메타 데이터를 제2 영상에 더 추가할 수 있다. 촬영 위치, 카메라 방향 및 촬영 높이는 변경될 때마다 제2 영상에 추가되며, 이를 통해 사각 영역에서 검출된 객체의 위치를 확정할 수 있게 된다.In S25, the mobile camera generates a second image while moving along the path. In extended tracking, the mobile camera can add metadata indicating a location where the second image was shot to the second image or record (hereinafter collectively referred to as additional) in a file associated with the second image. Meanwhile, the mobile camera can further add metadata indicating a camera direction when shooting the second image to the second image. In addition, when the moving means is a flying drone, the mobile camera can further add metadata indicating a height of the flying drone from the ground to the second image. The shooting location, camera direction, and shooting height are added to the second image whenever they change, thereby enabling the location of an object detected in a blind spot to be determined.
S26에서, 감시 공간 전체를 촬영한 제1 영상 및 제2 영상을 분석하여 객체 관련 이벤트를 검출한다. 고정 카메라가 촬영한 제1 영상은 촬영 범위 내에 위치한 객체들을 표출하며, 이동 카메라가 촬영한 제2 영상은 사각 영역에 위치한 객체들을 표출한다.In S26, the first image and the second image, which capture the entire surveillance space, are analyzed to detect object-related events. The first image captured by the fixed camera displays objects located within the shooting range, and the second image captured by the moving camera displays objects located in a rectangular area.
도 7은 고정 카메라 및 이동 카메라를 이용한 영상 분석 시스템의 일 실시예를 기능적으로 설명하기 위한 구성도이다. 도 2와 중복되는 설명을 생략하며 차이점을 설명한다.Fig. 7 is a block diagram for functionally explaining one embodiment of an image analysis system using a fixed camera and a moving camera. The overlapping explanation with Fig. 2 is omitted and the differences are explained.
도 7을 참조하면, 고정 카메라 및 이동 카메라를 이용한 영상 분석 시스템은, 고정 카메라로부터 획득한 영상을 분석하는 지역 영상 분석 장치(300), 및 이동 중 또는 이동 후 영상을 획득하며 획득한 영상을 분석하는 이동 카메라(400)를 포함할 수 있다.Referring to FIG. 7, an image analysis system using a fixed camera and a mobile camera may include a local image analysis device (300) that analyzes an image acquired from a fixed camera, and a mobile camera (400) that acquires an image while moving or after moving and analyzes the acquired image.
지역 영상 분석 장치(300)는 영상 데이터 처리 모듈(320), 영상 분석 모듈(330) 및 데이터 전송 모듈(340)을 포함할 수 있다. 영상 데이터 처리 모듈(320) 및 영상 분석 모듈(330)은 도 2의 영상 데이터 처리 모듈(100) 및 영상 분석 모듈(330)과 실질적으로 동일하며, 감시 공간 내에 설치된 복수의 고정 카메라가 생성한 복수의 제1 영상을 분석할 수 있다. 영상 데이터 처리 모듈(100)을 구성하는 객체 검출부, 객체 추적부 및 이벤트 검출부 중 어느 하나는 이벤트 발생을 검출할 수 있다. 추가적으로 또는 선택적으로, 지역 영상 분석 장치(300)는 감시 공간 내에 설치된 복수의 환경 센서로부터 측정 데이터를 수신할 수 있다. 환경 센서는 예를 들어 온도, 습도, 조도, 가스 농도, 미세먼지 농도 등을 측정할 수 있다. 따라서, 지역 영상 분석 장치(300)는 환경 센서로부터 수신된 측정 데이터를 처리하여 이벤트 발생을 검출하는 측정 데이터 처리 모듈(310)을 더 포함할 수 있다. 영상 데이터 처리 모듈(100)에 의해 검출되는 이벤트 발생과 측정 데이터 처리 모듈(310)에 의해 검출되는 이벤트 발생은 동일 원인에 의해 발생하거나 상이한 원인에 의해 발생할 수 있다. 데이터 전송 모듈(340)은 제1 영상, 제1 영상을 분석하여 생성된 메타 데이터, 측정 데이터 및 측정 데이터를 분석하여 생성된 메타 데이터 중 어느 하나 또는 이들의 조합을 통신망을 통해 에지 기반 영상 분석 장치(500)로 전송할 수 있다.The local image analysis device (300) may include an image data processing module (320), an image analysis module (330), and a data transmission module (340). The image data processing module (320) and the image analysis module (330) are substantially the same as the image data processing module (100) and the image analysis module (330) of FIG. 2, and may analyze a plurality of first images generated by a plurality of fixed cameras installed within a surveillance space. Any one of the object detection unit, the object tracking unit, and the event detection unit constituting the image data processing module (100) may detect an event occurrence. Additionally or selectively, the local image analysis device (300) may receive measurement data from a plurality of environmental sensors installed within the surveillance space. The environmental sensors may measure, for example, temperature, humidity, illuminance, gas concentration, fine dust concentration, etc. Therefore, the local image analysis device (300) may further include a measurement data processing module (310) that processes measurement data received from the environmental sensors to detect an event occurrence. The occurrence of an event detected by the image data processing module (100) and the occurrence of an event detected by the measurement data processing module (310) may occur due to the same cause or may occur due to different causes. The data transmission module (340) may transmit one or a combination of the first image, metadata generated by analyzing the first image, measurement data, and metadata generated by analyzing the measurement data to the edge-based image analysis device (500) through a communication network.
이동 카메라(400)는 지역 영상 분석 장치(300)의 제어에 의해 감시 공간 내에서 이동하여 제2 영상을 생성하며, 생성된 제2 영상을 분석한다. 영상 분석 결과로 생성된 메타 데이터는 통신망을 통해 에지 기반 영상 분석 장치(500)로 전송될 수 있다. 이동 카메라(400)는 지역 영상 분석 장치(300)가 지시한 특정 위치까지 이동 중에 또는 이동 후에 제2 영상을 생성하는 카메라(410), 제2 영상을 전처리하는 영상 데이터 처리 모듈(420), 전처리된 제2 영상을 분석하는 영상 분석 모듈(430), 및 영상 분석 결과로 생성된 메타 데이터를 전송하는 데이터 전송 모듈(440)를 포함할 수 있다. 영상 데이터 처리 모듈(420)과 영상 데이터 처리 모듈(320)은 실질적으로 동일할 수 있으며, 영상 분석 모듈(430)은 이동 제어부를 제외하면 영상 분석 모듈(330)과 실질적으로 동일할 수 있다. 한편, 도시되진 않았으나, 이동 카메라(400)는 환경 센서를 더 포함할 수 있다. 이동 카메라(400)에 장착된 환경 센서는 특정 위치에서 측정 데이터를 생성할 수 있다.A mobile camera (400) moves within a surveillance space under the control of a local image analysis device (300) to generate a second image and analyze the generated second image. Metadata generated as a result of the image analysis can be transmitted to an edge-based image analysis device (500) via a communication network. The mobile camera (400) may include a camera (410) that generates a second image while moving to or after a specific location indicated by the local image analysis device (300), an image data processing module (420) that preprocesses the second image, an image analysis module (430) that analyzes the preprocessed second image, and a data transmission module (440) that transmits metadata generated as a result of the image analysis. The image data processing module (420) and the image data processing module (320) may be substantially the same, and the image analysis module (430) may be substantially the same as the image analysis module (330) except for a movement control unit. Meanwhile, although not illustrated, the mobile camera (400) may further include an environmental sensor. An environmental sensor mounted on a mobile camera (400) can generate measurement data at a specific location.
지역 영상 분석 장치(300) 및 이동 카메라(400)는 감시 공간에서 생성된 제1 영상 및 제2 영상을 각각 분석하여 미리 설정된 유형의 이벤트에 대한 메타 데이터를 생성(이하 1차 분석)하며, 생성된 메타 데이터는 에지 기반 영상 분석 장치(500)에 의해 분석(이하, 2차 분석)될 수 있다. 다시 말해 지역 영상 분석 장치(300) 및 이동 카메라(400)는 지능형 에지 장치일 수 있다. 지능형 에지 장치는 설치된 지역 및 현장 상황에 적합하게 학습하고, 수행된 학습에 기초한 영상 분석을 가능하게 한다. 특히, 영상은 에지 기반 영상 분석 장치(500)가 요청하는 경우에 한하여 전송될 수 있으므로, 통신망의 종류, 접근성, 대역폭 등의 제한을 받지 않으며, 신속한 영상 분석을 통한 이벤트 검출이 가능하다.The local image analysis device (300) and the mobile camera (400) analyze the first image and the second image generated in the surveillance space, respectively, to generate metadata for a preset type of event (hereinafter, primary analysis), and the generated metadata can be analyzed (hereinafter, secondary analysis) by the edge-based image analysis device (500). In other words, the local image analysis device (300) and the mobile camera (400) can be intelligent edge devices. The intelligent edge device learns appropriately for the installed region and field situation, and enables image analysis based on the performed learning. In particular, since the image can be transmitted only when the edge-based image analysis device (500) requests it, it is not subject to restrictions on the type, accessibility, bandwidth, etc. of the communication network, and event detection through rapid image analysis is possible.
지능형 에지 장치(300, 400)는 1차 분석을 수행하여, 객체에 관련하여 미리 설정된 제1 이벤트 조건을 충족하는 이벤트를 검출하며, 검출된 이벤트에 대한 제1 메타 데이터를 생성한다. 제1 메타 데이터는 에지 기반 영상 분석 장치(500)가 사용자에 의해 설정된 제2 이벤트 조건에 부합하는 이벤트를 검출하는데 이용되거나, 학습 데이터로 이용될 수 있다. 에지 기반 영상 분석 장치(500)는 2차 분석 결과에 기초하여, 지능형 에지 장치(300, 400)의 이벤트 검출부(240)를 갱신하여, 새로운 이벤트를 검출하거나, 변화된 환경에 적응할 수 있도록 한다. 한편, 지능형 에지 장치(300, 400)는 1차 분석이 어려울 경우, 검출된 객체에 대한 메타 데이터를 에지 기반 영상 분석 장치(500)로 전송하여 분석을 요청할 수도 있다.The intelligent edge device (300, 400) performs a primary analysis to detect an event satisfying a first event condition preset in relation to an object, and generates first metadata for the detected event. The first metadata may be used by the edge-based image analysis device (500) to detect an event satisfying a second event condition set by a user, or may be used as learning data. The edge-based image analysis device (500) updates the event detection unit (240) of the intelligent edge device (300, 400) based on the secondary analysis result, so as to detect a new event or adapt to a changed environment. Meanwhile, if the intelligent edge device (300, 400) is difficult to perform a primary analysis, it may transmit metadata for the detected object to the edge-based image analysis device (500) to request analysis.
도 8은 도 7에 예시된 영상 분석 시스템에 의해 실행되는 영상 분석의 일 실시예를 예시적으로 설명하기 위한 흐름도이다. 도 3과 중복되는 설명을 생략하고 차이점을 설명한다.Fig. 8 is a flowchart for exemplarily explaining one embodiment of image analysis executed by the image analysis system illustrated in Fig. 7. Descriptions that overlap with Fig. 3 are omitted and differences are explained.
S30에서, 하나 이상의 고정 카메라(20)가 감시 공간의 적어도 일부를 촬영하여 하나 이상의 제1 영상을 생성하며, 제1 영상은 지역 영상 분석 장치(300)에 의해 분석된다. 동시에 하나 이상의 환경 센서가 감시 공간 내에 환경 변수를 측정하여 측정 데이터를 생성하며, 측정 데이터는 측정 데이터 처리 모듈(310)에 의해 분석된다.In S30, one or more fixed cameras (20) capture at least a portion of a surveillance space to generate one or more first images, and the first images are analyzed by a local image analysis device (300). At the same time, one or more environmental sensors measure environmental variables within the surveillance space to generate measurement data, and the measurement data is analyzed by a measurement data processing module (310).
S31에서, 지역 영상 분석 장치(300)의 영상 분석 모듈(330) 또는 측정 데이터 처리 모듈(310)이 이벤트를 검출하면, 이벤트 발생 위치가 산출된다. 연속 추적 또는 확장 추적이 필요하거나 측정 데이터가 정상 범위를 벗어나면, 이벤트가 발생하였다고 판단된다. 연속 추적시 이벤트 발생 위치는 고정 카메라의 위치, 회전 각도, 틸트 각도 등을 이용하여 산출될 수 있다. 확장 추적시 이벤트 발생 위치는 미리 결정된 경로의 시작 위치일 수 있다. 한편, 임의의 측정 데이터가 과거에 수신된 측정 데이터로부터 산출된 정상 범위를 벗어나거나, 측정 데이터가 미리 설정된 시간격으로 수신되지 않으면, 환경 센서의 설치 위치가 이벤트 발생 위치일 수 있다.In S31, when the image analysis module (330) or the measurement data processing module (310) of the local image analysis device (300) detects an event, the event occurrence location is calculated. If continuous tracking or extended tracking is required or the measurement data is out of the normal range, it is determined that an event has occurred. In the case of continuous tracking, the event occurrence location can be calculated using the position, rotation angle, tilt angle, etc. of a fixed camera. In the case of extended tracking, the event occurrence location may be the start location of a predetermined path. Meanwhile, if any measurement data is out of the normal range calculated from measurement data received in the past or the measurement data is not received at a preset time interval, the installation location of the environmental sensor may be the event occurrence location.
S32에서, 영상 분석 모듈(330)은 이동 카메라(400)의 현재 위치를 산출하고 이벤트 발생 위치까지의 경로를 설정한다. 설정된 경로는 이동 카메라(400)에 전송된다. 한편, 연속 추적의 경우, 연속 추적할 객체를 식별하기 위한 정보(이하 객체 식별 정보)도 이동 카메라(400)에 전송될 수 있다.In S32, the image analysis module (330) calculates the current location of the mobile camera (400) and sets a path to the location where the event occurred. The set path is transmitted to the mobile camera (400). Meanwhile, in the case of continuous tracking, information for identifying the object to be continuously tracked (hereinafter, object identification information) may also be transmitted to the mobile camera (400).
S33에서, 데이터 전송 모듈(340)은 제1 영상의 분석 결과로 생성된 메타 데이터를 에지 기반 영상 분석 장치(500) 또는 관제 서버(미도시)로 전송할 수 있다.In S33, the data transmission module (340) can transmit metadata generated as a result of analysis of the first image to an edge-based image analysis device (500) or a control server (not shown).
S34에서, 이동 카메라(400)는 경로를 따라 이동하여 목적지에 도착한다. 이동 카메라(400)는 이벤트 발생 위치로 이동하기 시작할 때부터 또는 이벤트 발생 위치에 도착한 후부터 제2 영상을 생성하며, 생성된 제2 영상을 분석한다. 영상 분석 모듈(430)은 객체 식별 정보를 이용하여 연속 추적할 객체와 동일한 객체를 제2 영상에서 식별한다. 한편, 측정 데이터로 인해 이벤트가 발생했으며, 이동 카메라(400)에 환경 센서가 장착된 경우, 이벤트 발생 위치에서 환경 변수가 측정될 수 있다.In S34, the mobile camera (400) moves along the path and arrives at the destination. The mobile camera (400) generates a second image from the time it starts moving to the event occurrence location or after arriving at the event occurrence location, and analyzes the generated second image. The image analysis module (430) identifies an object identical to the object to be continuously tracked in the second image using object identification information. Meanwhile, if an event occurs due to measurement data and an environmental sensor is mounted on the mobile camera (400), environmental variables can be measured at the event occurrence location.
S35에서, 데이터 전송 모듈(440)은 제2 영상의 분석 결과로 생성된 메타 데이터를 에지 기반 영상 분석 장치(500) 또는 관제 서버(미도시)로 전송할 수 있다.In S35, the data transmission module (440) can transmit metadata generated as a result of analysis of the second image to an edge-based image analysis device (500) or a control server (not shown).
S36에서, 에지 기반 영상 분석 장치(500)는 지역 영상 분석 장치(300) 및 이동 카메라(400)로부터 수신한 메타 데이터를 분석한다.In S36, the edge-based image analysis device (500) analyzes metadata received from the local image analysis device (300) and the mobile camera (400).
도 9는 고정 카메라 및 이동 카메라를 이용한 영상 분석의 적용 분야를 예시적으로 설명하기 위한 도면이다.Figure 9 is a drawing for exemplarily explaining the application fields of image analysis using fixed cameras and moving cameras.
고정 카메라 및 이동 카메라를 이용한 영상 분석은 지능형 교통 시스템을 포함한 다양한 분야에 적용될 수 있다. 비행 드론을 이동 수단으로 활용하는 경우, 이동 카메라는 높은 고도에서 지상을 촬영할 수 있어서 국도 또는 고속도로의 통행량 및 혼잡도를 검출할 수 있다. 또한 비행 드론 또는 로봇은 불법 주차된 차량의 번호판을 촬영할 수 있다.Image analysis using fixed and mobile cameras can be applied to various fields including intelligent transportation systems. When using flying drones as a means of transportation, mobile cameras can capture the ground from a high altitude, which can detect traffic volume and congestion on national roads or expressways. Flying drones or robots can also capture license plates of illegally parked vehicles.
도 9의 (a)는 3차선 도로를 촬영한 제1 영상으로, 정상적인 교통 흐름을 예시적으로 나타낸다. 제1 관심 영역 ROI_W1 내지 제3 관심 영역 ROI_W3은 차선별로 설정되어 있다. 룰 기반 이벤트 검출부는 관심 영역별로 설정된 이벤트 조건, 예를 들어, 통과 차량의 수, 차선별 평균 속도 등을 수행할 수 있다. 한편, 딥러닝 이벤트 검출부는 통과한 차량의 차종을 분류하고, 차종별 수를 계산할 수 있다. 추가적으로, 딥러닝 이벤트 검출부 및 룰 기반 이벤트 검출부는 각각에 적합한 이벤트 조건으로, 도로에서 발생한 이상 행위, 예를 들어, 과속 차량, 불법 주정차 차량, 사고/고장차를 검출할 수 있다.Fig. 9 (a) is a first image captured of a three-lane road, and exemplarily shows normal traffic flow. The first region of interest ROI_W1 to the third region of interest ROI_W3 are set for each lane. The rule-based event detection unit can perform event conditions set for each region of interest, such as the number of passing vehicles, the average speed for each lane, etc. Meanwhile, the deep learning event detection unit can classify the types of vehicles that have passed, and calculate the number for each type. Additionally, the deep learning event detection unit and the rule-based event detection unit can detect abnormal behaviors occurring on the road, such as speeding vehicles, illegally parked vehicles, and accident/broken-down vehicles, with event conditions suitable for each.
도 9의 (b)는 제1 영상 분석을 통해 불법 주정차 차량을 검출하며, 차량의 번호판을 촬영하여 제2 영상 분석을 실행하는 경우를 예시하고 있다. 고정 카메라(20)는 불법 주정차 차량을 검출할 수는 있지만, 차량까지의 거리로 인해 차량의 번호판을 촬영할 수 없다. 불법 주정차 차량에 범칙금을 부과하기 위해 차량 번호가 필요하므로, 제1 영상 분석을 통해 차량 번호판 위치가 이벤트 발생 위치로 산출된다. 복수의 차량이 불법 주정차된 경우, 복수의 이벤트 발생 위치가 산출될 수 있다. 이 경우, 이동 카메라(25, 400)의 경로는 복수의 이벤트 발생 위치를 경유하도록 설정될 수 있다. 이동 카메라(25, 400)는 불법 주정차 영역에 설정된 경로를 따라 이동하면서 차량의 번호판을 촬영할 수 있다. 이동 카메라(400)는 제2 영상을 분석하여 차량 번호를 추출하며, 추출된 차량 번호만 외부로 전송할 수 있다.Fig. 9 (b) illustrates a case where an illegally parked vehicle is detected through the first image analysis, and the license plate of the vehicle is photographed to perform a second image analysis. The fixed camera (20) can detect an illegally parked vehicle, but cannot photograph the license plate of the vehicle due to the distance to the vehicle. Since the license plate is required to impose a fine on an illegally parked vehicle, the location of the license plate is calculated as the event occurrence location through the first image analysis. If multiple vehicles are illegally parked, multiple event occurrence locations can be calculated. In this case, the path of the mobile camera (25, 400) can be set to pass through multiple event occurrence locations. The mobile camera (25, 400) can photograph the license plate of the vehicle while moving along the path set in the illegal parking area. The mobile camera (400) analyzes the second image to extract the license plate, and can transmit only the extracted vehicle number to the outside.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 특히, 도면을 참조하여 설명된 본 발명의 특징은 특정 도면에 도시된 구조에 한정되는 것이 아니며, 독립적으로 또는 다른 특징에 결합되어 구현될 수 있다.The above description of the present invention is for illustrative purposes, and those skilled in the art will understand that the present invention can be easily modified into other specific forms without changing the technical idea or essential features of the present invention. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive. In particular, the features of the present invention described with reference to the drawings are not limited to the structures depicted in the specific drawings, and can be implemented independently or in combination with other features.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims described below rather than the detailed description above, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention.
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210101937AKR102713540B1 (en) | 2021-08-03 | 2021-08-03 | Video analysis device using fixed camera and moving camera |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210101937AKR102713540B1 (en) | 2021-08-03 | 2021-08-03 | Video analysis device using fixed camera and moving camera |
| Publication Number | Publication Date |
|---|---|
| KR20230020184A KR20230020184A (en) | 2023-02-10 |
| KR102713540B1true KR102713540B1 (en) | 2024-10-04 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210101937AActiveKR102713540B1 (en) | 2021-08-03 | 2021-08-03 | Video analysis device using fixed camera and moving camera |
| Country | Link |
|---|---|
| KR (1) | KR102713540B1 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240152486A (en)* | 2023-04-13 | 2024-10-22 | 한화비전 주식회사 | A control method of an integrated monitoring system of an object information |
| KR20240161559A (en) | 2023-05-04 | 2024-11-12 | 주식회사 노타 | Method and apparatus tracking human for utilizing multi camera |
| KR102614756B1 (en)* | 2023-07-10 | 2023-12-15 | 주식회사 바론시스템 | Deep learning face recognition system through various entry level imaging device in a closed space and method performing thereof |
| US20250126346A1 (en)* | 2023-10-16 | 2025-04-17 | Honeywell International Inc. | Methods and systems for monitoring activities in a monitored space |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101328246B1 (en) | 2013-05-15 | 2013-11-14 | 강성진 | Apparatus for tracking of moving target and the method thereof |
| KR101851539B1 (en) | 2017-10-31 | 2018-04-24 | 주식회사 아울 | Monitoring system using a drone |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100989081B1 (en)* | 2008-08-11 | 2010-10-25 | 한국전자통신연구원 | Event monitoring system and method using network camera |
| KR20200132145A (en)* | 2019-05-15 | 2020-11-25 | 한화테크윈 주식회사 | Surveillance system and operation method thereof |
| KR102260123B1 (en)* | 2019-10-01 | 2021-06-03 | 주식회사 넥스트케이 | Apparatus for Sensing Event on Region of Interest and Driving Method Thereof |
| KR102154610B1 (en) | 2020-04-10 | 2020-09-10 | 주식회사 넥스트케이 | Image Device Capable of Calculating Location of Event Occurrence and Driving Method Thereof |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101328246B1 (en) | 2013-05-15 | 2013-11-14 | 강성진 | Apparatus for tracking of moving target and the method thereof |
| KR101851539B1 (en) | 2017-10-31 | 2018-04-24 | 주식회사 아울 | Monitoring system using a drone |
| Publication number | Publication date |
|---|---|
| KR20230020184A (en) | 2023-02-10 |
| Publication | Publication Date | Title |
|---|---|---|
| KR102713540B1 (en) | Video analysis device using fixed camera and moving camera | |
| EP3985611B1 (en) | Building radar-camera surveillance system | |
| KR102434154B1 (en) | Method for tracking multi target in traffic image-monitoring-system | |
| KR102162130B1 (en) | Enforcement system of illegal parking using single camera | |
| KR101698026B1 (en) | Police enfoforcement system of illegal stopping and parking vehicle by moving vehicle tracking | |
| US9928707B2 (en) | Surveillance system | |
| KR102713573B1 (en) | Video analysis device using a multi camera consisting of a plurality of fixed cameras | |
| KR101248054B1 (en) | Object tracking system for tracing path of object and method thereof | |
| KR102282800B1 (en) | Method for trackig multi target employing ridar and camera | |
| US20100013917A1 (en) | Method and system for performing surveillance | |
| KR101496390B1 (en) | System for Vehicle Number Detection | |
| US20110234749A1 (en) | System and method for detecting and recording traffic law violation events | |
| KR20200025247A (en) | Managemnet system of parking by moving vehicle tracking | |
| KR101136366B1 (en) | Auto object tracking system | |
| CN111914592B (en) | Multi-camera combined evidence obtaining method, device and system | |
| KR101852058B1 (en) | unexpected accident detecting method using dual camera | |
| KR102306854B1 (en) | System and method for managing traffic event | |
| KR102347026B1 (en) | Video analysis device using a multi camera consisting of a plurality of fixed cameras | |
| US8098290B2 (en) | Multiple camera system for obtaining high resolution images of objects | |
| KR20210103210A (en) | Apparatus for Processing Images and Driving Method Thereof | |
| KR101821159B1 (en) | System for tracking moving path of objects using multi-camera | |
| WO2016132769A1 (en) | Imaging device, control method for imaging device, and control program | |
| KR102499340B1 (en) | Hybrid video analysis device based on object filters and method | |
| KR20200086015A (en) | Situation linkage type image analysis device | |
| KR102660024B1 (en) | Method for detection road event and apparatus for the same |
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application | Patent event code:PA01091R01D Comment text:Patent Application Patent event date:20210803 | |
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection | Comment text:Notification of reason for refusal Patent event date:20240221 Patent event code:PE09021S01D | |
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration | Patent event code:PE07011S01D Comment text:Decision to Grant Registration Patent event date:20240801 | |
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment | Comment text:Registration of Establishment Patent event date:20240930 Patent event code:PR07011E01D | |
| PR1002 | Payment of registration fee | Payment date:20240930 End annual number:3 Start annual number:1 | |
| PG1601 | Publication of registration |