KR20230173824A - Real-time object tracking apparatus and method that can improve processing speed while ensuring the accuracy of object tracking - Google Patents

Abstract

An apparatus and a method for tracking an object in real time according to the present invention perform object tracking on an input image by mixing a deep simple online and real-time tracking (DeepSORT) algorithm and a simple online and real-time tracking (SORT) algorithm, thereby ensuring accuracy of object tracking and improving processing speed.

Description

Translated fromKorean

객체 추적의 정확도를 보장하면서 처리 속도를 향상시킬 수 있는 실시간 객체 추적 장치 및 방법{REAL-TIME OBJECT TRACKING APPARATUS AND METHOD THAT CAN IMPROVE PROCESSING SPEED WHILE ENSURING THE ACCURACY OF OBJECT TRACKING}Real-time object tracking device and method that can improve processing speed while ensuring accuracy of object tracking {REAL-TIME OBJECT TRACKING APPARATUS AND METHOD THAT CAN IMPROVE PROCESSING SPEED WHILE ENSURING THE ACCURACY OF OBJECT TRACKING}

본 발명은 객체 추적의 정확도를 보장하면서 처리 속도를 향상시킬 수 있는 실시간 객체 추적 장치 및 방법에 대한 것이다.The present invention relates to a real-time object tracking device and method that can improve processing speed while ensuring object tracking accuracy.

다중 객체 추적 기술은 비디오 영상에 존재하는 사람, 자동차와 같은 객체들의 위치를 연속적으로 추적하는 기술로써, 자율주행 시스템, 무인 감시 시스템(CCTV, Closed-Circuit Television) 등과 같은 다양한 분야에서 활용되고 있다.Multi-object tracking technology is a technology that continuously tracks the positions of objects such as people and cars in video images, and is used in various fields such as autonomous driving systems and unmanned surveillance systems (CCTV, Closed-Circuit Television).

다중 객체 추적 기술은 먼저 영상의 각 프레임(단일 이미지)에서 각 객체들의 위치를 파악하는 단계인 객체 탐지(Object detection) 단계와 연속된 두 프레임에 존재하는 객체들의 관계를 파악하여 각 객체들의 위치 변화를 추적하는 객체 추적(Object tracking) 단계로 나눌 수 있다.Multi-object tracking technology first involves the object detection step, which is a step of identifying the location of each object in each frame (single image) of the video, and the location change of each object by determining the relationship between objects existing in two consecutive frames. It can be divided into object tracking stages.

현대의 객체 탐지 기술은 인공지능의 발전과 함께 비약적인 발전을 이루었다. 딥러닝을 이용하여 하나의 이미지에서 여러 객체를 탐지하는 방법으로써 R-CNN(Regions with Convolution Neural Network features), Fast R-CNN, YOLO(You Only Look Once) 등의 방법이 제안되었다. 각 기술마다 탐지성능과 속도 측면에서 장단점이 존재하는데, 예를 들어 YOLO의 경우 정확도 보다는 탐지 속도에 강점을 가지는 기법이다.Modern object detection technology has made rapid progress along with the development of artificial intelligence. As a method of detecting multiple objects in one image using deep learning, methods such as R-CNN (Regions with Convolution Neural Network features), Fast R-CNN, and YOLO (You Only Look Once) have been proposed. Each technology has pros and cons in terms of detection performance and speed. For example, YOLO is a technique that has strengths in detection speed rather than accuracy.

객체 추적 기술 또한 매우 빠른 속도로 발전하고 있는데, 대표적으로 FairMOT(Fair Multi-Object Tracking), SORT(Simple Online and Real-time Tracking), DeepSORT(Deep Simple Online and Real-time Tracking) 등의 기법들이 제안되었다. 예를 들어, SORT의 경우 컴퓨팅 연산의 양이 많지 않아 속도 측면에서 빠르다는 장점이 있다. 이러한 객체 추적은 앞서 묘사한 YOLO 등의 기법을 통해 각 프레임의 객체들을 탐지한 후, 이 결과를 이용하여 연속된 프레임 간의 객체들이 서로 얼마나 유사한 위치에 존재하는지 확인하는 방법으로 수행된다.Object tracking technology is also developing at a very rapid pace, with techniques such as FairMOT (Fair Multi-Object Tracking), SORT (Simple Online and Real-time Tracking), and DeepSORT (Deep Simple Online and Real-time Tracking) being proposed. It has been done. For example, SORT has the advantage of being fast in terms of speed because the amount of computing operations is not large. This object tracking is performed by detecting objects in each frame through techniques such as YOLO described above, and then using the results to check how similar the objects in successive frames are to each other.

보통, 실시간 객체 추적이 필요한 시스템에서는 객체 추적의 정확도가 높아야 함과 동시에 객체 추적에 따른 연산 속도도 빨라야 할 필요가 있다. 이와 관련해서, DeepSORT 알고리즘을 활용하여 객체 추적을 수행하는 경우, 비교적 높은 정확도의 객체 추적이 가능하지만, 그만큼 연산량이 증가하게 되어, 객체 추적 속도가 느려지는 단점이 있다. 반면에, SORT 알고리즘을 활용하여 객체 추적을 수행하는 경우, DeepSORT 알고리즘에 비해, 연산량이 적기 때문에 비교적 빠른 객체 추적이 가능하지만, 그만큼 객체 추적의 정확도가 낮다는 단점이 있다.Typically, in systems that require real-time object tracking, the accuracy of object tracking must be high and the computation speed according to object tracking must also be fast. In this regard, when object tracking is performed using the DeepSORT algorithm, object tracking with relatively high accuracy is possible, but there is a disadvantage in that the amount of computation increases, slowing down the object tracking speed. On the other hand, when performing object tracking using the SORT algorithm, relatively fast object tracking is possible because the amount of calculation is less compared to the DeepSORT algorithm, but there is a disadvantage that the accuracy of object tracking is low.

따라서, 실시간 객체 추적 시스템에서, DeepSORT 알고리즘과 SORT 알고리즘을 적절하게 혼용하여 사용함으로써, 객체 추적의 정확도를 높임과 동시에 속도를 향상시킬 수 있도록 하는 기술에 대한 연구가 필요하다.Therefore, in real-time object tracking systems, research is needed on technologies that can increase the accuracy and speed of object tracking by appropriately using the DeepSORT algorithm and the SORT algorithm together.

본 발명에 따른 실시간 객체 추적 장치 및 방법은 DeepSORT(Deep Simple Online and Real-time Tracking) 알고리즘과 SORT(Simple Online and Real-time Tracking) 알고리즘을 혼합하여 입력 영상에 대한 객체 추적을 수행함으로써, 객체 추적의 정확도를 보장함과 동시에 처리 속도의 향상이 가능하도록 지원하고자 한다.The real-time object tracking device and method according to the present invention performs object tracking on the input image by mixing the DeepSORT (Deep Simple Online and Real-time Tracking) algorithm and the SORT (Simple Online and Real-time Tracking) algorithm, thereby tracking the object. We aim to ensure accuracy and improve processing speed at the same time.

본 발명의 일실시예에 따른 실시간 객체 추적 장치는 영상이 입력되면, 상기 영상을 구성하는 프레임들 중 첫 번째 프레임을 시작으로 해서 n(n은 3이상의 크기를 갖는 자연수들 중에서 사전 지정된 어느 하나의 값임)번째 프레임까지 DeepSORT(Deep Simple Online and Real-time Tracking) 알고리즘에 기초한 객체 추적을 수행하는 제1 추적부, 상기 n번째 프레임과 n+1번째 프레임에 대해 SORT(Simple Online and Real-time Tracking) 알고리즘에 기초한 객체 추적을 수행한 후, 상기 n+1번째 프레임을 상기 첫 번째 프레임으로 재지정하여 상기 제1 추적부에 인가하는 제2 추적부 및 상기 제1 추적부와 상기 제2 추적부에 따른 객체 추적이 반복 수행되도록 제어하는 반복 수행 제어부를 포함한다.When an image is input, the real-time object tracking device according to an embodiment of the present invention starts with the first frame among the frames constituting the image, and n (n is any one predetermined among natural numbers having a size of 3 or more) A first tracking unit that performs object tracking based on the DeepSORT (Deep Simple Online and Real-time Tracking) algorithm up to the (value)th frame, SORT (Simple Online and Real-time Tracking) for the nth frame and n+1th frame. ) After performing object tracking based on the algorithm, a second tracking unit that re-designates the n+1th frame as the first frame and applies it to the first tracking unit, and the first tracking unit and the second tracking unit It includes a repeat performance control unit that controls object tracking to be repeatedly performed.

또한, 본 발명의 일실시예에 따른 실시간 객체 추적 방법은 영상이 입력되면, 상기 영상을 구성하는 프레임들 중 첫 번째 프레임을 시작으로 해서 n(n은 3이상의 크기를 갖는 자연수들 중에서 사전 지정된 어느 하나의 값임)번째 프레임까지 DeepSORT 알고리즘에 기초한 객체 추적을 수행하는 제1 추적 단계, 상기 n번째 프레임과 n+1번째 프레임에 대해 SORT 알고리즘에 기초한 객체 추적을 수행한 후, 상기 n+1번째 프레임을 상기 첫 번째 프레임으로 재지정하여 상기 제1 추적 단계로 회귀하는 제2 추적 단계 및 상기 제1 추적 단계와 상기 제2 추적 단계에 따른 객체 추적이 반복 수행되도록 제어하는 반복 수행 제어 단계를 포함한다.In addition, the real-time object tracking method according to an embodiment of the present invention, when an image is input, starts with the first frame among the frames constituting the image and starts with n (n is a predetermined number of natural numbers having a size of 3 or more). A first tracking step of performing object tracking based on the DeepSORT algorithm up to the (one value)th frame, performing object tracking based on the SORT algorithm for the nth frame and the n+1th frame, and then performing object tracking based on the SORT algorithm for the nth frame and the n+1th frame. A second tracking step of redirecting to the first frame and returning to the first tracking step, and a repeat performance control step of controlling object tracking according to the first tracking step and the second tracking step to be repeatedly performed.

본 발명에 따른 실시간 객체 추적 장치 및 방법은 DeepSORT(Deep Simple Online and Real-time Tracking) 알고리즘과 SORT(Simple Online and Real-time Tracking) 알고리즘을 혼합하여 입력 영상에 대한 객체 추적을 수행함으로써, 객체 추적의 정확도를 보장함과 동시에 처리 속도의 향상을 도모할 수 있다.The real-time object tracking device and method according to the present invention performs object tracking on the input image by mixing the DeepSORT (Deep Simple Online and Real-time Tracking) algorithm and the SORT (Simple Online and Real-time Tracking) algorithm, thereby tracking the object. It is possible to ensure accuracy and improve processing speed at the same time.

도 1은 본 발명의 일실시예에 따른 실시간 객체 추적 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 실시간 객체 추적 방법을 도시한 순서도이다.Figure 1 is a diagram showing the structure of a real-time object tracking device according to an embodiment of the present invention.
Figure 2 is a flowchart showing a real-time object tracking method according to an embodiment of the present invention.

이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the attached drawings. This description is not intended to limit the present invention to specific embodiments, but should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention. In describing each drawing, similar reference numerals are used for similar components, and unless otherwise defined, all terms used in this specification, including technical or scientific terms, are within the scope of common knowledge in the technical field to which the present invention pertains. It has the same meaning as generally understood by those who have it.

본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.In this document, when a part "includes" a certain component, this means that it may further include other components rather than excluding other components, unless specifically stated to the contrary. Additionally, in various embodiments of the present invention, each component, functional block, or means may be composed of one or more subcomponents, and the electrical, electronic, and mechanical functions performed by each component may be electronic. It may be implemented with various known elements or mechanical elements such as circuits, integrated circuits, and ASICs (Application Specific Integrated Circuits), and may be implemented separately or by integrating two or more into one.

한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.Meanwhile, the blocks in the attached block diagram or the steps in the flow chart are computer program instructions that are mounted on the processor or memory of equipment capable of data processing, such as general-purpose computers, special-purpose computers, portable laptop computers, and network computers, and perform designated functions. It can be interpreted to mean. Because these computer program instructions can be stored in a memory provided in a computer device or in a computer-readable memory, the functions described in the blocks of a block diagram or the steps of a flow diagram can be produced as a manufactured product containing instruction means to perform them. It could be. In addition, each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s). Additionally, it should be noted that in some alternative embodiments, it is possible for functions mentioned in blocks or steps to be executed in a different order. For example, two blocks or steps shown in succession may be performed substantially simultaneously or in reverse order, and in some cases, some blocks or steps may be omitted.

도 1은 본 발명의 일실시예에 따른 실시간 객체 추적 장치의 구조를 도시한 도면이다.Figure 1 is a diagram showing the structure of a real-time object tracking device according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 실시간 객체 추적 장치(110)는 제1 추적부(111), 제2 추적부(112) 및 반복 수행 제어부(113)를 포함한다.Referring to FIG. 1, the real-timeobject tracking device 110 according to the present invention includes afirst tracking unit 111, asecond tracking unit 112, and a repetitionperformance control unit 113.

제1 추적부(111)는 영상이 입력되면, 상기 영상을 구성하는 프레임들 중 첫 번째 프레임을 시작으로 해서 n(n은 3이상의 크기를 갖는 자연수들 중에서 사전 지정된 어느 하나의 값임)번째 프레임까지 DeepSORT(Deep Simple Online and Real-time Tracking) 알고리즘에 기초한 객체 추적을 수행한다.When an image is input, thefirst tracker 111 starts from the first frame among the frames constituting the image and continues up to the nth frame (where n is a predetermined value among natural numbers having a size of 3 or more). Object tracking is performed based on the DeepSORT (Deep Simple Online and Real-time Tracking) algorithm.

제2 추적부(112)는 상기 n번째 프레임과 n+1번째 프레임에 대해 SORT(Simple Online and Real-time Tracking) 알고리즘에 기초한 객체 추적을 수행한 후, 상기 n+1번째 프레임을 상기 첫 번째 프레임으로 재지정하여 제1 추적부(111)에 인가한다.Thesecond tracking unit 112 performs object tracking based on the SORT (Simple Online and Real-time Tracking) algorithm for the n-th frame and the n+1-th frame, and then transfers the n+1-th frame to the first It is re-designated as a frame and applied to thefirst tracking unit 111.

반복 수행 제어부(113)는 제1 추적부(111)와 제2 추적부(112)에 따른 객체 추적이 반복 수행되도록 제어한다.The repetitionperformance control unit 113 controls object tracking by thefirst tracking unit 111 and thesecond tracking unit 112 to be repeatedly performed.

관련해서, n을 '5'라고 가정하고, 본 발명에 따른 실시간 객체 추적 장치(110)의 동작을 설명하면 다음과 같다.In relation to this, assuming n is '5', the operation of the real-timeobject tracking device 110 according to the present invention will be described as follows.

먼저, 제1 추적부(111)는 영상이 입력되면, 상기 영상을 구성하는 프레임들 중 첫 번째 프레임을 시작으로 해서 5번째 프레임까지 DeepSORT 알고리즘에 기초한 객체 추적을 수행할 수 있다.First, when an image is input, thefirst tracking unit 111 can perform object tracking based on the DeepSORT algorithm starting from the first frame among the frames constituting the image to the fifth frame.

그러고 나서, 제2 추적부(112)는 5번째 프레임과 6번째 프레임에 대해 SORT 알고리즘에 기초한 객체 추적을 수행한 후, 상기 6번째 프레임을 상기 첫 번째 프레임으로 재지정하여 제1 추적부(111)에 인가할 수 있다.Then, thesecond tracking unit 112 performs object tracking based on the SORT algorithm for the 5th and 6th frames, and then re-designates the 6th frame as the first frame to be tracked by thefirst tracking unit 111. can be approved.

이때, 반복 수행 제어부(113)는 제1 추적부(111)와 제2 추적부(112)에 따른 객체 추적이 반복 수행되도록 제어하기 때문에, 제2 추적부(112)에 의해 상기 6번째 프레임이 상기 첫 번째 프레임으로 재지정되어 제1 추적부(111)에 인가되면, 제1 추적부(111)는 상기 6번째 프레임을 시작으로 해서 10번째 프레임까지 다시 DeepSORT 알고리즘에 기초한 객체 추적을 수행할 수 있고, 제2 추적부(112)는 10번째 프레임과 11번째 프레임에 대해 SORT 알고리즘에 기초한 객체 추적을 수행한 후, 11번째 프레임을 다시 첫 번째 프레임으로 재지정하여 제1 추적부(111)에 인가할 수 있다.At this time, since the repetitionperformance control unit 113 controls object tracking by thefirst tracking unit 111 and thesecond tracking unit 112 to be repeatedly performed, the sixth frame is If it is re-designated as the first frame and applied to thefirst tracking unit 111, thefirst tracking unit 111 can perform object tracking based on the DeepSORT algorithm again starting from the 6th frame to the 10th frame. Thesecond tracking unit 112 performs object tracking based on the SORT algorithm for the 10th and 11th frames, then re-designates the 11th frame as the first frame and applies it to thefirst tracking unit 111. can do.

이러한 방식으로, 제1 추적부(111)는 5개의 연속된 프레임마다 DeepSORT 알고리즘에 기초한 객체 추적을 수행할 수 있고, 제2 추적부(112)는 5번째와 6번째 프레임, 10번째와 11번째 프레임, 15번째와 16번째 프레임과 같이, 매 5k번째와 5k+1번째 프레임마다 SORT 알고리즘에 기초한 객체 추적을 수행할 수 있다.In this way, thefirst tracking unit 111 can perform object tracking based on the DeepSORT algorithm every five consecutive frames, and thesecond tracking unit 112 can perform object tracking for the 5th and 6th frames and the 10th and 11th frames. Object tracking based on the SORT algorithm can be performed every 5kth and 5k+1th frame, such as the 15th and 16th frames.

이렇게, 본 발명에 따른 실시간 객체 추적 장치(110)는 DeepSORT 알고리즘을 기초로 객체 추적을 수행하되, 특정 프레임 간에는 SORT 알고리즘을 기초로 객체 추적을 수행함으로써, 객체 추적에 대한 높은 정확도를 유지함과 동시에, 객체 추적의 속도 향상을 도모할 수 있다. 이때, 실시간 객체 추적 장치(110)의 관리자는 n의 크기를 조정함으로써, 제1 추적부(111)에서 DeepSORT 알고리즘을 기초로 객체 추적이 수행되는 프레임의 수와 제2 추적부(112)에서 SORT 알고리즘을 기초로 객체 추적이 수행되는 프레임의 수를 적절히 조정하여, 객체 추적에 대한 정확도와 속도를 자신이 원하는 수준으로 맞출 수 있다. 예컨대, 관리자는 n의 크기를 증가시켜서 보다 많은 프레임들이 DeepSORT 알고리즘을 기초로 객체 추적이 되도록 함으로써, 높은 객체 추적의 정확도를 달성할 수 있고, n의 크기를 감소시켜서 보다 많은 프레임들이 SORT 알고리즘을 기초로 객체 추적이 되도록 함으로써, 객체 추적의 속도 향상을 도모할 수 있다.In this way, the real-timeobject tracking device 110 according to the present invention performs object tracking based on the DeepSORT algorithm, but performs object tracking based on the SORT algorithm between specific frames, thereby maintaining high accuracy for object tracking, The speed of object tracking can be improved. At this time, the manager of the real-timeobject tracking device 110 adjusts the size of n to determine the number of frames for which object tracking is performed based on the DeepSORT algorithm in thefirst tracking unit 111 and the SORT in thesecond tracking unit 112. By appropriately adjusting the number of frames in which object tracking is performed based on the algorithm, you can adjust the accuracy and speed of object tracking to your desired level. For example, the administrator can achieve high accuracy of object tracking by increasing the size of n so that more frames are tracked based on the DeepSORT algorithm, and by decreasing the size of n so that more frames are tracked based on the SORT algorithm. By enabling object tracking, the speed of object tracking can be improved.

본 발명의 일실시예에 따르면, 제1 추적부(111)는 상기 DeepSORT 알고리즘에 기초한 객체 추적을 수행하기 위해, 현재 시점의 프레임이 제1 프레임이라고 하는 경우, 사전 설정된 객체 검출기를 통해 상기 제1 프레임 상에 존재하는 제1 객체들을 검출하여, 상기 제1 객체들의 위치 정보에 대한 제1 특징 벡터를 산출하고, 상기 제1 프레임의 이전 프레임 상에 존재하였던 제2 객체들의 위치 정보에 대한 특징 벡터를 칼만 필터(Kalman filter)에 인가함으로써, 상기 제2 객체들이 상기 제1 프레임 상에서 존재할 것으로 예측되는 위치 정보에 대한 제2 특징 벡터를 추정한 후, 상기 제1 객체들 각각에 대한 제1 특징 벡터와 상기 제2 객체들 각각에 대한 제2 특징 벡터 간의 마할라노비스 거리(Mahalanobis distance)와 코사인 거리(Cosine Distance)를 연산하여, 상기 제1 객체들과 상기 제2 객체들 중에서, 제1 특징 벡터와 제2 특징 벡터 간의 마할라노비스 거리와 코사인 거리의 가중 평균이 사전 설정된 제1 기준치 이상으로 산출되는 두 객체를 서로 동일한 객체로 추적할 수 있다.According to an embodiment of the present invention, in order to perform object tracking based on the DeepSORT algorithm, thefirst tracking unit 111 detects the first frame through a preset object detector when the frame at the current time is the first frame. Detecting first objects existing on a frame, calculating a first feature vector for position information of the first objects, and feature vectors for position information of second objects existing in a frame previous to the first frame By applying to a Kalman filter, a second feature vector for the location information where the second objects are predicted to exist in the first frame is estimated, and then a first feature vector for each of the first objects is estimated. and calculate the Mahalanobis distance and the cosine distance between the second feature vectors for each of the second objects, and calculate the first feature vector among the first objects and the second objects. Two objects for which the weighted average of the Mahalanobis distance and the cosine distance between and the second feature vector are calculated to be greater than or equal to a preset first reference value can be tracked as the same object.

즉, 제1 추적부(111)는 상기 영상에서 현재 시점에 해당되는 현재 프레임이 상기 제1 프레임이라고 하는 경우, 상기 제1 프레임과 이전 프레임 간의 상기 DeepSORT 알고리즘에 기초한 객체 추적을 수행하기 위해서, 사전 설정된 객체 검출기를 통해 상기 제1 프레임 상에 존재하는 제1 객체들을 검출할 수 있다.That is, when the current frame corresponding to the current point in the image is the first frame, thefirst tracker 111 performs object tracking based on the DeepSORT algorithm between the first frame and the previous frame, First objects existing on the first frame can be detected through a set object detector.

여기서, 상기 객체 검출기는 YOLO(You Only Look Once) 등과 같이, 이미지로부터 객체를 검출하기 위한 딥러닝 기반의 객체 검출 모델을 기초로 구성된 검출기가 활용될 수 있다.Here, the object detector may be a detector constructed based on a deep learning-based object detection model for detecting objects from images, such as YOLO (You Only Look Once).

이렇게, 상기 제1 프레임 상에 존재하는 상기 제1 객체들이 검출되면, 제1 추적부(111)는 상기 제1 객체들의 위치 정보에 대한 제1 특징 벡터를 산출한 후, 상기 제1 프레임의 이전 프레임 상에 존재하였던 제2 객체들의 위치 정보에 대한 특징 벡터를 칼만 필터에 인가함으로써, 상기 제2 객체들이 상기 제1 프레임 상에서 존재할 것으로 예측되는 위치 정보에 대한 제2 특징 벡터를 추정할 수 있다.In this way, when the first objects existing on the first frame are detected, thefirst tracking unit 111 calculates a first feature vector for the location information of the first objects, and then By applying the feature vector for the location information of the second objects that existed on the frame to the Kalman filter, the second feature vector for the location information where the second objects are predicted to exist in the first frame can be estimated.

여기서, 칼만 필터란 잡음을 포함하여 선형 역학계의 상태를 추적하는 재귀 필터를 의미하는 것으로서, 이러한 칼만 필터는, 객체 추적에 있어서, 이전 프레임 상에 존재하던 객체들이 현재 프레임 상에서 어느 위치에 존재할지 예측하는데 사용될 수 있다.Here, the Kalman filter refers to a recursive filter that tracks the state of a linear dynamical system, including noise. In object tracking, this Kalman filter predicts where objects that existed in the previous frame will exist in the current frame. It can be used to

이렇게, 상기 제2 객체들에 대한 제2 특징 벡터가 추정되면, 제1 추적부(111)는 상기 제1 객체들 각각에 대한 제1 특징 벡터와 상기 제2 객체들 각각에 대한 제2 특징 벡터 간의 마할라노비스 거리와 코사인 거리를 연산할 수 있다.In this way, when the second feature vectors for the second objects are estimated, thefirst tracker 111 generates a first feature vector for each of the first objects and a second feature vector for each of the second objects. The Mahalanobis distance and cosine distance between the two can be calculated.

그러고 나서, 제1 추적부(111)는 상기 제1 객체들과 상기 제2 객체들 중에서, 제1 특징 벡터와 제2 특징 벡터 간의 마할라노비스 거리와 코사인 거리의 가중 평균이 사전 설정된 제1 기준치 이상으로 산출되는 두 객체를 서로 동일한 객체로 추적할 수 있다.Then, thefirst tracking unit 111 determines the weighted average of the Mahalanobis distance and the cosine distance between the first feature vector and the second feature vector among the first objects and the second object as a preset first reference value. The two objects calculated above can be traced to the same object.

예컨대, 제1 추적부(111)는 상기 제1 객체들 중 하나인 '객체 1'에 대한 제1 특징 벡터와 상기 제2 객체들 중 하나인 '객체 2'에 대한 제2 특징 벡터 간의 마할라노비스 거리와 코사인 거리의 가중 평균이 상기 제1 기준치 이상으로 산출되었다고 하는 경우, 현재 시점의 프레임인 상기 제1 프레임 상에 존재하는 '객체 1'을 이전 프레임 상에 존재하던 '객체 2'와 동일한 객체인 것으로 추적할 수 있다.For example, thefirst tracking unit 111 may detect Mahalla between a first feature vector for 'Object 1', one of the first objects, and a second feature vector for 'Object 2', one of the second objects. If the weighted average of the novice distance and the cosine distance is calculated to be greater than the first reference value, 'Object 1' existing on the first frame, which is the frame at the current time, is the same as 'Object 2' existing on the previous frame. It can be traced as an object.

본 발명의 일실시예에 따르면, 제2 추적부(112)는 상기 SORT 알고리즘에 기초한 객체 추적을 수행하기 위해, 현재 시점의 프레임이 제2 프레임이라고 하는 경우, 상기 객체 검출기를 통해 상기 제2 프레임 상에 존재하는 제3 객체들을 검출하여, 상기 제3 객체들의 위치 정보에 대한 제3 특징 벡터를 산출하고, 상기 제2 프레임의 이전 프레임 상에 존재하였던 제4 객체들의 위치 정보에 대한 특징 벡터를 칼만 필터에 인가함으로써, 상기 제4 객체들이 상기 제2 프레임 상에서 존재할 것으로 예측되는 위치 정보에 대한 제4 특징 벡터를 추정한 후, 상기 제3 객체들 각각에 대한 제3 특징 벡터와 상기 제4 객체들 각각에 대한 제4 특징 벡터 간의 마할라노비스 거리를 연산하여, 상기 제3 객체들과 상기 제4 객체들 중에서, 제3 특징 벡터와 제4 특징 벡터 간의 마할라노비스 거리가 사전 설정된 제2 기준치 이상으로 산출된 두 객체를 서로 동일한 객체로 추적할 수 있다.According to one embodiment of the present invention, in order to perform object tracking based on the SORT algorithm, thesecond tracking unit 112 detects the second frame through the object detector when the frame at the current time is called the second frame. Detect third objects existing on the frame, calculate a third feature vector for the position information of the third objects, and calculate a feature vector for the position information of the fourth objects that existed in the previous frame of the second frame. By applying the Kalman filter, the fourth feature vector for the position information where the fourth objects are predicted to exist in the second frame is estimated, and then the third feature vector for each of the third objects and the fourth object By calculating the Mahalanobis distance between the fourth feature vectors for each of the third and fourth objects, the Mahalanobis distance between the third feature vector and the fourth feature vector is a preset second reference value. The two objects calculated above can be traced to the same object.

즉, 제2 추적부(112)는 상기 영상에서 현재 시점에 해당되는 현재 프레임이 상기 제2 프레임이라고 하는 경우, 상기 제2 프레임과 이전 프레임 간의 상기 SORT 알고리즘에 기초한 객체 추적을 수행하기 위해서, 상기 객체 검출기를 통해 상기 제2 프레임 상에 존재하는 제3 객체들을 검출할 수 있다.That is, when the current frame corresponding to the current point in the image is the second frame, thesecond tracking unit 112 performs object tracking based on the SORT algorithm between the second frame and the previous frame, Third objects existing on the second frame can be detected through an object detector.

이렇게, 상기 제2 프레임 상에 존재하는 상기 제3 객체들이 검출되면, 제2 추적부(112)는 상기 제3 객체들의 위치 정보에 대한 제3 특징 벡터를 산출한 후, 상기 제2 프레임의 이전 프레임 상에 존재하였던 제4 객체들의 위치 정보에 대한 특징 벡터를 칼만 필터에 인가함으로써, 상기 제4 객체들이 상기 제2 프레임 상에서 존재할 것으로 예측되는 위치 정보에 대한 제4 특징 벡터를 추정할 수 있다.In this way, when the third objects existing on the second frame are detected, thesecond tracking unit 112 calculates a third feature vector for the location information of the third objects, and then By applying the feature vector for the position information of the fourth objects that existed in the frame to the Kalman filter, the fourth feature vector for the position information that the fourth objects are predicted to exist in the second frame can be estimated.

이렇게, 상기 제4 객체들에 대한 제4 특징 벡터가 추정되면, 제2 추적부(112)는 상기 제3 객체들 각각에 대한 제3 특징 벡터와 상기 제4 객체들 각각에 대한 제4 특징 벡터 간의 마할라노비스 거리를 연산할 수 있다.In this way, when the fourth feature vector for the fourth objects is estimated, thesecond tracker 112 calculates the third feature vector for each of the third objects and the fourth feature vector for each of the fourth objects. The Mahalanobis distance between the two can be calculated.

그러고 나서, 제2 추적부(112)는 상기 제3 객체들과 상기 제4 객체들 중에서, 제3 특징 벡터와 제4 특징 벡터 간의 마할라노비스 거리가 사전 설정된 제2 기준치 이상으로 산출된 두 객체를 서로 동일한 객체로 추적할 수 있다.Then, thesecond tracking unit 112 detects two objects among the third objects and the fourth objects for which the Mahalanobis distance between the third feature vector and the fourth feature vector is calculated to be greater than a preset second reference value. can be traced to the same object.

예컨대, 제2 추적부(112)는 상기 제3 객체들 중 하나인 '객체 3'에 대한 제3 특징 벡터와 상기 제4 객체들 중 하나인 '객체 4'에 대한 제4 특징 벡터 간의 마할라노비스 거리가 상기 제2 기준치 이상으로 산출되었다고 하는 경우, 현재 시점의 프레임인 상기 제2 프레임 상에 존재하는 '객체 3'을 이전 프레임 상에 존재하던 '객체 4'와 동일한 객체인 것으로 추적할 수 있다.For example, thesecond tracking unit 112 stores Mahalla between the third feature vector for 'Object 3', one of the third objects, and the fourth feature vector for 'Object 4', one of the fourth objects. If the novice distance is calculated to be greater than the second reference value, 'Object 3' existing on the second frame, which is the current frame, can be tracked as the same object as 'Object 4' existing on the previous frame. there is.

본 발명의 일실시예에 따르면, 실시간 객체 추적 장치(110)는 성능 정보 표시부(114)를 더 포함할 수 있다.According to one embodiment of the present invention, the real-timeobject tracking device 110 may further include a performanceinformation display unit 114.

성능 정보 표시부(114)는 사전 설정된 단위 시간당 객체 추적이 완료된 프레임의 개수를 상기 영상에 대한 객체 추적 처리 속도로 산출하고, 상기 영상에 대한 객체 추적의 정확도에 대한 정보로서, MOTA(Multiple Object Tracking Accuracy) 지수와 MOTP(Multiple Object Tracking Precision) 지수를 산출한 후, 화면 상에 상기 객체 추적 처리 속도와 상기 MOTA 지수 및 상기 MOTP 지수를 표시한다.The performanceinformation display unit 114 calculates the number of frames for which object tracking is completed per preset unit time as the object tracking processing speed for the image, and provides MOTA (Multiple Object Tracking Accuracy) as information on the accuracy of object tracking for the image. ) index and MOTP (Multiple Object Tracking Precision) index are calculated, then the object tracking processing speed, the MOTA index, and the MOTP index are displayed on the screen.

관련해서, 상기 사전 설정된 단위 시간을 '1초'라고 하는 경우, 성능 정보 표시부(114)는 1초당 객체 추적이 완료된 프레임의 개수를 측정함으로써, 초당 프레임수를 상기 객체 추적 처리 속도로 산출할 수 있다.In relation to this, when the preset unit time is '1 second', the performanceinformation display unit 114 measures the number of frames for which object tracking is completed per second, thereby calculating the number of frames per second as the object tracking processing speed. there is.

그리고, MOTA 지수란 하기의 수학식 1에 따라 연산될 수 있는 지수로서,는 현재 시간 t에 해당하는 프레임에 존재하는 실제 객체들의 수를 나타내고,는 현재 시간 t의 프레임에 적용한 추적기법이 미탐지한(즉, 실제로 존재하지만 탐지하지 못한) 객체들의 수를 나타내며,는 부정오류(즉, 존재하지 않은 객체들을 탐지함)의 수를 나타내고,은 미스매치(즉, 객체들이 서로 교차하였으나 이를 인지하지 못함)의 수를 나타낸다.And, the MOTA index is an index that can be calculated according to Equation 1 below, represents the number of actual objects existing in the frame corresponding to the current time t, represents the number of objects that were not detected (i.e., actually existed but were not detected) by the tracking technique applied to the frame at the current time t, represents the number of false negatives (i.e. detecting objects that do not exist), represents the number of mismatches (i.e., objects crossed each other but were not recognized).

그리고, MOTP 지수란 하기의 수학식 2에 따라 연산될 수 있는 지수로서,는 현재 시간 t를 기준으로 현재 프레임과 이전 프레임의 통해 계산된, 매치된 객체의 수를 나타내고,는 매치된 i번째 객체들에 대하여 두 객체의 거리를 나타낸다.And, the MOTP index is an index that can be calculated according to Equation 2 below, represents the number of matched objects calculated through the current frame and the previous frame based on the current time t, represents the distance between two objects with respect to the ith matched objects.

이렇게, 성능 정보 표시부(114)는 실시간 객체 추적 장치(110)를 통해 수행되는 객체 추적의 성능과 관련된 정보로서, 상기 객체 추적 처리 속도, 상기 MOTA 지수 및 상기 MOTP 지수를 화면 상에 표시함으로써, 관리자가 이 성능에 대한 정보를 참고하여 DeepSORT와 SORT를 활용할 프레임의 수를 적절하게 조절할 수 있도록 지원할 수 있다.In this way, the performanceinformation display unit 114 is information related to the performance of object tracking performed through the real-timeobject tracking device 110, and displays the object tracking processing speed, the MOTA index, and the MOTP index on the screen, thereby allowing the administrator By referring to this information on performance, we can provide support to appropriately adjust DeepSORT and the number of frames to utilize SORT.

본 발명의 일실시예에 따르면, 실시간 객체 추적 장치(110)는 이벤트 발생부(115), 산출부(116), 비교부(117), 크기 조정부(118) 및 메시지 표시부(119)를 더 포함할 수 있다.According to one embodiment of the present invention, the real-timeobject tracking device 110 further includes anevent generation unit 115, acalculation unit 116, acomparison unit 117, asize adjustment unit 118, and amessage display unit 119. can do.

이벤트 발생부(115)는 사전 설정된 주기 간격으로, 객체 추적의 성능을 분석하기 위한 분석 이벤트를 발생시킨다. 예컨대, 상기 주기가 '10초'라고 하는 경우, 이벤트 발생부(115)는 '10초' 간격으로, 객체 추적의 성능을 분석하기 위한 분석 이벤트를 발생시킬 수 있다.Theevent generator 115 generates an analysis event to analyze the performance of object tracking at preset periodic intervals. For example, if the period is '10 seconds', theevent generator 115 may generate an analysis event to analyze the performance of object tracking at '10 second' intervals.

산출부(116)는 상기 분석 이벤트가 발생되면, 상기 분석 이벤트의 발생 시점으로부터 상기 주기 동안의, 평균 객체 추적 처리 속도, 평균 MOTA 지수 및 평균 MOTP 지수를 산출한다.When the analysis event occurs, thecalculation unit 116 calculates the average object tracking processing speed, average MOTA index, and average MOTP index during the period from the time of occurrence of the analysis event.

관련해서, 특정 시점에서 상기 분석 이벤트가 발생되었다고 하는 경우, 산출부(116)는 상기 분석 이벤트의 발생 시점으로부터 상기 주기인 '10초' 동안의 평균 객체 추적 처리 속도, 평균 MOTA 지수 및 평균 MOTP 지수를 산출할 수 있다. 예컨대, 객체 추적 처리 속도를 초당 프레임수라고 하는 경우, 산출부(116)는 '10초' 동안의 객체 추적 처리 속도의 평균을 상기 평균 객체 추적 처리 속도로 산출할 수 있고, '10초' 동안 각 프레임에 대해서 산출된 MOTA 지수와 MOTP 지수의 평균을 상기 평균 MOTA 지수 및 상기 평균 MOTP 지수로 산출할 수 있다.In relation to this, when it is said that the analysis event has occurred at a specific point in time, thecalculation unit 116 calculates the average object tracking processing speed, average MOTA index, and average MOTP index during the period of '10 seconds' from the time of occurrence of the analysis event. can be calculated. For example, if the object tracking processing speed is the number of frames per second, thecalculation unit 116 may calculate the average object tracking processing speed for '10 seconds' as the average object tracking processing speed, and the average object tracking processing speed for '10 seconds'. The average of the MOTA index and MOTP index calculated for each frame can be calculated as the average MOTA index and the average MOTP index.

비교부(117)는 상기 평균 MOTA 지수와 상기 평균 MOTP 지수를 성분으로 갖는 벡터의 유클리드 노름(Norm)을 연산한 후, 상기 유클리드 노름과 사전 설정된 임계 노름을 서로 비교하고, 상기 평균 객체 추적 처리 속도와 사전 설정된 임계 처리 속도를 서로 비교한다.Thecomparison unit 117 calculates the Euclidean norm (Norm) of a vector having the average MOTA index and the average MOTP index as components, then compares the Euclidean norm and a preset threshold norm, and calculates the average object tracking processing speed. Compare the preset threshold processing speed with each other.

예컨대, 상기 평균 MOTA 지수를 'Mp'라고 하고, 상기 평균 MOTP 지수를 'Mn'이라고 하는 경우, 비교부(117)는 'Mp'와 'Mn'을 성분으로 갖는 벡터인 '[Mp Mn]'의 유클리드 노름을 연산한 후, 상기 유클리드 노름과 사전 설정된 임계 노름을 서로 비교할 수 있다.For example, when the average MOTA index is called 'Mp' and the average MOTP index is called 'Mn', thecomparison unit 117 generates '[Mp Mn]', which is a vector having 'Mp' and 'Mn' as components. After calculating the Euclidean norm of , the Euclidean norm and a preset critical norm can be compared.

크기 조정부(118)는, 비교부(117)의 비교 결과, 상기 유클리드 노름이 상기 임계 노름을 초과하고, 상기 평균 객체 추적 처리 속도가 상기 임계 처리 속도를 초과하지 않는 것으로 확인된 경우, 실시간 객체 추적 장치(110)를 통한 객체 추적의 정확도는 높지만, 속도가 매우 느린 상황이라고 볼 수 있으므로, 제1 추적부(111)에서 DeepSORT 알고리즘을 통해 객체 추적이 수행되어야 하는 프레임의 개수인 n의 크기를, 사전 설정된 크기만큼 감소시켜, 감소된 n의 크기에 따라 상기 영상에 대한 객체 추적이 수행되도록 제어할 수 있다.When it is confirmed that the Euclidean norm exceeds the threshold norm and the average object tracking processing speed does not exceed the threshold processing speed, thesize adjustment unit 118 performs real-time object tracking as a result of the comparison of thecomparison unit 117. Although the accuracy of object tracking through thedevice 110 is high, the speed can be considered to be very slow. Therefore, the size of n, which is the number of frames for which object tracking must be performed through the DeepSORT algorithm in thefirst tracking unit 111, is, By reducing it by a preset size, it can be controlled so that object tracking for the image is performed according to the reduced size of n.

반면에, 크기 조정부(118)는, 비교부(117)의 비교 결과, 상기 유클리드 노름이 상기 임계 노름을 초과하지 않고, 상기 평균 객체 추적 처리 속도가 상기 임계 처리 속도를 초과하는 것으로 확인된 경우, 실시간 객체 추적 장치(110)를 통한 객체 추적의 속도는 빠르지만, 정확도가 매우 낮은 상황이라고 볼 수 있으므로, 제1 추적부(111)에서 DeepSORT 알고리즘을 통해 객체 추적이 수행되어야 하는 프레임의 개수인 n의 크기를, 상기 사전 설정된 크기만큼 증가시켜, 증가된 n의 크기에 따라 상기 영상에 대한 객체 추적이 수행되도록 제어할 수 있다.On the other hand, when thesize adjustment unit 118 determines that the Euclidean norm does not exceed the threshold norm and the average object tracking processing speed exceeds the threshold processing speed, as a result of the comparison of thecomparison unit 117, Although the speed of object tracking through the real-timeobject tracking device 110 is fast, the accuracy can be considered to be very low. Therefore, n is the number of frames in which object tracking must be performed through the DeepSORT algorithm in thefirst tracking unit 111. The size of can be increased by the preset size, so that object tracking on the image can be controlled according to the increased size of n.

마지막으로, 크기 조정부(118)는, 비교부(117)의 비교 결과, 상기 유클리드 노름이 상기 임계 노름을 초과하고, 상기 평균 객체 추적 처리 속도가 상기 임계 처리 속도를 초과하는 것으로 확인된 경우, 실시간 객체 추적 장치(110)를 통한 객체 추적의 정확도와 속도가 모두 양호한 수준이라고 볼 수 있으므로, n의 크기에 대한 조정을 수행하지 않고, 현재 상태 그대로 객체 추적이 수행되도록 처리할 수 있다.Finally, when it is confirmed that the Euclidean norm exceeds the threshold norm and the average object tracking processing speed exceeds the threshold processing speed as a result of the comparison of thecomparison unit 117, thesize adjustment unit 118 operates in real time. Since both the accuracy and speed of object tracking through theobject tracking device 110 can be considered to be at a good level, object tracking can be performed in its current state without adjusting the size of n.

메시지 표시부(119)는, 비교부(117)의 비교 결과, 상기 유클리드 노름이 상기 임계 노름을 초과하지 않고, 상기 평균 객체 추적 처리 속도가 상기 임계 처리 속도를 초과하지 않는 것으로 확인된 경우, 실시간 객체 추적 장치(110)를 통한 객체 추적의 정확도와 속도가 모두 기준치를 미달하는 수준이라고 볼 수 있으므로, n의 크기에 대한 조정을 수행하지 않은 상태에서, 실시간 객체 추적 장치(110)의 설정에 이상이 있음을 안내하는 메시지를 생성하여 화면 상에 표시할 수 있다. 이를 통해, 관리자는 실시간 객체 추적 장치(110)의 설정을 조정함으로써, 객체 추적의 정확도와 속도를 향상시키기 위한 조치를 수행할 수 있을 것이다.If, as a result of the comparison of thecomparison unit 117, it is confirmed that the Euclidean norm does not exceed the threshold norm and the average object tracking processing speed does not exceed the threshold processing speed, themessage display unit 119 displays the real-time object Since both the accuracy and speed of object tracking through thetracking device 110 can be considered to be below the standard value, there is an error in the settings of the real-timeobject tracking device 110 without adjusting the size of n. You can create a message informing you of its presence and display it on the screen. Through this, the administrator will be able to take steps to improve the accuracy and speed of object tracking by adjusting the settings of the real-timeobject tracking device 110.

도 2는 본 발명의 일실시예에 따른 실시간 객체 추적 방법을 도시한 순서도이다.Figure 2 is a flowchart showing a real-time object tracking method according to an embodiment of the present invention.

제1 추적 단계(S210)는 영상이 입력되면, 상기 영상을 구성하는 프레임들 중 첫 번째 프레임을 시작으로 해서 n(n은 3이상의 크기를 갖는 자연수들 중에서 사전 지정된 어느 하나의 값임)번째 프레임까지 DeepSORT 알고리즘에 기초한 객체 추적을 수행한다.In the first tracking step (S210), when an image is input, starting from the first frame among the frames constituting the image, up to the nth frame (where n is a predetermined value among natural numbers with a size of 3 or more) Performs object tracking based on the DeepSORT algorithm.

제2 추적 단계(S220)는 상기 n번째 프레임과 n+1번째 프레임에 대해 SORT 알고리즘에 기초한 객체 추적을 수행한 후, 상기 n+1번째 프레임을 상기 첫 번째 프레임으로 재지정하여 상기 제1 추적 단계로 회귀한다.The second tracking step (S220) performs object tracking based on the SORT algorithm for the n-th frame and the n+1-th frame, and then re-designates the n+1-th frame as the first frame to perform the first tracking step. returns to

반복 수행 제어 단계는 상기 제1 추적 단계와 상기 제2 추적 단계에 따른 객체 추적이 반복 수행되도록 제어한다.The repetition performance control step controls object tracking according to the first tracking step and the second tracking step to be repeatedly performed.

이때, 본 발명의 일실시예에 따르면, 상기 제1 추적 단계는 상기 DeepSORT 알고리즘에 기초한 객체 추적을 수행하기 위해, 현재 시점의 프레임이 제1 프레임이라고 하는 경우, 사전 설정된 객체 검출기를 통해 상기 제1 프레임 상에 존재하는 제1 객체들을 검출하여, 상기 제1 객체들의 위치 정보에 대한 제1 특징 벡터를 산출하고, 상기 제1 프레임의 이전 프레임 상에 존재하였던 제2 객체들의 위치 정보에 대한 특징 벡터를 칼만 필터에 인가함으로써, 상기 제2 객체들이 상기 제1 프레임 상에서 존재할 것으로 예측되는 위치 정보에 대한 제2 특징 벡터를 추정한 후, 상기 제1 객체들 각각에 대한 제1 특징 벡터와 상기 제2 객체들 각각에 대한 제2 특징 벡터 간의 마할라노비스 거리와 코사인 거리를 연산하여, 상기 제1 객체들과 상기 제2 객체들 중에서, 제1 특징 벡터와 제2 특징 벡터 간의 마할라노비스 거리와 코사인 거리의 가중 평균이 사전 설정된 제1 기준치 이상으로 산출되는 두 객체를 서로 동일한 객체로 추적할 수 있다.At this time, according to an embodiment of the present invention, the first tracking step is to perform object tracking based on the DeepSORT algorithm. If the frame at the current time is the first frame, the first tracking step is performed using a preset object detector. Detecting first objects existing on a frame, calculating a first feature vector for position information of the first objects, and feature vectors for position information of second objects existing in a frame previous to the first frame By applying to the Kalman filter, the second feature vector for the position information where the second objects are predicted to exist on the first frame is estimated, and then the first feature vector for each of the first objects and the second Calculate the Mahalanobis distance and cosine distance between the second feature vectors for each of the objects, and calculate the Mahalanobis distance and cosine between the first feature vector and the second feature vector among the first objects and the second objects. Two objects whose weighted average distance is calculated to be greater than or equal to a preset first reference value can be tracked as the same object.

또한, 본 발명의 일실시예에 따르면, 상기 제2 추적 단계는 상기 SORT 알고리즘에 기초한 객체 추적을 수행하기 위해, 현재 시점의 프레임이 제2 프레임이라고 하는 경우, 상기 객체 검출기를 통해 상기 제2 프레임 상에 존재하는 제3 객체들을 검출하여, 상기 제3 객체들의 위치 정보에 대한 제3 특징 벡터를 산출하고, 상기 제2 프레임의 이전 프레임 상에 존재하였던 제4 객체들의 위치 정보에 대한 특징 벡터를 칼만 필터에 인가함으로써, 상기 제4 객체들이 상기 제2 프레임 상에서 존재할 것으로 예측되는 위치 정보에 대한 제4 특징 벡터를 추정한 후, 상기 제3 객체들 각각에 대한 제3 특징 벡터와 상기 제4 객체들 각각에 대한 제4 특징 벡터 간의 마할라노비스 거리를 연산하여, 상기 제3 객체들과 상기 제4 객체들 중에서, 제3 특징 벡터와 제4 특징 벡터 간의 마할라노비스 거리가 사전 설정된 제2 기준치 이상으로 산출된 두 객체를 서로 동일한 객체로 추적할 수 있다.In addition, according to one embodiment of the present invention, the second tracking step is to perform object tracking based on the SORT algorithm, and when the frame at the current time is called the second frame, the second frame is detected through the object detector. Detect third objects existing on the frame, calculate a third feature vector for the position information of the third objects, and calculate a feature vector for the position information of the fourth objects that existed in the previous frame of the second frame. By applying the Kalman filter, the fourth feature vector for the position information where the fourth objects are predicted to exist in the second frame is estimated, and then the third feature vector for each of the third objects and the fourth object By calculating the Mahalanobis distance between the fourth feature vectors for each of the third and fourth objects, the Mahalanobis distance between the third feature vector and the fourth feature vector is a preset second reference value. The two objects calculated above can be traced to the same object.

또한, 본 발명의 일실시예에 따르면, 상기 실시간 객체 추적 방법은 사전 설정된 단위 시간당 객체 추적이 완료된 프레임의 개수를 상기 영상에 대한 객체 추적 처리 속도로 산출하고, 상기 영상에 대한 객체 추적의 정확도에 대한 정보로서, MOTA 지수와 MOTP 지수를 산출한 후, 화면 상에 상기 객체 추적 처리 속도와 상기 MOTA 지수 및 상기 MOTP 지수를 표시하는 성능 정보 표시 단계를 더 포함할 수 있다.In addition, according to an embodiment of the present invention, the real-time object tracking method calculates the number of frames for which object tracking is completed per preset unit time as the object tracking processing speed for the image, and determines the accuracy of object tracking for the image. As information, after calculating the MOTA index and the MOTP index, a performance information display step of displaying the object tracking processing speed, the MOTA index, and the MOTP index on the screen may be further included.

이때, 본 발명의 일실시예에 따르면, 상기 실시간 객체 추적 방법은 사전 설정된 주기 간격으로, 객체 추적의 성능을 분석하기 위한 분석 이벤트를 발생시키는 이벤트 발생 단계, 상기 분석 이벤트가 발생되면, 상기 분석 이벤트의 발생 시점으로부터 상기 주기 동안의, 평균 객체 추적 처리 속도, 평균 MOTA 지수 및 평균 MOTP 지수를 산출하는 산출 단계, 상기 평균 MOTA 지수와 상기 평균 MOTP 지수를 성분으로 갖는 벡터의 유클리드 노름을 연산한 후, 상기 유클리드 노름과 사전 설정된 임계 노름을 서로 비교하고, 상기 평균 객체 추적 처리 속도와 사전 설정된 임계 처리 속도를 서로 비교하는 비교 단계, 상기 유클리드 노름이 상기 임계 노름을 초과하고, 상기 평균 객체 추적 처리 속도가 상기 임계 처리 속도를 초과하지 않는 것으로 확인된 경우, n의 크기를, 사전 설정된 크기만큼 감소시켜, 감소된 n의 크기에 따라 상기 영상에 대한 객체 추적이 수행되도록 제어하고, 상기 유클리드 노름이 상기 임계 노름을 초과하지 않고, 상기 평균 객체 추적 처리 속도가 상기 임계 처리 속도를 초과하는 것으로 확인된 경우, n의 크기를, 상기 사전 설정된 크기만큼 증가시켜, 증가된 n의 크기에 따라 상기 영상에 대한 객체 추적이 수행되도록 제어하며, 상기 유클리드 노름이 상기 임계 노름을 초과하고, 상기 평균 객체 추적 처리 속도가 상기 임계 처리 속도를 초과하는 것으로 확인된 경우, n의 크기에 대한 조정을 수행하지 않는 크기 조정 단계 및 상기 유클리드 노름이 상기 임계 노름을 초과하지 않고, 상기 평균 객체 추적 처리 속도가 상기 임계 처리 속도를 초과하지 않는 것으로 확인된 경우, n의 크기에 대한 조정을 수행하지 않은 상태에서, 상기 실시간 객체 추적 장치의 설정에 이상이 있음을 안내하는 메시지를 생성하여 화면 상에 표시하는 메시지 표시 단계를 더 포함할 수 있다.At this time, according to an embodiment of the present invention, the real-time object tracking method includes an event generation step of generating an analysis event for analyzing the performance of object tracking at preset periodic intervals. When the analysis event occurs, the analysis event A calculation step of calculating the average object tracking processing speed, average MOTA index, and average MOTP index during the period from the time of occurrence of , calculating the Euclidean norm of a vector having the average MOTA index and the average MOTP index as components, A comparison step of comparing the Euclidean norm and a preset threshold norm, and comparing the average object tracking processing speed and the preset threshold processing speed, wherein the Euclidean norm exceeds the threshold norm, and the average object tracking processing speed is If it is confirmed that the threshold processing speed is not exceeded, the size of n is reduced by a preset size, and object tracking for the image is controlled to be performed according to the reduced size of n, and the Euclidean norm is adjusted to the threshold. If it is confirmed that the average object tracking processing speed exceeds the threshold processing speed without exceeding the norm, increase the size of n by the preset size, and increase the object tracking speed for the image according to the increased size of n. A size adjustment step that controls tracking to be performed, and does not perform an adjustment to the size of n when it is confirmed that the Euclidean norm exceeds the threshold norm and the average object tracking processing rate exceeds the threshold processing rate. and when it is confirmed that the Euclidean norm does not exceed the threshold norm and the average object tracking processing speed does not exceed the threshold processing speed, without performing an adjustment to the size of n, the real-time object tracking A message display step may be further included in which a message indicating that there is an error in the settings of the device is generated and displayed on the screen.

이상, 도 2를 참조하여 본 발명의 일실시예에 따른 실시간 객체 추적 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 실시간 객체 추적 방법은 도 1을 이용하여 설명한 실시간 객체 추적 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.Above, a real-time object tracking method according to an embodiment of the present invention has been described with reference to FIG. 2. Here, since the real-time object tracking method according to an embodiment of the present invention may correspond to the configuration of the operation of the real-timeobject tracking device 110 described using FIG. 1, a more detailed description thereof will be omitted.

본 발명의 일실시예에 따른 실시간 객체 추적 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.The real-time object tracking method according to an embodiment of the present invention can be implemented as a computer program stored in a storage medium to be executed through combination with a computer.

또한, 본 발명의 일실시예에 따른 실시간 객체 추적 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Additionally, the real-time object tracking method according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and constructed for the present invention or may be known and usable by those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described with specific details such as specific components and limited embodiments and drawings, but this is only provided to facilitate a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , those skilled in the art can make various modifications and variations from this description.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be limited to the described embodiments, and the scope of the patent claims described below as well as all modifications that are equivalent or equivalent to the scope of this patent claim shall fall within the scope of the spirit of the present invention. .

110: 실시간 객체 추적 장치
111: 제1 추적부112: 제2 추적부
113: 반복 수행 제어부114: 성능 정보 표시부
115: 이벤트 발생부116: 산출부
117: 비교부118: 크기 조정부
119: 메시지 표시부110: Real-time object tracking device
111: first tracking unit 112: second tracking unit
113: Repeat performance control unit 114: Performance information display unit
115: Event generation unit 116: Calculation unit
117: comparison unit 118: size adjustment unit
119: Message display unit

Claims (12)

Translated fromKorean

영상이 입력되면, 상기 영상을 구성하는 프레임들 중 첫 번째 프레임을 시작으로 해서 n(n은 3이상의 크기를 갖는 자연수들 중에서 사전 지정된 어느 하나의 값임)번째 프레임까지 DeepSORT(Deep Simple Online and Real-time Tracking) 알고리즘에 기초한 객체 추적을 수행하는 제1 추적부;
상기 n번째 프레임과 n+1번째 프레임에 대해 SORT(Simple Online and Real-time Tracking) 알고리즘에 기초한 객체 추적을 수행한 후, 상기 n+1번째 프레임을 상기 첫 번째 프레임으로 재지정하여 상기 제1 추적부에 인가하는 제2 추적부; 및
상기 제1 추적부와 상기 제2 추적부에 따른 객체 추적이 반복 수행되도록 제어하는 반복 수행 제어부
를 포함하는 실시간 객체 추적 장치.When an image is input, starting from the first frame among the frames constituting the image, DeepSORT (Deep Simple Online and Real- a first tracking unit that performs object tracking based on a time tracking algorithm;
After performing object tracking based on the SORT (Simple Online and Real-time Tracking) algorithm for the nth frame and the n+1th frame, the n+1th frame is re-designated as the first frame to perform the first tracking a second tracking department that authorizes the department; and
A repetition performance control unit that controls object tracking according to the first tracking unit and the second tracking unit to be repeatedly performed.
A real-time object tracking device comprising:제1항에 있어서,
상기 제1 추적부는
상기 DeepSORT 알고리즘에 기초한 객체 추적을 수행하기 위해, 현재 시점의 프레임이 제1 프레임이라고 하는 경우, 사전 설정된 객체 검출기를 통해 상기 제1 프레임 상에 존재하는 제1 객체들을 검출하여, 상기 제1 객체들의 위치 정보에 대한 제1 특징 벡터를 산출하고, 상기 제1 프레임의 이전 프레임 상에 존재하였던 제2 객체들의 위치 정보에 대한 특징 벡터를 칼만 필터(Kalman filter)에 인가함으로써, 상기 제2 객체들이 상기 제1 프레임 상에서 존재할 것으로 예측되는 위치 정보에 대한 제2 특징 벡터를 추정한 후, 상기 제1 객체들 각각에 대한 제1 특징 벡터와 상기 제2 객체들 각각에 대한 제2 특징 벡터 간의 마할라노비스 거리(Mahalanobis distance)와 코사인 거리(Cosine Distance)를 연산하여, 상기 제1 객체들과 상기 제2 객체들 중에서, 제1 특징 벡터와 제2 특징 벡터 간의 마할라노비스 거리와 코사인 거리의 가중 평균이 사전 설정된 제1 기준치 이상으로 산출되는 두 객체를 서로 동일한 객체로 추적하는 것을 특징으로 하는 실시간 객체 추적 장치.According to paragraph 1,
The first tracking unit
In order to perform object tracking based on the DeepSORT algorithm, when the frame at the current time is called the first frame, the first objects existing on the first frame are detected through a preset object detector, and the first objects are detected. By calculating a first feature vector for the position information and applying the feature vector for the position information of the second objects that existed in the previous frame of the first frame to a Kalman filter, the second objects are After estimating the second feature vector for the position information predicted to exist in the first frame, Mahalanobis between the first feature vector for each of the first objects and the second feature vector for each of the second objects By calculating the distance (Mahalanobis distance) and the cosine distance (Cosine Distance), among the first objects and the second objects, the weighted average of the Mahalanobis distance and the cosine distance between the first feature vector and the second feature vector is A real-time object tracking device characterized in that it tracks two objects calculated above a preset first standard value as the same object.제2항에 있어서,
상기 제2 추적부는
상기 SORT 알고리즘에 기초한 객체 추적을 수행하기 위해, 현재 시점의 프레임이 제2 프레임이라고 하는 경우, 상기 객체 검출기를 통해 상기 제2 프레임 상에 존재하는 제3 객체들을 검출하여, 상기 제3 객체들의 위치 정보에 대한 제3 특징 벡터를 산출하고, 상기 제2 프레임의 이전 프레임 상에 존재하였던 제4 객체들의 위치 정보에 대한 특징 벡터를 칼만 필터에 인가함으로써, 상기 제4 객체들이 상기 제2 프레임 상에서 존재할 것으로 예측되는 위치 정보에 대한 제4 특징 벡터를 추정한 후, 상기 제3 객체들 각각에 대한 제3 특징 벡터와 상기 제4 객체들 각각에 대한 제4 특징 벡터 간의 마할라노비스 거리를 연산하여, 상기 제3 객체들과 상기 제4 객체들 중에서, 제3 특징 벡터와 제4 특징 벡터 간의 마할라노비스 거리가 사전 설정된 제2 기준치 이상으로 산출된 두 객체를 서로 동일한 객체로 추적하는 것을 특징으로 하는 실시간 객체 추적 장치.According to paragraph 2,
The second tracking unit
In order to perform object tracking based on the SORT algorithm, when the frame at the current time is called the second frame, third objects existing on the second frame are detected through the object detector, and the locations of the third objects are determined. By calculating a third feature vector for the information and applying the feature vector for the position information of the fourth objects that existed in the previous frame of the second frame to the Kalman filter, the fourth objects may exist in the second frame. After estimating the fourth feature vector for the position information predicted to be, the Mahalanobis distance between the third feature vector for each of the third objects and the fourth feature vector for each of the fourth objects is calculated, Among the third objects and the fourth objects, the two objects for which the Mahalanobis distance between the third feature vector and the fourth feature vector is calculated to be greater than a preset second reference value are tracked as the same object. Real-time object tracking device.제1항에 있어서,
사전 설정된 단위 시간당 객체 추적이 완료된 프레임의 개수를 상기 영상에 대한 객체 추적 처리 속도로 산출하고, 상기 영상에 대한 객체 추적의 정확도에 대한 정보로서, MOTA(Multiple Object Tracking Accuracy) 지수와 MOTP(Multiple Object Tracking Precision) 지수를 산출한 후, 화면 상에 상기 객체 추적 처리 속도와 상기 MOTA 지수 및 상기 MOTP 지수를 표시하는 성능 정보 표시부
를 더 포함하는 실시간 객체 추적 장치.According to paragraph 1,
The number of frames for which object tracking is completed per preset unit time is calculated as the object tracking processing speed for the image, and as information on the accuracy of object tracking for the image, the Multiple Object Tracking Accuracy (MOTA) index and Multiple Object (MOTP) are calculated. After calculating the Tracking Precision index, a performance information display unit that displays the object tracking processing speed, the MOTA index, and the MOTP index on the screen.
A real-time object tracking device further comprising:제4항에 있어서,
사전 설정된 주기 간격으로, 객체 추적의 성능을 분석하기 위한 분석 이벤트를 발생시키는 이벤트 발생부;
상기 분석 이벤트가 발생되면, 상기 분석 이벤트의 발생 시점으로부터 상기 주기 동안의, 평균 객체 추적 처리 속도, 평균 MOTA 지수 및 평균 MOTP 지수를 산출하는 산출부;
상기 평균 MOTA 지수와 상기 평균 MOTP 지수를 성분으로 갖는 벡터의 유클리드 노름(Norm)을 연산한 후, 상기 유클리드 노름과 사전 설정된 임계 노름을 서로 비교하고, 상기 평균 객체 추적 처리 속도와 사전 설정된 임계 처리 속도를 서로 비교하는 비교부;
상기 유클리드 노름이 상기 임계 노름을 초과하고, 상기 평균 객체 추적 처리 속도가 상기 임계 처리 속도를 초과하지 않는 것으로 확인된 경우, n의 크기를, 사전 설정된 크기만큼 감소시켜, 감소된 n의 크기에 따라 상기 영상에 대한 객체 추적이 수행되도록 제어하고, 상기 유클리드 노름이 상기 임계 노름을 초과하지 않고, 상기 평균 객체 추적 처리 속도가 상기 임계 처리 속도를 초과하는 것으로 확인된 경우, n의 크기를, 상기 사전 설정된 크기만큼 증가시켜, 증가된 n의 크기에 따라 상기 영상에 대한 객체 추적이 수행되도록 제어하며, 상기 유클리드 노름이 상기 임계 노름을 초과하고, 상기 평균 객체 추적 처리 속도가 상기 임계 처리 속도를 초과하는 것으로 확인된 경우, n의 크기에 대한 조정을 수행하지 않는 크기 조정부; 및
상기 유클리드 노름이 상기 임계 노름을 초과하지 않고, 상기 평균 객체 추적 처리 속도가 상기 임계 처리 속도를 초과하지 않는 것으로 확인된 경우, n의 크기에 대한 조정을 수행하지 않은 상태에서, 상기 실시간 객체 추적 장치의 설정에 이상이 있음을 안내하는 메시지를 생성하여 화면 상에 표시하는 메시지 표시부
를 더 포함하는 실시간 객체 추적 장치.According to paragraph 4,
An event generator that generates an analysis event for analyzing object tracking performance at preset periodic intervals;
When the analysis event occurs, a calculation unit that calculates an average object tracking processing speed, an average MOTA index, and an average MOTP index during the period from the time of occurrence of the analysis event;
After calculating the Euclidean norm (Norm) of a vector having the average MOTA index and the average MOTP index as components, the Euclidean norm and a preset threshold norm are compared with each other, and the average object tracking processing speed and the preset threshold processing speed are compared. A comparison unit that compares with each other;
When it is confirmed that the Euclidean norm exceeds the threshold norm and the average object tracking processing speed does not exceed the threshold processing speed, the size of n is reduced by a preset size, according to the reduced size of n. Control to perform object tracking for the image, and when it is confirmed that the Euclidean norm does not exceed the threshold norm and the average object tracking processing speed exceeds the threshold processing speed, the size of n is set to the dictionary. Increased by a set size, control is performed so that object tracking for the image is performed according to the increased size of n, where the Euclidean norm exceeds the threshold norm and the average object tracking processing speed exceeds the threshold processing speed. a size adjustment unit that does not adjust the size of n if it is confirmed that it is; and
When it is confirmed that the Euclidean norm does not exceed the threshold norm and the average object tracking processing speed does not exceed the threshold processing speed, without performing an adjustment to the size of n, the real-time object tracking device A message display unit that generates a message to inform you that there is an error in the settings and displays it on the screen.
A real-time object tracking device further comprising:영상이 입력되면, 상기 영상을 구성하는 프레임들 중 첫 번째 프레임을 시작으로 해서 n(n은 3이상의 크기를 갖는 자연수들 중에서 사전 지정된 어느 하나의 값임)번째 프레임까지 DeepSORT(Deep Simple Online and Real-time Tracking) 알고리즘에 기초한 객체 추적을 수행하는 제1 추적 단계;
상기 n번째 프레임과 n+1번째 프레임에 대해 SORT(Simple Online and Real-time Tracking) 알고리즘에 기초한 객체 추적을 수행한 후, 상기 n+1번째 프레임을 상기 첫 번째 프레임으로 재지정하여 상기 제1 추적 단계로 회귀하는 제2 추적 단계; 및
상기 제1 추적 단계와 상기 제2 추적 단계에 따른 객체 추적이 반복 수행되도록 제어하는 반복 수행 제어 단계
를 포함하는 실시간 객체 추적 방법.When an image is input, starting from the first frame among the frames constituting the image, DeepSORT (Deep Simple Online and Real- A first tracking step of performing object tracking based on a time tracking algorithm;
After performing object tracking based on the SORT (Simple Online and Real-time Tracking) algorithm for the nth frame and the n+1th frame, the n+1th frame is re-designated as the first frame to perform the first tracking a second tracking step with a return step; and
A repetition performance control step of controlling object tracking according to the first tracking step and the second tracking step to be repeatedly performed.
A real-time object tracking method comprising:제6항에 있어서,
상기 제1 추적 단계는
상기 DeepSORT 알고리즘에 기초한 객체 추적을 수행하기 위해, 현재 시점의 프레임이 제1 프레임이라고 하는 경우, 사전 설정된 객체 검출기를 통해 상기 제1 프레임 상에 존재하는 제1 객체들을 검출하여, 상기 제1 객체들의 위치 정보에 대한 제1 특징 벡터를 산출하고, 상기 제1 프레임의 이전 프레임 상에 존재하였던 제2 객체들의 위치 정보에 대한 특징 벡터를 칼만 필터(Kalman filter)에 인가함으로써, 상기 제2 객체들이 상기 제1 프레임 상에서 존재할 것으로 예측되는 위치 정보에 대한 제2 특징 벡터를 추정한 후, 상기 제1 객체들 각각에 대한 제1 특징 벡터와 상기 제2 객체들 각각에 대한 제2 특징 벡터 간의 마할라노비스 거리(Mahalanobis distance)와 코사인 거리(Cosine Distance)를 연산하여, 상기 제1 객체들과 상기 제2 객체들 중에서, 제1 특징 벡터와 제2 특징 벡터 간의 마할라노비스 거리와 코사인 거리의 가중 평균이 사전 설정된 제1 기준치 이상으로 산출되는 두 객체를 서로 동일한 객체로 추적하는 것을 특징으로 하는 실시간 객체 추적 방법.According to clause 6,
The first tracking step is
In order to perform object tracking based on the DeepSORT algorithm, when the frame at the current time is called the first frame, the first objects existing on the first frame are detected through a preset object detector, and the first objects are detected. By calculating a first feature vector for the position information and applying the feature vector for the position information of the second objects that existed in the previous frame of the first frame to a Kalman filter, the second objects are After estimating the second feature vector for the position information predicted to exist in the first frame, Mahalanobis between the first feature vector for each of the first objects and the second feature vector for each of the second objects By calculating the distance (Mahalanobis distance) and the cosine distance (Cosine Distance), among the first objects and the second objects, the weighted average of the Mahalanobis distance and the cosine distance between the first feature vector and the second feature vector is A real-time object tracking method characterized in that two objects calculated above a preset first reference value are tracked as the same object.제7항에 있어서,
상기 제2 추적 단계는
상기 SORT 알고리즘에 기초한 객체 추적을 수행하기 위해, 현재 시점의 프레임이 제2 프레임이라고 하는 경우, 상기 객체 검출기를 통해 상기 제2 프레임 상에 존재하는 제3 객체들을 검출하여, 상기 제3 객체들의 위치 정보에 대한 제3 특징 벡터를 산출하고, 상기 제2 프레임의 이전 프레임 상에 존재하였던 제4 객체들의 위치 정보에 대한 특징 벡터를 칼만 필터에 인가함으로써, 상기 제4 객체들이 상기 제2 프레임 상에서 존재할 것으로 예측되는 위치 정보에 대한 제4 특징 벡터를 추정한 후, 상기 제3 객체들 각각에 대한 제3 특징 벡터와 상기 제4 객체들 각각에 대한 제4 특징 벡터 간의 마할라노비스 거리를 연산하여, 상기 제3 객체들과 상기 제4 객체들 중에서, 제3 특징 벡터와 제4 특징 벡터 간의 마할라노비스 거리가 사전 설정된 제2 기준치 이상으로 산출된 두 객체를 서로 동일한 객체로 추적하는 것을 특징으로 하는 실시간 객체 추적 방법.In clause 7,
The second tracking step is
In order to perform object tracking based on the SORT algorithm, when the frame at the current time is called the second frame, third objects existing on the second frame are detected through the object detector, and the locations of the third objects are determined. By calculating a third feature vector for the information and applying the feature vector for the position information of the fourth objects that existed in the previous frame of the second frame to the Kalman filter, the fourth objects may exist in the second frame. After estimating the fourth feature vector for the position information predicted to be, the Mahalanobis distance between the third feature vector for each of the third objects and the fourth feature vector for each of the fourth objects is calculated, Among the third objects and the fourth objects, the two objects for which the Mahalanobis distance between the third feature vector and the fourth feature vector is calculated to be greater than a preset second reference value are tracked as the same object. Real-time object tracking method.제6항에 있어서,
사전 설정된 단위 시간당 객체 추적이 완료된 프레임의 개수를 상기 영상에 대한 객체 추적 처리 속도로 산출하고, 상기 영상에 대한 객체 추적의 정확도에 대한 정보로서, MOTA(Multiple Object Tracking Accuracy) 지수와 MOTP(Multiple Object Tracking Precision) 지수를 산출한 후, 화면 상에 상기 객체 추적 처리 속도와 상기 MOTA 지수 및 상기 MOTP 지수를 표시하는 성능 정보 표시 단계
를 더 포함하는 실시간 객체 추적 방법.According to clause 6,
The number of frames for which object tracking is completed per preset unit time is calculated as the object tracking processing speed for the image, and as information on the accuracy of object tracking for the image, the Multiple Object Tracking Accuracy (MOTA) index and Multiple Object (MOTP) are calculated. After calculating the Tracking Precision) index, a performance information display step of displaying the object tracking processing speed, the MOTA index, and the MOTP index on the screen.
A real-time object tracking method further comprising:제9항에 있어서,
사전 설정된 주기 간격으로, 객체 추적의 성능을 분석하기 위한 분석 이벤트를 발생시키는 이벤트 발생 단계;
상기 분석 이벤트가 발생되면, 상기 분석 이벤트의 발생 시점으로부터 상기 주기 동안의, 평균 객체 추적 처리 속도, 평균 MOTA 지수 및 평균 MOTP 지수를 산출하는 산출 단계;
상기 평균 MOTA 지수와 상기 평균 MOTP 지수를 성분으로 갖는 벡터의 유클리드 노름(Norm)을 연산한 후, 상기 유클리드 노름과 사전 설정된 임계 노름을 서로 비교하고, 상기 평균 객체 추적 처리 속도와 사전 설정된 임계 처리 속도를 서로 비교하는 비교 단계;
상기 유클리드 노름이 상기 임계 노름을 초과하고, 상기 평균 객체 추적 처리 속도가 상기 임계 처리 속도를 초과하지 않는 것으로 확인된 경우, n의 크기를, 사전 설정된 크기만큼 감소시켜, 감소된 n의 크기에 따라 상기 영상에 대한 객체 추적이 수행되도록 제어하고, 상기 유클리드 노름이 상기 임계 노름을 초과하지 않고, 상기 평균 객체 추적 처리 속도가 상기 임계 처리 속도를 초과하는 것으로 확인된 경우, n의 크기를, 상기 사전 설정된 크기만큼 증가시켜, 증가된 n의 크기에 따라 상기 영상에 대한 객체 추적이 수행되도록 제어하며, 상기 유클리드 노름이 상기 임계 노름을 초과하고, 상기 평균 객체 추적 처리 속도가 상기 임계 처리 속도를 초과하는 것으로 확인된 경우, n의 크기에 대한 조정을 수행하지 않는 크기 조정 단계; 및
상기 유클리드 노름이 상기 임계 노름을 초과하지 않고, 상기 평균 객체 추적 처리 속도가 상기 임계 처리 속도를 초과하지 않는 것으로 확인된 경우, n의 크기에 대한 조정을 수행하지 않은 상태에서, 상기 실시간 객체 추적 장치의 설정에 이상이 있음을 안내하는 메시지를 생성하여 화면 상에 표시하는 메시지 표시 단계
를 더 포함하는 실시간 객체 추적 방법.According to clause 9,
An event generation step of generating an analysis event for analyzing the performance of object tracking at preset periodic intervals;
When the analysis event occurs, a calculation step of calculating the average object tracking processing speed, average MOTA index, and average MOTP index during the period from the time of occurrence of the analysis event;
After calculating the Euclidean norm (Norm) of a vector having the average MOTA index and the average MOTP index as components, the Euclidean norm and a preset threshold norm are compared with each other, and the average object tracking processing speed and the preset threshold processing speed are compared. A comparison step of comparing with each other;
When it is confirmed that the Euclidean norm exceeds the threshold norm and the average object tracking processing speed does not exceed the threshold processing speed, the size of n is reduced by a preset size, according to the reduced size of n. Control to perform object tracking for the image, and when it is confirmed that the Euclidean norm does not exceed the threshold norm and the average object tracking processing speed exceeds the threshold processing speed, the size of n is set to the dictionary. Increased by a set size, control is performed so that object tracking for the image is performed according to the increased size of n, where the Euclidean norm exceeds the threshold norm and the average object tracking processing speed exceeds the threshold processing speed. If confirmed, a resizing step of not performing an adjustment to the size of n; and
When it is confirmed that the Euclidean norm does not exceed the threshold norm and the average object tracking processing speed does not exceed the threshold processing speed, without performing an adjustment to the size of n, the real-time object tracking device A message display step that generates a message to inform you that there is an error in the settings and displays it on the screen.
A real-time object tracking method further comprising:제6항 내지 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.A computer-readable recording medium recording a computer program for executing the method of any one of claims 6 to 10 through combination with a computer.제6항 내지 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.A computer program stored in a storage medium for executing the method of any one of claims 6 to 10 through combination with a computer.

Images