KR20220063361A

Movatterモバイル変換

Info

Publication number: KR20220063361A
Application number: KR1020200149106A
Authority: KR
Inventors: 박지수; 김웅태; 김재형; 신주석
Original assignee: 이인텔리전스 주식회사
Priority date: 2020-11-10
Filing date: 2020-11-10
Publication date: 2022-05-17
Also published as: WO2022102802A1

Abstract

Translated fromKorean

본 개시는 어노테이션 관리 장치 및 방법에 관한 것이다. 구체적으로 본 개시에 따른 어노테이션 관리 장치는 어노테이션(Annotation) 작업에 대한 데이터를 송수신하는 송수신부, 작업 요청신호에 대응하여 복수의 등급으로 분류된 작업자 단말 중 어노테이션 작업을 수행할 적어도 한 개의 작업자 단말을 지정하는 작업 지정부, 지정된 작업자 단말에게 어노테이션 작업을 할당하고, 수신된 어노테이션 작업 결과를 제1 검수자 단말에게 검수하도록 할당하는 작업 할당부 및 수신된 어노테이션 작업 결과의 적중률이 제1 기준치 이상인 경우, 어노테이션 작업을 완료하는 작업 처리부를 포함한다.The present disclosure relates to an annotation management apparatus and method. Specifically, the annotation management apparatus according to the present disclosure includes a transceiver for transmitting and receiving data for an annotation operation, and at least one operator terminal to perform an annotation operation among operator terminals classified into a plurality of grades in response to a task request signal. A task assignment unit to assign an annotation task to a designated operator terminal, a task allocator for allocating the received annotation task result to the first inspector terminal, and if the hit rate of the received annotation task result is equal to or greater than the first reference value, annotation It contains a job processing unit that completes the job.

Description

Translated fromKorean

어노테이션 관리 장치 및 방법{ANNOTATION MANAGING APPARATUS AND METHOD}Annotation management apparatus and method {ANNOTATION MANAGING APPARATUS AND METHOD}

본 개시는 어노테이션 관리 장치 및 방법에 관한 것으로써, 보다 구체적으로, 어노테이션 작업을 할당하고 관리하는 어노테이션 관리 장치 및 방법에 관한 것이다.The present disclosure relates to an apparatus and method for managing annotations, and more particularly, to an apparatus and method for managing annotations for allocating and managing annotation tasks.

기계학습이란 레이블링(Labeling)이 되어있는 데이터를 학습하여 특정 모델을 생성하는 방법이다. 따라서, 기계학습에는 레이블링 데이터가 필수적으로 필요하며, 레이블링 데이터를 생성하기 위해서 어노테이션(Annotation) 작업이 선행되어야 한다.Machine learning is a method of creating a specific model by learning labeled data. Therefore, labeling data is essential for machine learning, and annotation work must be preceded to generate labeling data.

어노테이션 작업은 해당 데이터에 따라 적합한 정보를 태깅(Tagging)하는 것을 의미하며, 어노테이터는 어노테이션 작업을 하는 사람을 의미한다. 기계학습에 필요한 레이블링 데이터는 상당한 양의 양질의 데이터가 필요한데, 일반적으로 어노테이션 작업은 사람이 수행하기 때문에 상당한 비용과 시간이 소모된다.Annotating means tagging appropriate information according to corresponding data, and annotator means a person who performs annotation work. The labeling data required for machine learning requires a significant amount of high-quality data, and since annotation work is generally performed by humans, considerable cost and time are consumed.

이에 따라, 기업 활동의 일부 과정에 일반 대중을 참여시키는 크라우드소싱(Crowdsourcing) 기반으로 많은 양의 데이터를 수집 및 가공하기도 한다. 즉, 기업은 하나의 프로젝트를 오픈하여 작업자(Annotator)가 해당 프로젝트에 참여하게 함으로써, 작업자에 의해 완료된 작업 결과를 통해 필요한 정보를 수집할 수 있다.Accordingly, a large amount of data is collected and processed based on crowdsourcing that engages the general public in some processes of corporate activities. That is, the company opens one project and allows the worker (annotator) to participate in the project, thereby collecting necessary information through the work result completed by the worker.

이때, 기업은 보다 신뢰도가 높은 정보를 수집하기 위해, 작업자에 의해 완료된 작업 결과를 검수자에게 배정하여 검수 작업을 수행하도록 한다.At this time, in order to collect more reliable information, the company assigns the results of the work completed by the operator to the inspector to perform the inspection.

이렇게 생성되는 어노테이션 데이터는 기계학습의 특성상 사용자가 원하는 용도에 따라 필요한 레이블링 데이터가 다르므로, 무작위의 작업자에 의해 생성된 어노테이션 데이터만을 사용하기에는 한계가 있다. 따라서, 기계학습 결과의 성능향상을 위한 어노테이션 작업을 효율적으로 수행할 수 있는 시스템이 필요하다.Since the annotation data generated in this way differs in required labeling data according to the purpose desired by the user due to the nature of machine learning, there is a limit to using only the annotation data generated by a random operator. Therefore, there is a need for a system that can efficiently perform annotation work to improve the performance of machine learning results.

이러한 배경에서, 본 개시는 어노테이션 작업을 수행하기 위한 작업자들의 작업 결과에 따라 작업자들에게 어노테이션 작업을 할당하는 어노테이션 관리 장치 및 방법을 제공하고자 한다.Against this background, the present disclosure intends to provide an apparatus and method for managing annotations for allocating annotation tasks to workers according to the work results of workers for performing the annotation work.

전술한 과제를 해결하기 위하여, 일 측면에서, 본 개시는 어노테이션(Annotation) 작업에 대한 데이터를 송수신하는 송수신부, 작업 요청신호에 대응하여 복수의 등급으로 분류된 작업자 단말 중 어노테이션 작업을 수행할 적어도 한 개의 작업자 단말을 지정하는 작업 지정부, 지정된 작업자 단말에게 어노테이션 작업을 할당하고, 수신된 어노테이션 작업 결과를 제1 검수자 단말에게 검수하도록 할당하는 작업 할당부 및 수신된 어노테이션 작업 결과의 적중률이 제1 기준치 이상인 경우, 어노테이션 작업을 완료하는 작업 처리부를 포함하는 어노테이션 관리 장치를 제공한다.In order to solve the above problems, in one aspect, the present disclosure provides at least a transceiver for transmitting and receiving data for an annotation operation, an annotation operation among worker terminals classified into a plurality of grades in response to a task request signal. A task assignment unit for designating one operator terminal, a task allocator for allocating an annotation task to a designated operator terminal, and for reviewing the received annotation task result to a first inspector terminal, and the hit rate of the received annotation task result is the first Provided is an annotation management apparatus including a task processing unit that completes the annotation task when the reference value is greater than or equal to the reference value.

다른 측면에서, 본 개시는 어노테이션 작업을 위한 요청 신호를 수신하는 작업 요청 수신 단계, 요청 신호에 대응하여 복수의 등급으로 분류된 작업자 단말 중 어노테이션 작업을 수행할 적어도 한 명의 작업자 단말을 지정하는 작업 지정 단계, 지정된 작업자 단말에게 요청된 어노테이션 작업을 할당하고, 수신된 어노테이션 작업 결과를 제1 검수자에게 검수하도록 할당하는 작업 할당 단계 및 수신된 어노테이션 작업 결과의 적중률이 제1 기준치 이상인 경우, 어노테이션 작업을 완료하는 작업 처리 단계를 포함하는 어노테이션 관리 방법을 제공한다.In another aspect, the present disclosure provides a work request receiving step of receiving a request signal for annotation work, and in response to the request signal, designating at least one worker terminal to perform an annotation work among worker terminals classified into a plurality of classes Step, task assignment step of allocating the requested annotation work to the designated operator terminal, and assigning the received annotation work result to the first inspector for review, and if the hit rate of the received annotation work result is equal to or greater than the first reference value, the annotation work is completed It provides an annotation management method including a work processing step.

본 개시에 의하면, 어노테이션 관리 장치 및 방법은 작업자에 적합한 어노테이션 작업 할당량과 어노테이션 작업 분야로 어노테이션 작업을 할당함으로써, 어노테이션 데이터의 신뢰성 및 작업 효율성을 향상할 수 있다.According to the present disclosure, the apparatus and method for managing annotations can improve reliability and work efficiency of annotation data by allocating annotation work to an annotation work quota suitable for a worker and an annotation work field.

도 1은 일 실시예에 따른 어노테이션(Annotation) 관리 시스템을 설명하기 위한 블록도이다.
도 2는 본 개시의 일 실시예에 따른 어노테이션 관리 장치를 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 작업자 단말이 어노테이션 작업을 수행하는 것을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른, 작업 지정부가 어노테이션 작업을 작업자 단말에 지정하는 것을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 작업자 단말이 복수의 등급으로 분류되는 것을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 작업 지정부가 어노테이션 작업을 수행할 작업자 단말을 지정하는 것을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 출력부가 사용 목적에 따라 어노테이션 결과를 출력하는 것을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 어노테이션 관리 방법을 설명하는 흐름도이다.
도 9는 일 실시예에 따른 어노테이션 작업의 수행률 및 적중률에 따라 어노테이션 작업이 수행되는 것을 설명하기 위한 흐름도이다.1 is a block diagram illustrating an annotation management system according to an embodiment.
2 is a block diagram illustrating an apparatus for managing annotations according to an embodiment of the present disclosure.
3 is a diagram for explaining that an operator terminal performs an annotation operation according to an embodiment.
4 is a diagram for explaining that the task designation unit designates the annotation task to the operator terminal, according to an embodiment.
5 is a diagram for explaining that an operator terminal is classified into a plurality of grades according to an embodiment.
6 is a diagram for explaining that the task designation unit designates an operator terminal to perform an annotation task according to an embodiment.
7 is a diagram for explaining that an output unit outputs an annotation result according to a purpose of use, according to an embodiment.
8 is a flowchart illustrating an annotation management method according to an embodiment of the present disclosure.
9 is a flowchart illustrating that an annotation operation is performed according to a performance rate and a hit rate of the annotation operation according to an exemplary embodiment.

이하, 본 개시의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 이하, 이하, 본 개시의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 이하, 본 개시의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성 요소들에 참조부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 기술 사상의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다. 본 명세서 상에서 언급된 "포함한다", "갖는다", "이루어진다" 등이 사용되는 경우 "~만"이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별한 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함할 수 있다.Hereinafter, some embodiments of the present disclosure in detail with reference to illustrative drawings, hereinafter in detail with reference to exemplary drawings, some embodiments of the present disclosure in detail with reference to exemplary drawings to be described in detail. In adding reference numerals to components of each drawing, the same components may have the same reference numerals as much as possible even though they are indicated in different drawings. In addition, in describing the present embodiments, if it is determined that a detailed description of a related well-known configuration or function may obscure the gist of the present technical idea, the detailed description may be omitted. When "includes", "having", "consisting of", etc. mentioned in this specification are used, other parts may be added unless "only" is used. When a component is expressed in the singular, it may include a case in which the plural is included unless otherwise explicitly stated.

또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다.In addition, in describing the components of the present disclosure, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the elements from other elements, and the essence, order, order, or number of the elements are not limited by the terms.

구성 요소들의 위치 관계에 대한 설명에 있어서, 둘 이상의 구성 요소가 "연결", "결합" 또는 "접속" 등이 된다고 기재된 경우, 둘 이상의 구성 요소가 직접적으로 "연결", "결합" 또는 "접속" 될 수 있지만, 둘 이상의 구성 요소와 다른 구성 요소가 더 "개재"되어 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다. 여기서, 다른 구성 요소는 서로 "연결", "결합" 또는 "접속" 되는 둘 이상의 구성 요소 중 하나 이상에 포함될 수도 있다.In the description of the positional relationship of the components, when it is described that two or more components are "connected", "coupled" or "connected", two or more components are directly "connected", "coupled" or "connected" ", but it will be understood that two or more components and other components may be further "interposed" and "connected," "coupled," or "connected." Here, other components may be included in one or more of two or more components that are “connected”, “coupled” or “connected” to each other.

구성 요소들이나, 동작 방법이나 제작 방법 등과 관련한 시간적 흐름 관계에 대한 설명에 있어서, 예를 들어, "~후에", "~에 이어서", "~다음에", "~전에" 등으로 시간적 선후 관계 또는 흐름적 선후 관계가 설명되는 경우, "바로" 또는 "직접"이 사용되지 않는 이상 연속적이지 않은 경우도 포함할 수 있다.In the description of the temporal flow relationship related to the components, the operation method or the production method, for example, the temporal precedence relationship such as "after", "after", "after", "before", etc. Alternatively, when a flow precedence relationship is described, it may include a case where it is not continuous unless "immediately" or "directly" is used.

한편, 구성 요소에 대한 수치 또는 그 대응 정보(예: 레벨 등)가 언급된 경우, 별도의 명시적 기재가 없더라도, 수치 또는 그 대응 정보는 각종 요인(예: 공정상의 요인, 내부 또는 외부 충격, 노이즈 등)에 의해 발생할 수 있는 오차 범위를 포함하는 것으로 해석될 수 있다.On the other hand, when numerical values or corresponding information (eg, level, etc.) for a component are mentioned, even if there is no separate explicit description, the numerical value or the corresponding information is based on various factors (eg, process factors, internal or external shock, Noise, etc.) may be interpreted as including an error range that may occur.

이하에서는 첨부되는 도면들을 참조하여 본 개시의 일 실시예에 따른 어노테이션 관리 장치(10)를 설명하기로 한다.Hereinafter, anannotation management apparatus 10 according to an embodiment of the present disclosure will be described with reference to the accompanying drawings.

도 1은 일 실시예에 따른 어노테이션(Annotation) 관리 시스템(1)을 설명하기 위한 블록도이다.1 is a block diagram illustrating anannotation management system 1 according to an embodiment.

도 1을 참조하면, 어노테이션 관리 시스템(1)은 어노테이션 관리 장치(10), 어노테이션 요청 단말(20), 작업자 단말(30), 검수자 단말(40) 및 데이터베이스(50) 등을 포함할 수 있다.Referring to FIG. 1 , theannotation management system 1 may include anannotation management apparatus 10 , anannotation requesting terminal 20 , aworker terminal 30 , aninspector terminal 40 , adatabase 50 , and the like.

본 개시의 일 실시예에 따른 어노테이션 관리 장치(10)는 어노테이션 작업을 위한 요청 신호를 수신하고, 작업 요청신호에 대응하여 요청된 어노테이션 작업의 분야를 분류하고, 복수의 등급으로 분류된 작업자 단말(30) 중 어노테이션 작업을 수행할 적어도 한 개의 작업자 단말(30)을 지정하고, 지정된 작업자 단말(30)에게 어노테이션 작업을 할당하고, 수신된 어노테이션 작업 결과를 제1 검수자 단말에게 검수하도록 할당하고, 수신된 어노테이션 작업 결과의 적중률이 제1 기준치 이상인 경우, 어노테이션 작업을 완료할 수 있다.Theannotation management apparatus 10 according to an embodiment of the present disclosure receives a request signal for an annotation operation, classifies a field of an annotation operation requested in response to the operation request signal, and classifies the operator terminal ( 30) designate at least oneoperator terminal 30 to perform the annotation operation, allocate the annotation operation to the designatedoperator terminal 30, and assign the received annotation operation result to the first inspector terminal to review, and receive When the hit rate of the results of the annotation work is equal to or greater than the first reference value, the annotation work may be completed.

어노테이션 의뢰 단말은 의뢰자에 의해 제어되고, 특정 어노테이션 작업을 위한 요청 신호를 어노테이션 관리 장치(10)로 전송할 수 있다. 여기서, 어노테이션 의뢰 단말은 휴대 가능한 무선 단말일 수도 있고, 전자 연산이 가능한 컴퓨팅 장치일 수 있다. 즉, 어노테이션 의뢰 단말은 의뢰자에 의해 생성된 입력 신호에 대응하여 어노테이션 작업을 위한 위한 요청 신호를 어노테이션 관리 장치(10)로 전송할 수 있다.The annotation requesting terminal is controlled by the requestor, and may transmit a request signal for a specific annotation operation to theannotation management apparatus 10 . Here, the annotation requesting terminal may be a portable wireless terminal or a computing device capable of electronic calculation. That is, the annotation requesting terminal may transmit a request signal for annotation work to theannotation management apparatus 10 in response to the input signal generated by the requester.

작업자 단말(30)은 어노테이션 관리 장치(10)로부터 할당되는 어노테이션 작업을 수신하여 어노테이션 작업을 수행할 수 있다. 여기서, 어노테이션 의뢰 단말은 휴대 가능한 무선 단말일 수도 있고, 전자 연산이 가능한 컴퓨팅 장치일 수 있다.Theworker terminal 30 may receive the annotation work assigned from theannotation management apparatus 10 and perform the annotation work. Here, the annotation requesting terminal may be a portable wireless terminal or a computing device capable of electronic calculation.

작업자 단말(30)은 어노테이션 작업의 목적이 되는 입력 데이터에 속성값을 부여하여 객체 라벨링 작업을 수행할 수 있다. 이렇게 수행된 어노테이션 작업 결과를 다시 어노테이션 관리 장치(10)로 전송할 수 있다. 여기서, 작업자 단말(30)은 작업자에 의해 제어될 수 있다. 예를 들면, 어노테이션 작업은 작업자의 입력 신호에 대응하여 수행될 수 있다.Theoperator terminal 30 may perform an object labeling operation by assigning an attribute value to input data that is the object of the annotation operation. The result of the annotation operation performed in this way may be transmitted back to theannotation management apparatus 10 . Here, theoperator terminal 30 may be controlled by the operator. For example, the annotation operation may be performed in response to an input signal of an operator.

검수자 단말(40)은 어노테이션 관리 장치(10)로부터 어노테이션 작업 결과를 수신하여 어노테이션 작업 결과에 대한 유효성을 검수할 수 있다. 예를 들면, 검수자 단말(40)은 어노테이션 작업 결과에 대한 객체 라벨링 작업의 적중 여부를 검수하여 어노테이션 작업 결과의 적중률을 산출할 수 있다. 그리고, 검수를 통해 산출한 어노테이션 작업 결과의 적중률을 어노테이션 관리 장치(10)로 전송할 수 있다.Theexaminer terminal 40 may receive the annotation operation result from theannotation management apparatus 10 and check the validity of the annotation operation result. For example, theinspector terminal 40 may calculate a hit rate of the annotation operation result by inspecting whether the object labeling operation is hit with respect to the annotation operation result. Then, the hit ratio of the result of the annotation operation calculated through the inspection may be transmitted to theannotation management apparatus 10 .

검수자 단말(40)은 휴대 가능한 무선 단말일 수도 있고, 전자 연산이 가능한 컴퓨팅 장치일 수 있다. 그리고, 검수자 단말(40)은 검수자에 의해 제어될 수 있다. 예를 들면, 어노테이션 작업 결과에 대한 검수는 검수자의 입력 신호에 대응하여 검수될 수 있다.Theinspector terminal 40 may be a portable wireless terminal or a computing device capable of electronic calculation. And, theinspector terminal 40 may be controlled by the inspector. For example, the inspection of the annotation work result may be inspected in response to the input signal of the inspector.

데이터베이스(50)는 어노테이션 관리 장치(10)와 송수신하여 어노테이션 작업에 대한 전반적인 데이터를 저장하거나, 저장된 데이터를 어노테이션 관리 장치(10)의 요청 신호에 대응하여 전송할 수 있다.Thedatabase 50 may transmit and receive data to and from theannotation management apparatus 10 to store overall data for an annotation operation, or may transmit the stored data in response to a request signal of theannotation management apparatus 10 .

예를 들면, 데이터베이스(50)는 어노테이션 작업 결과를 작업자 단말(30) 별로 저장할 수 있다. 데이터베이스(50)는 어노테이션 데이터를 특정 항목, 예를 들면, 이미지 데이터, 이미지 데이터의 속성값, 어노테이션 객체의 종류 등에 따라 저장할 수 있다. 다른 예를 들면, 데이터베이스(50)는 작업자의 적중률, 작업자의 할당률, 검수자의 검수율, 검수자의 검수 적중률 등을 저장할 수 있다.For example, thedatabase 50 may store the annotation work result for eachoperator terminal 30 . Thedatabase 50 may store annotation data according to specific items, for example, image data, attribute values of image data, types of annotation objects, and the like. For another example, thedatabase 50 may store the hit rate of the operator, the allocation rate of the operator, the inspection rate of the inspector, the inspection hit rate of the inspector, and the like.

데이터 베이스는 전술한 저장 데이터에 대해 특정 항목을 기준으로 취합하여 어노테이션 관리 장치(10)로 전송할 수 있다.The database may collect the above-described stored data based on a specific item and transmit it to theannotation management apparatus 10 .

이러한 데이터베이스(50)는 어노테이션 관리 장치(10) 내부에 모듈로서 포함될 수 있고, 독립된 장치로서 어노테이션 관리 장치(10)와 데이터를 송수신할 수 있다.Thedatabase 50 may be included as a module in theannotation management device 10 , and may transmit/receive data to and from theannotation management device 10 as an independent device.

전술한 어노테이션 관리 시스템(1)에 포함된 각각의 장치들은 서로 네트워크를 통해 데이터를 송수신할 수 있으며, 이에 한정되지 않고, 유선 통신을 통해 데이터를 주고 받을 수 있음은 물론이다.Each of the devices included in the above-describedannotation management system 1 may transmit/receive data to and from each other through a network, but is not limited thereto, and may transmit/receive data through wired communication.

도 2는 본 개시의 일 실시예에 따른 어노테이션 관리 장치(10)를 설명하기 위한 블록도이다.2 is a block diagram illustrating anannotation management apparatus 10 according to an embodiment of the present disclosure.

도 2를 참조하면, 본 개시의 어노테이션 관리 장치(10)는 송수신부(110), 작업 지정부(120), 작업 할당부(130), 작업 처리부(140) 및 출력부(150) 등을 포함할 수 있다.Referring to FIG. 2 , theannotation management apparatus 10 of the present disclosure includes atransceiver 110 , atask designation unit 120 , atask assignment unit 130 , atask processing unit 140 , anoutput unit 150 , and the like. can do.

송수신부(110)는 어노테이션 작업에 대한 데이터를 송수신할 수 있다. 예를 들면, 어노테이션 관리 장치(10)는 어노테이션 요청 단말(20)로부터 어노테이션 작업을 위한 작업 요청신호를 수신할 수 있고, 어노테이션 작업 결과를 출력하여 어노테이션 요청 단말(20)로 전송할 수 있다.Thetransceiver 110 may transmit/receive data for annotation work. For example, theannotation management apparatus 10 may receive a work request signal for annotation work from theannotation requesting terminal 20 , and may output an annotation work result and transmit it to theannotation requesting terminal 20 .

다른 예를 들면, 송수신부(110)는 어노테이션 작업 수행을 위해 작업자 단말(30)로 각 작업자 단말(30)에 할당된 어노테이션 작업을 전송할 수 있다. 그리고, 송수신부(110)는 작업자 단말(30)에 의해 수행된 어노테이션 작업 결과를 수신할 수 있다.As another example, thetransceiver 110 may transmit the annotation task assigned to eachoperator terminal 30 to theoperator terminal 30 to perform the annotation operation. In addition, thetransceiver 110 may receive the result of the annotation operation performed by theoperator terminal 30 .

또 다른 예를 들면, 송수신부(110)는 어노테이션 작업 검수를 위해 검수자 단말(40)로 각 작업자 단말(30)에 의해 수행된 어노테이션 작업 결과를 전송할 수 있다. 그리고, 송수신부(110)는 검수자 단말(40)에 의해 검수된 어노테이션 작업 결과에 따른 검수 결과를 수신할 수 있다.As another example, thetransceiver 110 may transmit the results of the annotation work performed by eachoperator terminal 30 to theinspector terminal 40 for the inspection of the annotation work. In addition, thetransceiver 110 may receive the inspection result according to the annotation work result inspected by theinspector terminal 40 .

작업 지정부(120)는 작업 요청신호에 대응하여 복수의 등급으로 분류된 작업자 단말(30) 중 어노테이션 작업을 수행할 적어도 한 개의 작업자 단말(30)을 지정할 수 있다.The task designator 120 may designate at least oneoperator terminal 30 to perform an annotation task among theoperator terminals 30 classified into a plurality of grades in response to the task request signal.

도 3은 일 실시예에 따른 작업자 단말(30)이 어노테이션 작업을 수행하는 것을 설명하기 위한 도면이다.3 is a diagram for explaining that theoperator terminal 30 performs an annotation operation according to an embodiment.

작업 지정부(120)는 후술하는 검수자 단말(40)에서 수신한 어노테이션 작업 결과, 예를 들면, 어노테이션 작업 결과에 대한 적중률을 기초로 복수의 작업자 단말(30)을 복수의 등급으로 분류할 수 있다.Thetask designation unit 120 may classify the plurality ofworker terminals 30 into a plurality of grades based on an annotation operation result received from theinspector terminal 40 to be described later, for example, a hit rate for the annotation operation result. .

도 3을 참조하면, 작업자 단말(30)은 어노테이션 작업의 목적이 되는 입력 데이터에 속성값을 부여하여 객체 라벨링(Labeling) 작업을 수행할 수 있다. 예를 들면, 제1 작업자 단말은 특정 입력 데이터에 대해 날씨에 대한 속성값을 부여하고, 이와 연계되는 차량, 보행자, 이륜차 등의 라벨링 작업을 수행할 수 있다.Referring to FIG. 3 , theoperator terminal 30 may perform an object labeling operation by assigning an attribute value to input data that is the object of the annotation operation. For example, the first operator terminal may assign a weather attribute value to specific input data, and may perform a labeling operation of a vehicle, a pedestrian, a two-wheeled vehicle, etc. related thereto.

검수자 단말(40)은 입력 데이터에 속성값을 부여하고, 객체 라벨링 작업을 수행한 결과, 즉, 어노테이션 작업 결과를 검수할 수 있다. 구체적으로, 검수자 단말(40)은 입력 데이터에 속성값 부여에 대한 적절성 여부, 객체 라벨링 작업에 대한 적절성 여부를 판단하여 적중률을 산출할 수 있다.Theinspector terminal 40 may inspect the result of assigning an attribute value to the input data and performing the object labeling operation, that is, the annotation operation result. Specifically, theinspector terminal 40 can calculate the hit rate by determining whether the appropriateness for assigning attribute values to the input data and whether it is appropriate for the object labeling operation.

작업 지정부(120)는 전술한 적중률을 기초로 작업자 단말(30)에 대해 복수의 등급 중 어느 하나의 등급으로 분류할 수 있다.The task designator 120 may classify theoperator terminal 30 into any one of a plurality of grades based on the above-described hit ratio.

전술한 바에 따르면, 어노테이션 관리 장치(10)는 복수의 작업자 단말(30)을 특정 등급으로 분류함으로써, 어노테이션 작업에 대한 신뢰도를 향상시킬 수 있다.As described above, theannotation management apparatus 10 classifies the plurality ofworker terminals 30 into specific grades, thereby improving the reliability of the annotation operation.

도 4는 일 실시예에 따른, 작업 지정부(120)가 어노테이션 작업을 작업자 단말(30)에 지정하는 것을 설명하기 위한 도면이다.FIG. 4 is a diagram for explaining that thetask designation unit 120 designates an annotation task to theoperator terminal 30 according to an embodiment.

도 4를 참조하면, 작업 지정부(120)는 작업자 단말(30)에 대한 정보를 기초로 작업자 단말(30)을 지정하여 어노테이션 작업을 수행하도록 할 수 있다. 구체적으로, 작업 지정부(120)는 어노테이션 관리 장치(10)가 할당할 수 있는 작업자 단말(30)들에 대한 각각의 정보를 데이터베이스(50)로부터 수신하여 통계 분석하고, 이를 기초로 어노테이션 작업에 적합한 작업자 단말(30)을 산출할 수 있다.Referring to FIG. 4 , thetask designator 120 may designate theoperator terminal 30 based on information on theoperator terminal 30 to perform the annotation operation. Specifically, thetask designation unit 120 receives each information about theoperator terminals 30 that can be assigned by theannotation management apparatus 10 from thedatabase 50 and statistically analyzes it, and based on this, Asuitable operator terminal 30 can be calculated.

예를 들면, 어노테이션 작업의 마감 기한이 촉박한 경우, 작업 지정부(120)는 작업자 단말(30)의 일평균 처리량을 기초로 일평균 처리량이 높은 작업자 단말(30)이 어노테이션 작업을 수행하도록 지정할 수 있다.For example, when the deadline of the annotation task is close, thetask designation unit 120 designates theworker terminal 30 with a high daily average throughput to perform the annotation task based on the average daily throughput of theoperator terminal 30 . can

다른 예를 들면, 높은 신뢰도를 갖는 어노테이션 작업이 요구되는 경우, 작업 지정부(120)는 작업자 단말(30)의 적중률을 기초로 적중률이 높은 작업자 단말(30)이 어노테이션 작업을 수행하도록 지정할 수 있다.As another example, when an annotation task with high reliability is required, thetask designator 120 may designate that theoperator terminal 30 with a high hit rate perform the annotation task based on the hit rate of theoperator terminal 30 . .

여기서, 도 4의 '객체 별 작업 완료 개수', '작업 완료 이미지 개수'는 작업자 단말(30)이 어노테이션 작업을 완료한 데이터양을 나타낼 수 있다. 도 4의 '재작업'에 해당하는 수치는 어노테이터 작업 완료 후, 검수자 단말(40)에 의해서 재작업된 이미지의 개수일 수 있다. '적중률'은 어노테이션 작업 완료된 모든 데이터들과 '재작업' 수치와의 비율로써 정확성을 수치화한 데이터일 수 있다. '일평균 처리량'은 어노테이션 작업 및 어노테이션 작업 결과에 대한 검수가 완료된 모든 데이터를 '작업일'로 나눈 결과값일 수 있다.Here, the 'number of tasks completed by object' and 'number of tasks completed images' of FIG. 4 may indicate the amount of data for which theoperator terminal 30 has completed the annotation task. The numerical value corresponding to 'rework' in FIG. 4 may be the number of images reworked by theinspector terminal 40 after the annotator work is completed. The 'hit rate' may be data obtained by quantifying accuracy as a ratio between all data that has been annotated and a 'rework' value. The 'daily average throughput' may be a result of dividing all data that has been inspected for the annotation work and the results of the annotation work by the 'working days'.

도 5는 일 실시예에 따른 작업자 단말(30)이 복수의 등급으로 분류되는 것을 설명하기 위한 도면이다.5 is a diagram for explaining that theoperator terminal 30 according to an embodiment is classified into a plurality of grades.

도 5를 참조하면, 작업 지정부(120)는 작업자 단말(30)을 적중률을 기초로 복수의 등급 중 어느 한 등급으로 분류할 수 있다. 구체적으로, A 등급에는 작업자 단말(30) #1, 즉, 제1 작업자 단말부터 제10 작업자 단말(30)까지 분류되어 있고, B 등급에는 작업자 단말(30)이 제11 작업자 단말(30)부터 제20 작업자 단말(30)까지, C 등급에는 제21 작업자 단말(30)부터 제30 작업자 단말(30)까지, D 등급에는 제31 작업자 단말(30)부터 제40 작업자 단말(30)까지 분류될 수 있다. 전술한 작업자 단말(30)에 대한 분류는 각 작업자 단말(30)의 적중률을 기초로 높은 적중률부터 낮은 적중률을 갖는 작업자 단말(30) 순으로 미리 설정된 간격, 도 5에서는, 10개씩 분류될 수 있다. 즉, 일 실시예에서, 작업자 단말(30)은 어노테이션 작업 결과가 높은 적중률로 검수될수록 높은 등급으로 분류될 수 있다.Referring to FIG. 5 , thetask designator 120 may classify theoperator terminal 30 into any one of a plurality of grades based on the hit ratio. Specifically, in grade A, theoperator terminal 30 #1, that is, from the first operator terminal to thetenth operator terminal 30 is classified, and in the B grade, theoperator terminal 30 is theeleventh operator terminal 30 To the20th worker terminal 30, from the21st worker terminal 30 to the30th worker terminal 30 in the C grade, the31st worker terminal 30 to the40th worker terminal 30 in the D grade. can Classification of the above-describedworker terminals 30 is based on the hit ratio of eachworker terminal 30, in the order of theoperator terminal 30 having a high hit rate to a low hit rate, at preset intervals, in FIG. 5, 10 can be classified. . That is, in one embodiment, theoperator terminal 30 may be classified into a higher grade as the annotation operation result is inspected with a high hit rate.

여기서, 적중률은 작업자 단말(30)이 가장 최근에 수행된 어노테이션 작업에 대한 적중률일 수 있고, 미리 설정된 어노테이션 작업 수행 횟수의 평균 적중률일 수 있다. 또한, 미리 설정된 기간 동안 작업자 단말(30)이 수행한 어노테이션 작업의 적중률일 수 있다.Here, the hit ratio may be a hit ratio for the most recently performed annotation job by theoperator terminal 30 , or may be an average hit ratio of a preset number of times of performing the annotation job. In addition, it may be a hit rate of the annotation work performed by theoperator terminal 30 for a preset period.

작업자 단말(30)은 작업자 단말(30)이 분류된 등급에 따른 신뢰도 구간을 부여받을 수 있다. 여기서, 신뢰도 구간은 작업자 단말(30)이 분류된 등급에 포함된 모든 작업자 단말(30) 중 최저 적중률과 최고 적중률을 기초로 설정될 수 있다.Theoperator terminal 30 may be given a reliability interval according to the class in which theoperator terminal 30 is classified. Here, the reliability interval may be set based on the lowest hit rate and the highest hit rate among all theworker terminals 30 included in the class in which theworker terminal 30 is classified.

예를 들면, 도 5의 A 등급에서, 가장 높은 적중률은 98%이고, 가장 낮은 적중률은 92%일 수 있다. 이러한 신뢰도 구간은 일 예일 뿐, 특정 표현 방식에 한정되지 않는다. 예를 들면, 도 5의 A 등급의 신뢰도는 A 등급에 포함된 작업자 단말(30) 각각의 적중률에 대한 평균값일 수 있다.For example, in the grade A of FIG. 5 , the highest hit ratio may be 98%, and the lowest hit ratio may be 92%. This confidence interval is only an example, and is not limited to a specific expression method. For example, the reliability of grade A in FIG. 5 may be an average value for each hit rate of theoperator terminals 30 included in grade A.

도 6은 일 실시예에 따른 작업 지정부(120)가 어노테이션 작업을 수행할 작업자 단말(30)을 지정하는 것을 설명하기 위한 도면이다.6 is a diagram for explaining that thetask designator 120 designates theoperator terminal 30 to perform the annotation task according to an embodiment.

작업 지정부(120)는 요청받은 어노테이션 작업에 대해 전술한 바에 따라 분류된 각 등급별 적어도 하나의 작업자 단말(30)을 지정할 수 있다. 도 5를 참조하여 예를 들면, 작업 지정부(120)는 a 어노테이션 작업에 대해, A등급의 제1 작업자 단말, B 등급의 제11 작업자 단말, C 등급의 제21 작업자 단말, D 등급의 제31 작업자 단말을 지정할 수 있다. 다른 예를 들면, 작업 지정부(120)는 도 5의 b 어노테이션 작업에 대해 A 등급의 제2 작업자 단말, B 등급의 제12 작업자 단말, C 등급의 제 22 작업자 단말(30), D 등급의 제32 작업자 단말을 지정할 수 있다.The task designator 120 may designate at least oneoperator terminal 30 for each grade classified as described above for the requested annotation task. Referring to Figure 5, for example, thetask designation unit 120 for a annotation task, the first operator terminal of the A grade, the 11th operator terminal of the B grade, the 21st worker terminal of the C grade, the second of the D grade 31 The operator terminal can be designated. For another example, thetask designation unit 120 is a second worker terminal of grade A, a 12th worker terminal of grade B, a22nd worker terminal 30 of grade C, and a grade of D for the b annotation operation of FIG. A 32nd operator terminal may be designated.

이러한, 각 등급에서 적어도 하나의 작업자 단말(30)을 지정하는 것은, 각 등급에서 가장 높은 적중률을 갖는 작업자 단말(30)이 가장 먼저 지정되는, 등급 내의 적중률 순서에 따라 지정될 수 있고, 무작위하게 지정될 수 있으며, 어노테이션 작업의 성격에 따라 각 작업자 단말(30)이 갖는 다른 정보들을 기초로 지정될 수 있다.Designating at least oneoperator terminal 30 in each grade may be specified according to the hit ratio order within the grade, in which theoperator terminal 30 having the highest hit ratio in each grade is designated first, and randomly It may be designated, and may be designated based on other information possessed by eachoperator terminal 30 according to the nature of the annotation task.

예를 들면, 어노테이션 마감 기한이 촉박한 경우, 각 등급에 속하는 작업자 단말(30) 중 일평균 처리량이 가장 높은 작업자 단말(30)이 요청받은 어노테이션 작업을 수행하도록 지정될 수 있다.For example, when the deadline for the annotation deadline is short, theworker terminal 30 having the highest daily average throughput among theworker terminals 30 belonging to each class may be designated to perform the requested annotation task.

작업 할당부(130)는 지정된 작업자 단말(30)에게 어노테이션 작업을 할당하고, 수신된 어노테이션 작업 결과를 제1 검수자 단말에게 검수하도록 할당할 수 있다.Thetask assignment unit 130 may allocate an annotation task to the designatedoperator terminal 30 and assign the received annotation task result to the first inspector terminal to be inspected.

작업 할당부(130)는 예를 들면, 작업자 단말(30)들의 일 평균 처리량 비율에 따라 어노테이션 작업을 할당할 수 있고, 높은 등급이 가장 많이 할당되도록 어노테이션 작업을 할당할 수 있다.The task allocator 130 may allocate the annotation task according to the average daily throughput ratio of theworker terminals 30 , and may allocate the annotation task so that a high grade is assigned the most.

송수신부(110)는 어노테이션 작업을 할당에 따라 지정된 각 작업자 단말(30)로 전송할 수 있다. 여기서, 작업자 단말(30)에 의한 어노테이션 작업은 어노테이션 관리 장치(10)가 어노테이션 작업의 목적이 되는 이미지 데이터를 할당에 따라 작업자 단말(30)로 전송하고, 해당 이미지 데이터에 대해 어노테이션 작업을 수행 후, 작업자 단말(30)로부터 어노테이션 작업 결과를 수신하는 형태일 수 있고, 어노테이션 관리 장치(10)가 제공하는 플랫폼(Platform)에서 출력된 이미지 데이터에 어노테이션 작업을 입력하는 형태일 수 있다. 다만, 이에 한정되지 않고, 작업자 단말(30)이 어노테이션 작업을 수행할 수 있다면 특정 형태에 한정되지 않는다. 또한, 작업의 향상을 위해, 어노테이션 작업을 위한 어노테이션 관리 프로그램이 작업자 단말(30)에 설치될 수 있다.Thetransceiver 110 may transmit the annotation task to eachoperator terminal 30 designated according to the assignment. Here, in the annotation operation by theoperator terminal 30, theannotation management apparatus 10 transmits image data, which is the object of the annotation operation, to theoperator terminal 30 according to the assignment, and after performing the annotation operation on the image data , may be in the form of receiving the result of the annotation operation from theoperator terminal 30 , and may be in the form of inputting the annotation operation to the image data output from the platform provided by theannotation management apparatus 10 . However, the present invention is not limited thereto, and as long as theoperator terminal 30 can perform the annotation operation, it is not limited to a specific form. In addition, in order to improve the work, an annotation management program for the annotation work may be installed in theworker terminal 30 .

작업 할당부(130)는 수신부가 작업자 단말(30)로부터 수신한 어노테이션 작업 결과를 검수하도록 제1 검수자 단말에게 할당할 수 있다. 검수자 단말(40)이 어노테이션 작업 결과를 검수하는 것은 전술한 바와 같이, 어노테이션 관리 장치(10)가 어노테이션 작업 결과를 검수자 단말(40)로 전송하고, 어노테이션 작업 결과에 대해 검수를 수행한 후, 검수자 단말(40)로부터 어노테이션 작업 결과의 적정성 여부나, 적중률 등을 수신하는 형태일 수 있고, 어노테이션 관리 장치(10)가 제공하는 플랫폼에서 출력된 어노테이션 작업 결과에 어노테이션 작업 결과에 대한 적정성 여부나 적중률 등을 입력하는 형태일 수 있다.Thetask assignment unit 130 may allocate to the first inspector terminal to inspect the result of the annotation work received by the receiver from theoperator terminal 30 . As described above, theinspector terminal 40 inspects the annotation operation result, theannotation management device 10 transmits the annotation operation result to theinspector terminal 40, and after performing the inspection on the annotation operation result, the inspector It may be in the form of receiving from the terminal 40 whether the result of the annotation work is appropriate or a hit rate, etc., and whether the result of the annotation work is appropriate for the result of the annotation work, the hit rate, etc. may be in the form of inputting .

작업 할당부(130)는 어노테이션 작업의 수행률이 미리 정해진 수행률 이상인 경우, 제1 검수자 단말에게 어노테이션 작업 결과를 검수하도록 할당하고, 어노테이션 작업의 수행이 종료된 경우, 제2 검수자 단말에게 종료된 어노테이션 작업 결과를 검수하도록 할당할 수 있다.When the performance rate of the annotation task is greater than or equal to the predetermined performance rate, thetask assignment unit 130 assigns the first inspector terminal to inspect the annotation task result, and when the annotation task is finished, the second inspector terminal is terminated It can be assigned to review the results of annotation work.

일 실시예에서, 작업 할당부(130)는 지정된 작업자 단말(30)이 복수인 경우, 작업자 단말(30)의 숫자와 대응되는 복수의 검수자 단말(40)에게 어노테이션 작업 결과를 검수하도록 할당할 수 있다.In one embodiment, thetask assignment unit 130 may allocate to a plurality ofinspector terminals 40 corresponding to the number of theoperator terminals 30 to inspect the results of the annotation operation when there are a plurality of designatedoperator terminals 30 . there is.

전술한 바에 의하면, 어노테이션 관리 장치(10)는 수행률을 기초로 검수자 단말(40)이 어노테이션 작업 결과를 검수함에 따라, 잔여 어노테이션 작업을 보다 효율적으로 수행할 수 있고, 보다 높은 신뢰도를 제공할 수 있다.As described above, theannotation management apparatus 10 can perform the remaining annotation work more efficiently and provide higher reliability as theexaminer terminal 40 inspects the annotation work result based on the performance rate. there is.

작업 처리부(140)는 수신된 어노테이션 작업 결과의 적중률이 제1 기준치 이상인 경우, 어노테이션 작업을 완료할 수 있다. 일 실시예에서, 제1 기준치는 어노테이션 작업 수행주체로 지정된 작업자 단말(30) 각각의 적중률일 수 있다. 검수자 단말(40)은 작업자 단말(30)에서 수행된 각각의 어노테이션 작업 결과별로 검수할 수 있고, 각각의 검수 결과에서 산출된 적중률이 작업자 단말(30) 각각이 갖는 적중률 이상인지 판단할 수 있다.Thejob processing unit 140 may complete the annotation job when the hit ratio of the received annotation job result is equal to or greater than the first reference value. In an embodiment, the first reference value may be a hit rate of each of theoperator terminals 30 designated as the annotation task performing subject. Theinspector terminal 40 may inspect for each result of each annotation operation performed in theworker terminal 30 , and determine whether the hit rate calculated from each inspection result is equal to or greater than the hit rate of each of theworker terminals 30 .

다른 일 실시예에서, 제1 기준치는 지정된 작업자 단말(30)이 갖는 적중률의 평균일 수 있다. 그리고, 각각의 적중률은 작업자 단말(30)이 할당 비중별로 가중치가 적용될 수 있다.In another embodiment, the first reference value may be an average of the hit ratio of the designated operator terminal (30). And, each hit ratio may be weighted for each ratio allocated by theoperator terminal 30 .

작업 처리부(140)는 어노테이션 작업 결과의 적중률이 제1 기준치 미만이고 제2 기준치 이상인 경우, 할당 받은 작업자 단말(30)의 어노테이션 작업 할당량을 축소할 수 있다. 여기서, 작업 할당량의 축소 폭은 미리 정해질 수 있고, 예를 들면, 할당량의 반으로 축소할 수 있다. 이렇게 할당량이 축소됨에 따라 남은 어노테이션 작업은 나머지 지정된 작업자 단말(30)의 할당 비율로 분배되거나, 새로운 작업자 단말(30)을 지정하여 새롭게 지정된 작업자 단말(30)에 잔여 어노테이션 작업을 할당할 수 있다.When the hit rate of the annotation work result is less than the first reference value and equal to or greater than the second reference value, thetask processing unit 140 may reduce the allocated amount of the annotation task for theoperator terminal 30 . Here, the reduction width of the work quota may be predetermined, for example, may be reduced to half of the quota. As the quota is reduced in this way, the remaining annotation tasks may be distributed according to the allocation ratio of the remaining designatedoperator terminals 30 , or the remaining annotation tasks may be assigned to the newly designatedoperator terminals 30 by designating anew operator terminal 30 .

작업 처리부(140)는 어노테이션 작업 결과의 적중률이 제2 기준치 미만인 경우, 할당받은 작업자 단말(30)의 어노테이션 작업을 중지시키고 수행된 어노테이션 작업을 다른 작업자 단말(30)로 재할당할 수 있다. 여기서, 재할당은 전술한 바와 같이, 나머지 지정된 작업자 단말(30)의 할당 비율로 분배하거나, 새로운 작업자 단말(30)을 지정하여 새롭게 지정된 작업자 단말(30)에 잔여 어노테이션 작업을 할당할 수 있다.When the hit rate of the annotation task result is less than the second reference value, thetask processing unit 140 may stop the annotation task of the assignedoperator terminal 30 and reassign the performed annotation task to anotheroperator terminal 30 . Here, as described above, the reassignment may be distributed according to the allocation ratio of the remaining designatedoperator terminals 30 , or the remaining annotation work may be allocated to the newly designatedoperator terminals 30 by designating anew operator terminal 30 .

일 실시예에서, 특정 검수자 단말(40)이 검수한 어노테이션 작업 결과가 기준치 미만의 적중률을 계속해서 산출하는 경우, 작업 처리부(140)는 특정 검수자 단말(40)이 검수한 어노테이션 작업 결과에 대해서 지정할 수 있는 작업자 단말(30) 중 가장 높은 적중률을 갖는 작업자 단말(30)에게 해당 어노테이션 작업 결과에 대해 재검수하도록 할당 요청 신호를 작업 할당부(130)로 전송할 수 있다. 전술한 재검수 결과에 따라, 특정 검수자 단말(40)의 검수 결과와 다르게 적절성 여부가 판단되거나, 적중률이 미리 정해진 적중률 이상으로 차이나는 경우, 작업 처리부(140)는 특정 검수자를 검수에서 제외하거나 할당을 축소할 수 있다.In one embodiment, when the result of the annotation work inspected by thespecific inspector terminal 40 continues to calculate the hit rate less than the reference value, thetask processing unit 140 specifies for the result of the annotation work inspected by thespecific inspector terminal 40 An assignment request signal may be transmitted to thejob assignment unit 130 to re-examine the corresponding annotation job result to theworker terminal 30 having the highest hit rate among thepossible worker terminals 30 . According to the re-examination result described above, if the appropriateness is determined differently from the inspection result of thespecific inspector terminal 40, or the hit rate differs by more than a predetermined hit rate, thetask processing unit 140 excludes or assigns a specific inspector from the inspection can be reduced.

도 7은 일 실시예에 따른 출력부(150)가 사용 목적에 따라 어노테이션 결과를 출력하는 것을 설명하기 위한 도면이다.7 is a diagram for explaining that theoutput unit 150 outputs an annotation result according to a purpose of use, according to an exemplary embodiment.

출력부(150)는 어노테이션 수행 결과를 출력할 수 있다. 구체적으로, 도 7을 참조하면, 출력부(150)는 기계학습에 사용하기 위한 어노테이션 작업 결과를 출력할 수 있다. 일 실시예에서, 어노테이션 요청 단말(20)로부터 어노테이션 작업에 속하는 특정 이미지 데이터 출력 요청 신호를 입력 받으면, 선택된 이미지 데이터에서 출력하고자 하는 이미지 속성값 및 어노테이션 객체 종류를 선택하도록 출력할 수 있다. 즉, 출력부(150)는 어노테이션 요청 단말(20)을 제어하는 의뢰자가 원하는 포맷으로 출력하도록 제공할 수 있다.Theoutput unit 150 may output a result of performing the annotation. Specifically, referring to FIG. 7 , theoutput unit 150 may output an annotation operation result for use in machine learning. In an embodiment, when a specific image data output request signal belonging to an annotation job is received from theannotation requesting terminal 20 , the selected image data may be output to select an image attribute value and an annotation object type to be output. That is, theoutput unit 150 may provide output in a format desired by the requestor controlling theannotation requesting terminal 20 .

전술한 출력부(150)는 예를 들면, 디스플레이 패널을 통해 어노테이션 결과를 제공할 수 있고, 어노테이션 관리 장치(10)가 제공하는 플랫폼에 접속한 어노테이션 요청 단말(20)에 출력되도록 출력 정보를 어노테이션 요청 단말(20)에 제공할 수 있다.The above-describedoutput unit 150 may provide an annotation result through, for example, a display panel, and annotate the output information so that it is output to theannotation requesting terminal 20 connected to the platform provided by theannotation management apparatus 10 . It may be provided to the requestingterminal 20 .

어노테이션 관리 장치(10) 등의 컴퓨터 시스템(미도시됨)은 하나 이상의 프로세서, 메모리, 저장부, 사용자 인터페이스 입력부 및 사용자 인터페이스 출력부(150) 중 적어도 하나 이상의 요소를 포함할 수 있으며, 이들은 버스를 통해 서로 통신할 수 있다. 또한, 컴퓨터 시스템은 네트워크에 접속하기 위한 네트워크 인터페이스를 또한 포함할 수 있다. 프로세서는 메모리 및/또는 저장소에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다. 메모리 및 저장부는 다양한 유형의 휘발성/비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM 및 RAM을 포함할 수 있다.A computer system (not shown), such asannotation management device 10, may include at least one or more elements of one or more processors, memories, storage, user interface inputs and user interface outputs 150, which may include a bus can communicate with each other through Further, the computer system may also include a network interface for connecting to the network. The processor may be a CPU or a semiconductor device that executes processing instructions stored in memory and/or storage. Memory and storage may include various types of volatile/non-volatile storage media. For example, memory may include ROM and RAM.

이하에서는 전술한 본 개시를 모두 수행할 수 있는 어노테이션 관리 장치(10)를 이용하는 어노테이션 관리 방법에 대해 설명하기로 한다.Hereinafter, an annotation management method using theannotation management apparatus 10 capable of performing all of the above-described present disclosure will be described.

도 8은 본 개시의 일 실시예에 따른 어노테이션 관리 방법을 설명하는 흐름도이다.8 is a flowchart illustrating an annotation management method according to an embodiment of the present disclosure.

도 8을 참조하면, 본 개시의 어노테이션 관리 방법은 어노테이션 작업을 위한 요청 신호를 수신하는 작업 요청 수신 단계(S810), 요청 신호에 대응하여 복수의 등급으로 분류된 작업자 단말(30) 중 어노테이션 작업을 수행할 적어도 한 명의 작업자 단말(30)을 지정하는 작업 지정 단계(S820), 지정된 작업자 단말(30)에게 요청된 어노테이션 작업을 할당하고, 수신된 어노테이션 작업 결과를 제1 검수자에게 검수하도록 할당하는 작업 할당 단계(S830) 및 수신된 어노테이션 작업 결과의 적중률이 제1 기준치 이상인 경우, 어노테이션 작업을 완료하는 작업 처리 단계(S840)를 포함할 수 있다.Referring to FIG. 8 , in the annotation management method of the present disclosure, a work request receiving step of receiving a request signal for annotation work ( S810 ), the annotation work among theworker terminals 30 classified into a plurality of grades in response to the request signal Task designation step (S820) of designating at least oneoperator terminal 30 to be performed, allocating the requested annotation operation to the specifiedoperator terminal 30, and assigning the received annotation operation result to the first inspector to review In the case of the assignment step ( S830 ) and a hit rate of the received annotation job result being equal to or greater than the first reference value, a job processing step ( S840 ) of completing the annotation job may be included.

여기서, 작업자 단말(30)은 미리 설정된 기간 동안 작업자 단말(30)이 수행한 어노테이션 작업의 적중률을 기초로 복수의 등급 중 어느 하나로 분류될 수 있다. 그리고, 작업자 단말(30)은 어노테이션 작업 결과가 높은 적중률로 검수될수록 높은 등급으로 분류될 수 있다.Here, theoperator terminal 30 may be classified into any one of a plurality of grades based on the hit rate of the annotation work performed by theoperator terminal 30 for a preset period. In addition, theoperator terminal 30 may be classified into a higher grade as the annotation operation result is inspected with a high hit rate.

작업자 단말(30)은 분류된 등급에 따른 신뢰도 구간을 부여 받을 수 있다. 여기서 신뢰도 구간은 작업자 단말(30)이 분류된 등급에 포함된 모든 작업자 단말(30) 중 최저 적중률과 최고 적중률을 기초로 설정될 수 있다.Theoperator terminal 30 may be given a reliability interval according to the classified grade. Here, the reliability interval may be set based on the lowest hit ratio and the highest hit ratio among all theworker terminals 30 included in the class in which theworker terminal 30 is classified.

작업 지정 단계(S820)는 요청받은 어노테이션 작업에 대해 분류된 각 등급별 적어도 하나의 작업자 단말(30)을 지정할 수 있다.In the task designation step ( S820 ), at least oneoperator terminal 30 may be designated for each class classified for the requested annotation task.

작업 지정 단계(S820)는 어노테이션 작업의 분야를 분류하고, 어노테이션 작업이 분류된 분야와 동일한 분야로 분류된 작업자 단말(30)을 지정하되, 미리 설정된 적중률 이상의 어노테이션 작업 결과를 산출하는 작업자 모듈을 지정할 수 있다.In the task designation step (S820), the field of the annotation work is classified, and theoperator terminal 30 classified into the same field as the field in which the annotation work is classified is assigned, but a worker module that calculates an annotation work result greater than or equal to a preset hit ratio is specified. can

도 9는 일 실시예에 따른 어노테이션 작업의 수행률 및 적중률에 따라 어노테이션 작업이 수행되는 것을 설명하기 위한 흐름도이다.9 is a flowchart for explaining that an annotation operation is performed according to a performance rate and a hit rate of the annotation operation according to an embodiment.

도 9를 참조하면, 어노테이션 관리 장치(10)는 지정된 작업자 단말(30)에 어노테이션 작업을 할당할 수 있다(S910). 이에 따라, 작업자 단말(30)은 어노테이션 작업을 수행할 수 있다.Referring to FIG. 9 , theannotation management apparatus 10 may allocate an annotation task to a designated operator terminal 30 ( S910 ). Accordingly, theoperator terminal 30 may perform the annotation operation.

어노테이션 관리 장치(10)는 어노테이션 작업이 미리 정해진 수행률 이상인지 판단할 수 있다(S920). 어노테이션 관리 장치(10)는 미리 정해진 시간에 따라 주기적으로 어노테이션 작업의 수행률이 미리 정해진 수행률 이상인지 판단할 수 있으며, 작업자 단말(30)은 미리 정해진 시간에 따라 어노테이션 작업 결과를 어노테이션 관리 장치(10)로 전송하거나, 이미지 데이터 단위의 어노테이션 작업이 수행될 때마다 어노테이션 작업 결과를 전송할 수 있다.Theannotation management apparatus 10 may determine whether the annotation operation is greater than or equal to a predetermined performance rate (S920). Theannotation management apparatus 10 may periodically determine whether the performance rate of the annotation operation is equal to or greater than the predetermined execution rate according to a predetermined time, and theoperator terminal 30 displays the result of the annotation operation according to a predetermined time to the annotation management apparatus ( 10), or an annotation operation result may be transmitted whenever an image data unit annotation operation is performed.

어노테이션 작업의 수행률이 미리 정해진 수행률 미만인 경우(S920의 No), 작업자 단말(30)은 계속해서 어노테이션 작업을 수행하게 되며, 어노테이션 관리 장치(10)는 미리 정해진 시간에 따라 계속해서 어노테이션 작업의 수행률을 판단할 수 있다.When the performance rate of the annotation operation is less than the predetermined execution rate (No in S920), theoperator terminal 30 continues to perform the annotation operation, and theannotation management apparatus 10 continues to perform the annotation operation according to a predetermined time. performance can be judged.

어노테이션 작업의 수행률이 미리 정해진 수행률 이상인 경우(S920의 Yes), 어노테이션 관리 장치(10)는 수행된 어노테이션 작업 결과를 검수하도록 제1 검수자 단말에 할당할 수 있다(S930).When the performance rate of the annotation work is equal to or greater than the predetermined performance rate (Yes in S920 ), theannotation management apparatus 10 may allocate the performed annotation work result to the first inspector terminal to check it ( S930 ).

어노테이션 관리 장치(10)는 검수자 단말(40)로부터 어노테이션 작업 결과에 대한 적중률을 수신하고, 해당 적중률이 제1 기준치 이상인지 판단할 수 있다(S940).Theannotation management apparatus 10 may receive a hit ratio for the annotation work result from theinspector terminal 40 and determine whether the hit ratio is equal to or greater than a first reference value (S940).

어노테이션 작업 결과에 대한 적중률이 제1 기준치 이상인 경우(S940의 Yes), 작업자 단말(30)은 할당받은 잔여 어노테이션 작업을 수행하고, 어노테이션 관리 장치(10)는 어노테이션 작업에 대한 수행이 완료된 경우, 제2 검수자 단말에 어노테이션 작업에 대한 검수를 할당할 수 있다(S950). 여기서, 제2 검수자 단말에 의한 어노테이션 작업 결과의 적중률이 제1 기준치 이상인 경우, 어노테이션 관리 장치(10)는 어노테이션 작업을 종료하고, 어노테이션 요청 단말(20)에 어노테이션 작업 종료 신호를 전송할 수 있다.When the hit rate for the annotation operation result is equal to or greater than the first reference value (Yes in S940), theoperator terminal 30 performs the allocated remaining annotation operation, and theannotation management apparatus 10 performs the annotation operation when the execution of the annotation operation is completed. 2, it is possible to allocate the inspection for the annotation work to the inspector terminal (S950). Here, when the hit rate of the result of the annotation work by the second inspector terminal is equal to or greater than the first reference value, theannotation management apparatus 10 may end the annotation work and transmit an annotation work end signal to theannotation requesting terminal 20 .

어노테이션 작업 결과에 대한 적중률이 제1 기준치 미만인 경우(S940의 No), 어노테이션 관리 장치(10)는 어노테이션 작업 결과에 대한 적중률이 제2 기준치 이상인지 판단할 수 있다(S960).When the hit rate for the annotation work result is less than the first reference value (No in S940 ), theannotation management apparatus 10 may determine whether the hit rate for the annotation work result is equal to or greater than the second reference value ( S960 ).

어노테이션 작업 결과에 대한 적중률이 제2 기준치 이상인 경우(S960의 Yes), 어노테이션 관리 장치(10)는 해당 어노테이션 작업을 수행하는 작업자 모듈의 할당량을 축소할 수 있다(S970). 이러한 경우, 어노테이션 관리 장치(10)는 잔여 어노테이션 작업을 나머지 지정된 작업자 단말(30)로 추가 할당하거나, 새로운 작업자 단말(30)을 지정하여 할당할 수 있다.When the hit ratio for the annotation operation result is equal to or greater than the second reference value (Yes in S960 ), theannotation management apparatus 10 may reduce the quota of worker modules that perform the corresponding annotation operation ( S970 ). In this case, theannotation management apparatus 10 may additionally allocate the remaining annotation work to the remaining designatedoperator terminals 30 or may designate and allocate anew operator terminal 30 .

어노테이션 작업 결과에 대한 적중률이 제2 기준치 미만인 경우(S940의 No), 어노테이션 관리 장치(10)는 해당 어노테이션 작업을 수행하는 작업자 모듈의 할당을 중단할 수 있다(S980). 이러한 경우, 전술한 바와 같이, 어노테이션 관리 장치(10)는 잔여 어노테이션 작업을 나머지 지정된 작업자 단말(30)로 추가 할당하거나, 새로운 작업자 단말(30)을 지정하여 할당할 수 있다.When the hit rate of the annotation operation result is less than the second reference value (No in S940 ), theannotation management apparatus 10 may stop allocating the worker module performing the corresponding annotation operation ( S980 ). In this case, as described above, theannotation management apparatus 10 may additionally allocate the remaining annotation work to the remaining designatedoperator terminals 30 or may designate and allocate anew operator terminal 30 .

이상에서 설명한 바와 같이, 본 개시에 의하면, 어노테이션 관리 장치 및 방법은 작업자에 적합한 어노테이션 작업 할당량과 어노테이션 작업 분야로 어노테이션 작업을 할당함으로써, 어노테이션 데이터의 신뢰성 및 작업 효율성을 향상할 수 있다.As described above, according to the present disclosure, the apparatus and method for managing annotations can improve the reliability and work efficiency of annotation data by allocating annotation work to an annotation work quota suitable for a worker and an annotation work field.

이상의 설명은 본 개시의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 기술 사상의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 실시예들은 본 개시의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로 이러한 실시예에 의하여 본 기술 사상의 범위가 한정되는 것은 아니다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical spirit of the present disclosure, and various modifications and variations will be possible without departing from the essential characteristics of the present disclosure by those skilled in the art to which the present disclosure pertains. In addition, the present embodiments are not intended to limit the technical spirit of the present disclosure, but to explain, and thus the scope of the present technical spirit is not limited by these embodiments. The protection scope of the present disclosure should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present disclosure.

1: 어노테이션 관리 시스템10: 어노테이션 관리 장치
110: 송수신부120: 작업 지정부
130: 작업 할당부140: 작업 처리부
150: 출력부1: annotation management system 10: annotation management device
110: transceiver 120: task designation unit
130: task assignment unit 140: task processing unit
150: output unit