WO2020049636A1 - Identification system, model presentation method, and model presentation program - Google Patents

Abstract

When a model learned by a first identification system is received from the first identification system, a model update means 705 updates a model which was learned by the first identification system and stored in a second model storage means 704 to the model received from the first identification system. A learning means 701 relearns the model using teaching data, which include a label for data determined on the basis of an identification result derived by a second identification means 706 and said data, and updates the model stored in a first model storage means 702 to the relearned model. A model transmission means 707 transmits the model learned by the learning means 701 to one or more of second identification system determined in advance.

Description

Translated fromJapanese

識別システム、モデル提供方法およびモデル提供プログラムIdentification system, model providing method, and model providing program

　本発明は、データをモデルに適用することによって、そのデータが表わす物体を識別する識別システム、並びに、その識別システムが他の識別システムにモデルを提供するモデル提供方法およびモデル提供プログラムに関する。The present invention relates to an identification system for identifying an object represented by data by applying the data to the model, and a model providing method and a model providing program for the identification system to provide a model to another identification system.

　一般的な識別システムの例を以下に説明する。一般的な識別システムは、その識別システムが備えているカメラが撮影によって得た画像と、その画像に写っている物体を表したラベルとの組を教師データとして、機械学習によってモデルを予め学習する。そして、その一般的な識別システムは、カメラが撮影によって新たに得た画像をそのモデルに適用することによって、その画像に写っている物体を識別する。例 An example of a general identification system will be described below. A general identification system learns a model in advance by machine learning using, as teacher data, a set of an image obtained by photographing with a camera included in the identification system and a label representing an object appearing in the image. . Then, the general identification system identifies an object shown in the image by applying an image newly obtained by photographing by the camera to the model.

　このような一般的な識別システムは、不審な車両や不審な人物を検出し、犯罪等を未然に防ぐ目的で用いられたり、白杖または車椅子の使用者を検出し、白杖または車椅子の使用者を誘導する等の支援の目的で用いられたりする。Such a general identification system is used for the purpose of detecting a suspicious vehicle or a suspicious person, preventing crime, etc., detecting a user using a white stick or a wheelchair, and using a white stick or a wheelchair. It is used for the purpose of support such as guiding people.

　ここでは、画像に写っている物体を識別する識別システムを例にして説明したが、一般的な識別システムとして、音声データが表わす物体を識別する識別システムも考えられる。以下、画像に写っている物体を識別する識別システムを例にして説明する。Here, the identification system for identifying an object appearing in an image has been described as an example, but an identification system for identifying an object represented by voice data is also conceivable as a general identification system. Hereinafter, an identification system for identifying an object appearing in an image will be described as an example.

　なお、特許文献１には、撮像環境の違いによる追加学習の長期化を回避する画像認識方法が記載されている。特許文献１に記載の画像認識方法は、複数のカメラ装置を含むカメラシステムにおける画像認識方法である。そして、特許文献１に記載の画像認識方法では、第１カメラ装置から、第１画像および第１撮像環境情報を取得する。そして、各カメラ装置が過去に画像を撮像した際の各撮像環境を示す撮像環境情報と、その各撮像環境に対応する各検出器関数を示す各認識制御パラメータとを管理するパラメータテーブルを用いて、第１撮像環境情報に示される第１撮像環境と同一または類似の撮像環境に対応する第１検出器関数を示す第１認識制御パラメータを選択する。そして、第１認識制御パラメータで示された第１検出器関数を用いて、第１カメラ装置から取得した第１画像を認識する。In addition,Patent Document 1 describes an image recognition method that avoids prolonged additional learning due to a difference in an imaging environment. The image recognition method described inPatent Document 1 is an image recognition method in a camera system including a plurality of camera devices. In the image recognition method described inPatent Literature 1, a first image and first imaging environment information are acquired from a first camera device. Then, using a parameter table that manages imaging environment information indicating each imaging environment when each camera device has previously captured an image and each recognition control parameter indicating each detector function corresponding to each imaging environment. And a first recognition control parameter indicating a first detector function corresponding to the same or similar imaging environment as the first imaging environment indicated in the first imaging environment information. Then, the first image obtained from the first camera device is recognized using the first detector function indicated by the first recognition control parameter.

　また、特許文献２には、画像監視装置が記載されている。特許文献２に記載の画像監視装置は、検出された顔特徴点を用いて顔領域の正規化を行うとともに、人物の辞書との照合を行う。特許 Further,Patent Document 2 discloses an image monitoring device. The image monitoring device described inPatent Literature 2 normalizes a face area using the detected facial feature points and performs matching with a person dictionary.

特開２０１６－１５１１６号公報JP 2016-15116 A特開２００７－３００１８５号公報JP 2007-300185 A

　前述の一般的な識別システムが複数台設けられ、各識別システムのカメラが各地に設置されることが考えられる。複数 It is conceivable that a plurality of the above-mentioned general identification systems are provided, and cameras of each identification system are installed in various places.

　ここで、１台のカメラが撮影によって得た画像における物体の写り方に、偏りが生じる場合がある。例えば、ある１台のカメラは、そのカメラから見て右側から左側への方向に進行する自動車を撮影する機会が多いが、その逆方向に進行する自動車を撮影する機会が少ないとする。この場合、右側から左側への方向に進行する自動車が写った画像は多く得られるが、その逆方向に進行する自動車が写った画像は少ししか得られない。すると、教師データには、右側から左側への方向に進行する自動車が写った画像が多く含まれ、その逆方向に進行する自動車が写った画像は少ししか含まれない。その結果、教師データを用いて機械学習によって得たモデルに、右側から左側への方向に進行する自動車が写った画像を適用した場合には、識別システムは高い精度で自動車を識別するが、逆方向に進行する自動車が写った画像をそのモデルに適用した場合の自動車の識別精度は低くなる。Here, there is a case where a bias occurs in how an object is captured in an image obtained by one camera by shooting. For example, it is assumed that one camera has many opportunities to photograph a car traveling from right to left as viewed from the camera, but has few opportunities to photograph a car traveling in the opposite direction. In this case, many images of a car traveling in the right-to-left direction are obtained, but only a few images of a car traveling in the opposite direction are obtained. Then, the teacher data includes many images of vehicles traveling in the right-to-left direction, and includes only a few images of vehicles traveling in the opposite direction. As a result, when an image of a car traveling from right to left is applied to a model obtained by machine learning using teacher data, the identification system identifies the car with high accuracy. When an image of an automobile traveling in the direction is applied to the model, the accuracy of identifying the automobile decreases.

　各地に配置されるそれぞれの識別システムにおいて、データが表わす物体を識別するためのモデルの識別精度が向上することが好ましい。に お い て In each of the identification systems located in various places, it is preferable that the identification accuracy of the model for identifying the object represented by the data is improved.

　そこで、本発明は、自身のモデルの識別精度を向上させるように、自身のモデルを学習し直すことができ、また、他の識別システムのモデルの識別精度向上に寄与することができる識別システム、モデル提供方法およびモデル提供プログラムを提供することを目的とする。Therefore, the present invention provides an identification system that can re-learn its own model so as to improve the identification accuracy of its own model, and can also contribute to improving the identification accuracy of models of other identification systems, It is an object to provide a model providing method and a model providing program.

　本発明による識別システムは、データが表わす物体を識別するためのモデルを、教師データを用いて学習する学習手段と、学習手段によって学習されたモデルを記憶する第１のモデル記憶手段と、学習手段によって学習されたモデルを用いて、データが表わす物体を識別する第１の識別手段と、予め定められた複数の第１の識別システムで学習された個々のモデルをそれぞれ記憶する第２のモデル記憶手段と、第１の識別システムから当該第１の識別システムで学習されたモデルを受信した場合に、第２のモデル記憶手段に記憶されているその第１の識別システムで学習されたモデルを、その第１の識別システムから受信したモデルに更新するモデル更新手段と、所定の場合に、第２のモデル記憶手段に記憶されている個々のモデル毎に、第１の識別手段が識別対象としたデータが表わす物体を識別する第２の識別手段とを備え、学習手段が、第２の識別手段が導出した識別結果に基づいて定まるデータに対するラベルと、そのデータとを含む教師データを用いて、モデルを再学習し、第１のモデル記憶手段に記憶されているモデルを再学習したモデルに更新し、学習手段によって学習されたモデルを、予め定められた１つまたは複数の第２の識別システムに送信するモデル送信手段を備えることを特徴とする。An identification system according to the present invention includes: learning means for learning a model for identifying an object represented by data using teacher data; first model storage means for storing a model learned by the learning means; First identifying means for identifying an object represented by data using a model learned by the first and second model storages for storing individual models learned by a plurality of predetermined first identification systems, respectively. Means, when a model learned by the first identification system is received from the first identification system, the model learned by the first identification system stored in the second model storage means is Model updating means for updating to a model received from the first identification system; and, in a predetermined case, for each model stored in the second model storage means, A second identification means for identifying an object represented by the data identified by the first identification means; a learning means comprising: a label for data determined based on an identification result derived by the second identification means; Is re-learned using the teacher data including the following, the model stored in the first model storage unit is updated to the re-learned model, and the model learned by the learning unit is set to a predetermined one. And a model transmitting means for transmitting to one or more second identification systems.

　また、本発明によるモデル提供方法は、データが表わす物体を識別するためのモデルを、教師データを用いて学習し、モデルを第１のモデル記憶手段に記憶させ、第１のモデル記憶手段に記憶されているモデルを用いて、データが表わす物体を識別する第１の識別処理を実行し、予め定められた複数の第１の識別システムで学習された個々のモデルをそれぞれ第２のモデル記憶手段に記憶させ、第１の識別システムから当該第１の識別システムで学習されたモデルを受信した場合に、第２のモデル記憶手段に記憶されているその第１の識別システムで学習されたモデルを、その第１の識別システムから受信したモデルに更新し、所定の場合に、第２のモデル記憶手段に記憶されている個々のモデル毎に、第１の識別処理で識別対象としたデータが表わす物体を識別する第２の識別処理を実行し、第２の識別処理で導出した識別結果に基づいて定まるデータに対するラベルと、そのデータとを含む教師データを用いて、モデルを再学習し、第１のモデル記憶手段に記憶されているモデルを再学習したモデルに更新し、第１のモデル記憶手段に記憶されているモデルを、予め定められた１つまたは複数の第２の識別システムに送信することを特徴とする。Further, in the model providing method according to the present invention, a model for identifying an object represented by data is learned using teacher data, the model is stored in the first model storage unit, and the model is stored in the first model storage unit. Executing a first identification process for identifying an object represented by data using the model that has been performed, and storing individual models learned by a plurality of predetermined first identification systems in a second model storage means. When a model learned by the first identification system is received from the first identification system, the model learned by the first identification system stored in the second model storage means is stored in the second model storage unit. The model is updated to the model received from the first identification system, and in a predetermined case, for each model stored in the second model storage means, the data to be identified in the first identification process is determined. Executing a second identification process for identifying an object represented by the data, and re-learning the model using a label for data determined based on the identification result derived in the second identification process and teacher data including the data. Then, the model stored in the first model storage unit is updated to the relearned model, and the model stored in the first model storage unit is replaced with one or more predetermined second identifications. The data is transmitted to the system.

　また、本発明によるモデル提供プログラムは、コンピュータに、データが表わす物体を識別するためのモデルを、教師データを用いて学習し、モデルを第１のモデル記憶手段に記憶させる学習処理、第１のモデル記憶手段に記憶されているモデルを用いて、データが表わす物体を識別する第１の識別処理、予め定められた複数の第１の識別システムで学習された個々のモデルをそれぞれ第２のモデル記憶手段に記憶させる処理、第１の識別システムから当該第１の識別システムで学習されたモデルを受信した場合に、第２のモデル記憶手段に記憶されているその第１の識別システムで学習されたモデルを、その第１の識別システムから受信したモデルに更新するモデル更新処理、所定の場合に、第２のモデル記憶手段に記憶されている個々のモデル毎に、第１の識別処理で識別対象としたデータが表わす物体を識別する第２の識別処理、第２の識別処理で導出した識別結果に基づいて定まるデータに対するラベルと、そのデータとを含む教師データを用いて、モデルを再学習し、第１のモデル記憶手段に記憶されているモデルを再学習したモデルに更新する再学習処理、および、第１のモデル記憶手段に記憶されているモデルを、予め定められた１つまたは複数の第２の識別システムに送信するモデル送信処理を実行させることを特徴とする。In addition, the model providing program according to the present invention is a learning process for causing a computer to learn a model for identifying an object represented by data using teacher data, and to store the model in a first model storage unit. A first identification process for identifying an object represented by data using a model stored in the model storage means, and individual models learned by a plurality of predetermined first identification systems are respectively assigned to a second model. Processing to be stored in the storage means; when a model learned by the first identification system is received from the first identification system, the model is learned by the first identification system stored in the second model storage means. Model updating processing for updating the model that has been updated to the model received from the first identification system, and in a predetermined case, the individual model stored in the second model storage means. For each model, a second identification process for identifying an object represented by data to be identified in the first identification process, a label for data determined based on an identification result derived in the second identification process, and the data A re-learning process for re-learning the model using the included teacher data and updating the model stored in the first model storage unit to the re-learned model, and stored in the first model storage unit A model transmission process for transmitting the model to one or more predetermined second identification systems is performed.

　本発明によれば、自身のモデルの識別精度を向上させるように、自身のモデルを学習し直すことができ、また、他の識別システムのモデルの識別精度向上に寄与することができる。According to the present invention, it is possible to re-learn the own model so as to improve the identification accuracy of the own model, and to contribute to the improvement of the identification accuracy of the model of another identification system.

本発明の識別システムが複数設けられている状況を示す模式図である。It is a schematic diagram showing a situation where a plurality of identification systems of the present invention are provided.第１の識別システムおよび第２の識別システムの例を示す説明図である。It is explanatory drawing which shows the example of a 1st identification system and a 2nd identification system.本発明の実施形態の識別システム１００の構成例を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration example of anidentification system 100 according to an embodiment of the present invention.内部生成モデルおよび外部生成モデルの例を示す模式図である。It is a schematic diagram which shows the example of an internally generated model and an externally generated model.第１の決定方法において決定部がディスプレイ装置上に表示する画面の例を示す模式図である。It is a schematic diagram which shows the example of the screen which a determination part displays on a display apparatus in the 1st determination method.第３の決定方法において決定部がディスプレイ装置上に表示する画面の例を示す模式図である。It is a schematic diagram which shows the example of the screen which a determination part displays on a display apparatus in the 3rd determination method.領域修正ＧＵＩ表示制御部がディスプレイ装置に表示する画面の一例を示す模式図である。It is a schematic diagram which shows an example of the screen which an area | region correction GUI display control part displays on a display apparatus.領域修正ＧＵＩ表示制御部がディスプレイ装置に表示する画面の他の例を示す模式図である。It is a schematic diagram which shows the other example of the screen which an area | region correction GUI display control part displays on a display apparatus.表示制御部が表示する画面の例を示す模式図である。It is a schematic diagram which shows the example of the screen which a display control part displays.第１の演算方法の具体例を示す説明図である。FIG. 4 is an explanatory diagram illustrating a specific example of a first calculation method.第２の演算方法の具体例を示す説明図である。FIG. 9 is an explanatory diagram illustrating a specific example of a second calculation method.カメラが撮影を行ってから、第２の識別部が画像に対する識別処理を行うまでの処理経過の例を示すフローチャートである。11 is a flowchart illustrating an example of processing progress from the time when the camera captures an image to the time when a second identification unit performs an identification process on an image.モデルを再学習し、そのモデルを第２の識別システムに送信する場合の処理経過の例を示すフローチャートである。It is a flowchart which shows the example of a process progress when re-learning a model and transmitting the model to a 2nd identification system.第３のモデル送信態様の処理経過の例を示すフローチャートである。It is a flowchart which shows the example of a process progress of the 3rd model transmission mode.第４のモデル送信態様の処理経過の例を示すフローチャートである。It is a flowchart which shows the example of a process progress of the 4th model transmission mode.本発明の実施形態やその変形例における識別システムが備えるコンピュータの構成例を示す概略ブロック図である。FIG. 11 is a schematic block diagram illustrating a configuration example of a computer included in an identification system according to an embodiment of the present invention or a modified example thereof.本発明の識別システムの概要を示すブロック図である。It is a block diagram showing the outline of the identification system of the present invention.

　以下、本発明の実施形態を図面を参照して説明する。Hereinafter, embodiments of the present invention will be described with reference to the drawings.

　図１は、本発明の識別システムが複数設けられている状況を示す模式図である。図１では、６個の識別システム１００が各所に設けられている場合を例示しているが、各所に設けられる識別システム１００の数は、特に限定されない。本実施形態では、複数の識別システム１００が同様の構成であるものとして説明する。FIG. 1 is a schematic diagram showing a situation where a plurality of identification systems of the present invention are provided. FIG. 1 illustrates a case where sixidentification systems 100 are provided at various locations, but the number ofidentification systems 100 provided at various locations is not particularly limited. In the present embodiment, a description will be given assuming that the plurality ofidentification systems 100 have the same configuration.

　各識別システム１００は、例えば、通信ネットワークを介して、通信可能である。Eachidentification system 100 can communicate, for example, via a communication network.

　個々の識別システム１００はそれぞれ、データ収集部（後述の図３に示すデータ収集部１０１）を備える。各識別システム１００のデータ収集部（図１において図示略。後述の図３を参照。）は、データを収集する各地に設置される。データ収集部は、データ収集部の設置場所におけるデータを収集する。例えば、データ収集部は、設置場所において画像や音声データを収集する。データ収集部は、カメラやマイクロホンによって実現される。例えば、データ収集部は、監視場所を撮影することによって画像を収集してもよい。また、例えば、設置場所において録音することによって音声データを収集してもよい。Each of theidentification systems 100 includes a data collection unit (adata collection unit 101 shown in FIG. 3 described later). The data collection units (not shown in FIG. 1; see FIG. 3 described later) of eachidentification system 100 are installed in various places where data is collected. The data collection unit collects data at a location where the data collection unit is installed. For example, the data collection unit collects image and audio data at the installation location. The data collection unit is realized by a camera or a microphone. For example, the data collection unit may collect images by photographing a monitoring place. Further, for example, audio data may be collected by recording at an installation location.

　個々の識別システム１００は、データ収集部とは別にコンピュータを備え、そのコンピュータは、データ（画像や音声データ等）が表わす物体を識別する。Eachindividual identification system 100 includes a computer separate from the data collection unit, and the computer identifies an object represented by data (image, audio data, and the like).

　また、個々の識別システム１００は、データ収集部が収集したデータを教師データとしてモデルを学習する。このモデルは、データが表わす物体を識別するためのモデルである。(4) Eachidentification system 100 learns a model using data collected by the data collection unit as teacher data. This model is a model for identifying an object represented by data.

　そして、各識別システム１００は、モデルを提供し合い、他の識別システム１００から提供されたモデルを利用して、自身のモデルを学習し直す。各 Then, eachidentification system 100 provides a model, and re-learns its own model by using a model provided by anotheridentification system 100.

　ここで、１つの識別システム１００に着目した場合、着目している識別システム１００に対してモデルを送信する他の識別システム１００が予め定められている。着目している識別システム１００に対してモデルを送信する他の識別システム１００を、第１の識別システムと称する。本実施形態では、着目している識別システム１００に対して、第１の識別システムが複数定められているものとして説明する。着目している識別システム１００は、第１の識別システムからモデルの提供を受けると言うことができる。Here, when focusing on oneidentification system 100, anotheridentification system 100 that transmits a model to theidentification system 100 of interest is predetermined. Anotheridentification system 100 that transmits a model to theidentification system 100 of interest is referred to as a first identification system. In the present embodiment, a description will be given assuming that a plurality of first identification systems are determined for theidentification system 100 of interest. It can be said that theidentification system 100 of interest receives the model from the first identification system.

　また、着目している識別システム１００がモデルを送信するときの送信先となる他の識別システム１００が予め定められている。着目している識別システム１００がモデルを送信するときの送信先となる他の識別システム１００を、第２の識別システムと称する。本実施形態では、着目している識別システム１００に対して、第２の識別システムが１つまたは複数定められているものとして説明する。着目している識別システム１００は、第２の識別システムにモデルを提供すると言うことができる。Also, anotheridentification system 100 that is a transmission destination when theidentification system 100 of interest transmits the model is predetermined. Anotheridentification system 100 that is a transmission destination when theidentification system 100 of interest transmits the model is referred to as a second identification system. In the present embodiment, a description will be given assuming that one or more second identification systems are determined for theidentification system 100 of interest. Theidentification system 100 of interest can be said to provide a model to the second identification system.

　第１の識別システムおよび第２の識別システムは、個々の識別システム１００毎に予め定められている。例えば、各識別システム１００を管理する管理者が、個々の識別システム１００毎に、第１の識別システムおよび第２の識別システムを予め定めておけばよい。The first identification system and the second identification system are predetermined for eachindividual identification system 100. For example, an administrator who manages eachidentification system 100 may determine a first identification system and a second identification system for eachindividual identification system 100 in advance.

　各識別システム１００は、同様の構成であるが、第１の識別システムおよび第２の識別システムは、識別システム１００毎に個別に定められる。Eachidentification system 100 has the same configuration, but the first identification system and the second identification system are individually determined for eachidentification system 100.

　図２は、第１の識別システムおよび第２の識別システムの例を示す説明図である。ここでは、図２に示す識別システム１００ａに着目するものとする。また、図２において、矢印は、モデルが送られる方向を表わしている。図２に示す例では、着目している識別システム１００ａに関して、識別システム１００ｂ，１００ｃが第１の識別システムとして定められ、識別システム１００ｂ，１００ｃ，１００ｄが第２の識別システムとして定められている。識別システム１００ｂ，１００ｃ，１００ｄに関しても、それぞれ個別に、第１の識別システムおよび第２の識別システムが定められている。FIG. 2 is an explanatory diagram showing an example of the first identification system and the second identification system. Here, attention is focused on theidentification system 100a shown in FIG. In FIG. 2, arrows indicate the direction in which the model is sent. In the example shown in FIG. 2, regarding theidentification system 100a of interest, theidentification systems 100b and 100c are defined as first identification systems, and theidentification systems 100b, 100c and 100d are defined as second identification systems. Regarding theidentification systems 100b, 100c, and 100d, a first identification system and a second identification system are individually defined.

　図３は、本発明の実施形態の識別システム１００の構成例を示すブロック図である。識別システム１００は、データ収集部１０１と、コンピュータ１０２とを備える。データ収集部１０１とコンピュータ１０２とは、有線または無線で通信可能に接続される。以下の説明では、データ収集部１０１がカメラである場合を例にして説明し、データ収集部１０１をカメラ１０１と記す。カメラ１０１は、そのカメラ１０１の設置場所から撮影を行う。なお、カメラ１０１の設置場所と、コンピュータ１０２の設置場所とが異なっていてもよい。FIG. 3 is a block diagram showing a configuration example of theidentification system 100 according to the embodiment of the present invention. Theidentification system 100 includes adata collection unit 101 and acomputer 102. Thedata collection unit 101 and thecomputer 102 are communicably connected by wire or wirelessly. In the following description, a case where thedata collection unit 101 is a camera will be described as an example, and thedata collection unit 101 will be referred to as acamera 101. Thecamera 101 performs shooting from the installation location of thecamera 101. The installation location of thecamera 101 and the installation location of thecomputer 102 may be different.

　コンピュータ１０２は、学習部１０３と、第１のモデル記憶部１０４と、データ取得部１０５と、第１の識別部１０６と、決定部１０７と、領域修正ＧＵＩ（Graphical User Interface）表示制御部１０８と、領域抽出部１０９と、第２のモデル記憶部１１０と、モデル更新部１２１と、第２の識別部１１１と、表示制御部１１２と、属性データ記憶部１１３と、統合部１１４と、ディスプレイ装置１１５と、マウス１１６と、結果記憶部１１７と、モデル送信部１２２とを備える。Thecomputer 102 includes alearning unit 103, a firstmodel storage unit 104, adata acquisition unit 105, afirst identification unit 106, adetermination unit 107, an area correction GUI (Graphical User Interface)display control unit 108, ,Region extraction unit 109, second model storage unit 110,model update unit 121, second identification unit 111, display control unit 112, attributedata storage unit 113, integration unit 114,display device 115, amouse 116, aresult storage unit 117, and amodel transmission unit 122.

　学習部１０３は、カメラ１０１が撮影によって得た画像を教師データとして、機械学習によってモデルを学習する。以下、学習部１０３が、ディープラーニングによってモデルを学習する場合を例にして説明する。教師データは、例えば、カメラ１０１が撮影によって得た画像と、その画像に写っている物体を示すラベルとの組の集合である。ラベルは、識別システム１００のオペレータが決定すればよい。学習は、そのような組の集合を教師データとして、モデルを学習（生成）する。Thelearning unit 103 learns a model by machine learning using the image obtained by thecamera 101 as the teacher data. Hereinafter, a case where thelearning unit 103 learns a model by deep learning will be described as an example. The teacher data is, for example, a set of a set of an image obtained by photographing with thecamera 101 and a label indicating an object appearing in the image. The label may be determined by the operator of theidentification system 100. In learning, a model is learned (generated) using such a set of sets as teacher data.

　また、学習部１０３は、所定の画像と、その画像に対するラベルが特定された場合、その画像とラベルの組を教師データに追加して、ディープラーニングによって、モデルを再学習する。所定の画像とは、後述の決定部１０７が、第２の識別部１１１に識別処理を実行させると決定した画像である。なお、本実施形態では、そのように決定された画像において、物体が写っている領域が抽出され、抽出された領域の画像とラベルとの組が教師データに追加される場合を例にして説明する。{Circle around (4)} When a predetermined image and a label for the image are specified, thelearning unit 103 adds a set of the image and the label to the teacher data, and re-learns the model by deep learning. The predetermined image is an image determined by thedetermination unit 107 described later to cause the second identification unit 111 to execute the identification processing. Note that, in the present embodiment, an example will be described in which a region in which an object is extracted is extracted from an image determined as described above, and a pair of an image of the extracted region and a label is added to teacher data. I do.

　学習部１０３が学習によって生成したモデルを、以下、内部生成モデルと記す場合がある。また、後述するように、第２のモデル記憶部１１０は、図３に示す識別システム１００に対して予め定められている第１の識別システムで同様に生成されたモデルを記憶する。以下、内部生成モデルと区別するために、第１の識別システムで生成されたモデルを、外部生成モデルと記す場合がある。なお、後述のモデル更新部１２１が、第１の識別システムからモデルを受信し、そのモデルを、外部生成モデルとして第２のモデル記憶部１１０に記憶させる。モ デ ル A model generated by thelearning unit 103 through learning may be hereinafter referred to as an internally generated model. In addition, as described later, the second model storage unit 110 stores a model similarly generated by the first identification system predetermined for theidentification system 100 shown in FIG. Hereinafter, a model generated by the first identification system may be referred to as an externally generated model to distinguish it from an internally generated model. Note that amodel updating unit 121 described below receives the model from the first identification system, and stores the model in the second model storage unit 110 as an externally generated model.

　内部生成モデルおよび外部生成モデルは、与えられた新たな画像に写っている物体を識別するためのモデルである。以下、内部生成モデルおよび外部生成モデルがいずれも、画像に写っている物体が「自動車」、「オートバイ」、「バス」、「背景（すなわち、自動車、オートバイおよびバスは写っていない。）」の何れであるかを判定するためのモデルであるものとして説明する。このようなモデルを学習する場合、オペレータは、教師データで画像と対になるラベルとして「自動車」、「オートバイ」、「バス」、「背景」のいずれかを画像毎に定める。また、外部生成モデルが第１の識別システムで生成される場合にも、第１の識別システムのオペレータは、教師データで画像と対になるラベルとして「自動車」、「オートバイ」、「バス」、「背景」のいずれかを画像毎に定める。The internally generated model and the externally generated model are models for identifying an object appearing in a given new image. Hereinafter, in both the internally generated model and the externally generated model, the objects appearing in the image are “car”, “motorcycle”, “bus”, and “background (that is, car, motorcycle and bus are not shown)”. The description will be made assuming that the model is a model for determining which one. When learning such a model, the operator determines one of “automobile”, “motorcycle”, “bus”, and “background” as a label to be paired with an image in the teacher data for each image. In addition, even when the externally generated model is generated by the first identification system, the operator of the first identification system may use the “automobile”, “motorcycle”, “bus”, One of the “background” is determined for each image.

　本実施形態では、第１の識別部１０６が、モデルを用いて、画像に写っている物体が「自動車」、「オートバイ」、「バス」、「背景」の何れであるかを判定する場合を例にして説明するが、モデルを用いて判定される対象は、「自動車」、「オートバイ」、「バス」、「背景」に限られない。オペレータは、識別処理の目的に応じた教師データを用意して、その教師データを用いて学習部１０３にモデルを学習させればよい。なお、モデルを用いて判定される対象（本例では、「自動車」、「オートバイ」、「バス」および「背景」）は、各識別システム１００で共通である。In the present embodiment, a case where thefirst identification unit 106 determines whether the object shown in the image is “car”, “motorcycle”, “bus”, or “background” using a model is described. Although described as an example, the target determined using the model is not limited to “automobile”, “motorcycle”, “bus”, and “background”. The operator may prepare teacher data according to the purpose of the identification processing, and let thelearning unit 103 learn the model using the teacher data. It should be noted that the objects to be determined using the model (in this example, “automobile”, “motorcycle”, “bus”, and “background”) are common to eachidentification system 100.

　学習部１０３は、ディープラーニングによって生成した内部生成モデルを第１のモデル記憶部１０４に記憶させる。第１のモデル記憶部１０４は、内部生成モデルを記憶する記憶装置である。Thelearning unit 103 causes the firstmodel storage unit 104 to store the internally generated model generated by the deep learning. The firstmodel storage unit 104 is a storage device that stores an internally generated model.

　図４は、内部生成モデルおよび外部生成モデルの例を示す模式図である。モデルに適用される画像の画素数がｎであるとすると、その画像は、ｎ個の画素の各画素値を要素とするベクトル（Ｘ１，Ｘ２，・・・，Ｘｎ）^Ｔと表すことができる。例えば、Ｘ１は、画像における１番目の画素の画素値を表す。Ｘ２～Ｘｎに関しても同様である。また、ここで、Ｔは、転置を意味する。モデルは、複数の層を有し、層毎に複数の係数を含んでいる。図４に示す例では、１番目の層は、係数ａ１～ａｍを含み、２番目の層は、係数ｂ１～ｂｊを含んでいる。画像を表すベクトルの個々の要素Ｘ１～Ｘｎは、１番目の層の各係数ａ１～ａｍと関連付けられる。図４では、この関連付けを線で表している。また、ある層の各係数は、その次の層の各係数と関連付けられる。図４では、この関連付けも線で表している。関連付けられた要素間には重みが定められる。例えば、関連付けられたａ１とｂ１や、関連付けられたａ１とｂ２等にそれぞれ重みが定められる。FIG. 4 is a schematic diagram illustrating an example of an internally generated model and an externally generated model. Assuming that the number of pixels of an image applied to the model is n, the image can be represented as a vector (X1, X2,..., Xn)^T having each pixel value of n pixels as an element. . For example, X1 represents the pixel value of the first pixel in the image. The same applies to X2 to Xn. Here, T means transposition. The model has a plurality of layers and includes a plurality of coefficients for each layer. In the example shown in FIG. 4, the first layer includes coefficients a1 to am, and the second layer includes coefficients b1 to bj. The individual elements X1 to Xn of the vector representing the image are associated with the respective coefficients a1 to am of the first layer. In FIG. 4, this association is represented by a line. Further, each coefficient of a certain layer is associated with each coefficient of the next layer. In FIG. 4, this association is also represented by a line. A weight is determined between the associated elements. For example, weights are determined for the associated a1 and b1, the associated a1 and b2, and the like.

　学習部１０３は、教師データを用いてディープラーニングを行うことによって、層の数、各層に含まれる係数の数、各層における個々の係数の値、関連付けられた要素間の重みの値をそれぞれ決定する。これらの値が定めることが、内部生成モデルを生成することに該当する。Thelearning unit 103 determines the number of layers, the number of coefficients included in each layer, the value of each coefficient in each layer, and the value of the weight between associated elements by performing deep learning using the teacher data. . Determining these values corresponds to generating an internally generated model.

　教師データが異なれば、層の数、各層に含まれる係数の数、各層における個々の係数の値、関連付けられた要素間の重みの値は、変化する。従って、内部生成モデルおよび外部生成モデルは図４に例示する形式のように表すことができるが、層の数、各層に含まれる係数の数、各層における個々の係数の値、関連付けられた要素間の重みの値等は、内部生成モデルと外部生成モデルとで異なる。また、本実施形態では、第２のモデル記憶部１１０は、複数の第１の識別システムで学習された個々の外部生成モデルをそれぞれ記憶する。個々の外部生成モデルも、それぞれ異なる識別システム１００において異なる教師データに基づいて生成されているので、層の数等は、外部生成モデル毎に異なる。If the teacher data is different, the number of layers, the number of coefficients included in each layer, the value of each coefficient in each layer, and the value of the weight between associated elements change. Accordingly, the internally generated model and the externally generated model can be represented as shown in the format illustrated in FIG. 4, but the number of layers, the number of coefficients included in each layer, the value of each coefficient in each layer, the , Etc., differ between the internally generated model and the externally generated model. In the present embodiment, the second model storage unit 110 stores each of the externally generated models learned by the plurality of first identification systems. Each of the externally generated models is also generated based on different teacher data indifferent identification systems 100, and thus the number of layers and the like are different for each externally generated model.

　データ取得部１０５は、カメラ１０１が撮影によって得た新たな画像をカメラ１０１から取得する。データ取得部１０５は、カメラ１０１から画像を受信するためのインタフェースである。Thedata acquisition unit 105 acquires a new image obtained by thecamera 101 by shooting from thecamera 101. Thedata acquisition unit 105 is an interface for receiving an image from thecamera 101.

　第１の識別部１０６は、データ取得部１０５が新たな画像をカメラ１０１から取得したときに、第１のモデル記憶部１０４に記憶されている内部生成モデルにその画像を適用することによって、その画像が表わす物体を識別する。本例では、第１の識別部１０６は、内部生成モデルに画像を適用することによって、画像に写っている物体が「自動車」であるのか、「オートバイ」であるのか、「バス」であるのか、あるいは、「背景」しか写っていないのかを判定する。When thedata acquisition unit 105 acquires a new image from thecamera 101, thefirst identification unit 106 applies the image to an internally generated model stored in the firstmodel storage unit 104, thereby Identify the object represented by the image. In this example, thefirst identification unit 106 applies the image to the internally generated model to determine whether the object shown in the image is “car”, “motorcycle”, or “bus”. Alternatively, it is determined whether only the “background” is captured.

　画像が得られた場合、画像を表すベクトル（Ｘ１，Ｘ２，・・・，Ｘｎ）^Ｔが定まる。第１の識別部１０６は、そのベクトル（Ｘ１，Ｘ２，・・・，Ｘｎ）^Ｔと、内部生成モデルに含まれる各層の各係数およびモデルに含まれる各重みとを用いた演算により、「自動車」、「オートバイ」、「バス」、「背景」の信頼度を算出する。そして、第１の識別部１０６は、「自動車」、「オートバイ」、「バス」、「背景」のうち、最も高い信頼度が得られたラベルを、画像に写っている物体を示すラベルとして定める。例えば、第１の識別部１０６が、画像を表すベクトルをモデルに適用した結果、「自動車」、「オートバイ」、「バス」、「背景」それぞれの信頼度として、“０．６”、“０．２”、“０．１”、“０．１”が得られたとする。この場合、第１の識別部１０６は、画像に写っている物体は、最も高い信頼度“０．６”が得られた「自動車」であると識別する。また、定めたラベルが「背景」以外である場合、第１の識別部１０６は、画像に写っている物体（「自動車」、「オートバイ」または「バス」）を囲む矩形領域を、画像を表すベクトルと内部生成モデルとを用いた演算によって判定する。定めたラベルが「背景」であるということは、画像に物体が写っていないと判定したことを意味しているので、この場合には、第１の識別部１０６は、画像に写っている物体を囲む矩形領域を判定しない。When an image is obtained, a vector (X1, X2,..., Xn)^T representing the image is determined. Thefirst identification unit 106 calculates “automobile” by using the vector (X1, X2,..., Xn)^T , each coefficient of each layer included in the internally generated model, and each weight included in the model. , “Motorcycle”, “bus”, and “background” are calculated. Then, thefirst identification unit 106 determines the label with the highest reliability among “car”, “motorcycle”, “bus”, and “background” as a label indicating an object appearing in the image. . For example, as a result of thefirst identification unit 106 applying a vector representing an image to the model, the reliability of “car”, “motorcycle”, “bus”, and “background” is “0.6”, “0”, .2 "," 0.1 ", and" 0.1 "are obtained. In this case, thefirst identification unit 106 identifies the object appearing in the image as an “automobile” having the highest reliability “0.6”. When the determined label is other than “background”, the first identifyingunit 106 represents a rectangular area surrounding the object (“car”, “motorcycle” or “bus”) shown in the image as the image. The determination is made by an operation using the vector and the internally generated model. The fact that the determined label is “background” means that it is determined that the object is not shown in the image. In this case, thefirst identification unit 106 determines that the object Does not determine the rectangular area surrounding.

　第１の識別部１０６は、識別処理の対象とした画像と、識別結果に該当するラベルと、そのラベルに対応する信頼度とを対応付けて、結果記憶部１１７に記憶させる。例えば、上記の例のように、第１の識別部１０６が、画像に写っている物体が、最も高い信頼度“０．６”が得られた「自動車」であると判定したとする。この場合、第１の識別部１０６は、その画像と、ラベル「自動車」と、信頼度“０．６”とを対応付けて、結果記憶部１１７に記憶させる。結果記憶部１１７は、識別結果等を記憶する記憶装置である。ただし、結果記憶部１１７は、後述するように、画像内における矩形領域を示す情報等も追加して記憶する。{Circle around (1)} Thefirst identification unit 106 associates the image subjected to the identification processing, the label corresponding to the identification result, and the reliability corresponding to the label, and stores the image in theresult storage unit 117. For example, as in the above example, it is assumed that thefirst identification unit 106 determines that the object shown in the image is “car” having the highest reliability “0.6”. In this case, thefirst identification unit 106 causes theresult storage unit 117 to store the image, the label “car”, and the reliability “0.6” in association with each other. Theresult storage unit 117 is a storage device that stores identification results and the like. However, theresult storage unit 117 additionally stores information indicating a rectangular area in the image, as described later.

　第２のモデル記憶部１１０は、内部生成モデル（学習部１０３が生成したモデル）とは異なるモデルを記憶する記憶装置である。より具体的には、第２のモデル記憶部１１０は、図３に示す識別システム１００に対して予め定められている複数の第１の識別システムで学習された個々のモデル（外部生成モデル）を記憶する。第２のモデル記憶部１１０に記憶される個々のモデルは、いずれも図４に模式的に示すモデルと同様の形式で表される。The second model storage unit 110 is a storage device that stores a model different from the internally generated model (the model generated by the learning unit 103). More specifically, the second model storage unit 110 stores individual models (externally generated models) learned by a plurality of first identification systems predetermined for theidentification system 100 shown in FIG. Remember. Each model stored in the second model storage unit 110 is represented in the same format as the model schematically shown in FIG.

　モデル更新部１２１は、図３に示す識別システム１００に対して予め定められている複数の第１の識別システムからそれぞれモデルを受信し、そのモデルを、外部生成モデルとして第２のモデル記憶部１１０に記憶させる。Themodel updating unit 121 receives a model from each of a plurality of first identification systems predetermined for theidentification system 100 shown in FIG. 3, and uses the model as an externally generated model in the second model storage unit 110. To memorize.

　個々の第１の識別システムは、図３に示す識別システム１００と同様に、後述のモデル送信部１２２を備えている。そして、個々の第１の識別システムのモデル送信部１２２は、その第１の識別システムが学習したモデルを、適宜、図３に示す識別システム１００に送信する。Each first identification system includes amodel transmission unit 122 described later, similarly to theidentification system 100 shown in FIG. Then, themodel transmitting unit 122 of each first identification system transmits the model learned by the first identification system to theidentification system 100 shown in FIG. 3 as appropriate.

　モデル更新部１２１は、第１の識別システムが送信したモデルを受信する。その第１の識別システムが、図３に示す識別システム１００に対して初めてモデルを送信したとする。その場合、第２のモデル記憶部１１０は、その第１の識別システムで学習されたモデルを、まだ記憶していない。このとき、モデル更新部１２１は、受信したモデルを外部生成モデルとして、送信元となる第１の識別システムを示す情報と関連付けて、第２のモデル記憶部１１０に記憶させる。また、その第１の識別システムが、図３に示す識別システム１００に対して以前にモデルを送信したことがあるとする。その場合、第２のモデル記憶部１１０は、その第１の識別システムで学習されたモデルを既に記憶している。このとき、モデル更新部１２１は、その第１の識別システムで学習されたモデルとして既に第２のモデル記憶部１１０に記憶されているモデルを、新たに受信したモデルに更新する。Themodel updating unit 121 receives the model transmitted by the first identification system. It is assumed that the first identification system transmits a model to theidentification system 100 shown in FIG. 3 for the first time. In that case, the second model storage unit 110 has not yet stored the model learned by the first identification system. At this time, themodel updating unit 121 stores the received model as an externally generated model in the second model storage unit 110 in association with the information indicating the first identification system that is the transmission source. It is also assumed that the first identification system has previously transmitted a model to theidentification system 100 shown in FIG. In that case, the second model storage unit 110 has already stored the model learned by the first identification system. At this time, themodel updating unit 121 updates a model already stored in the second model storage unit 110 as a model learned by the first identification system to a newly received model.

　以下の説明では、第２のモデル記憶部１１０は、図３に示す識別システム１００に対して予め定められている複数の第１の識別システムで学習された個々のモデル（外部生成モデル）を全て記憶済みであるものとする。この状態で、モデル更新部１２１は、第１の識別システムからモデルを受信すると、第２のモデル記憶部１１０に記憶されているモデルを、受信したモデルに更新する。In the following description, the second model storage unit 110 stores all the individual models (externally generated models) learned by a plurality of first identification systems predetermined for theidentification system 100 shown in FIG. It is assumed that it has been stored. In this state, when receiving the model from the first identification system, themodel updating unit 121 updates the model stored in the second model storage unit 110 to the received model.

　第２の識別部１１１は、第１の識別部１０６が識別対象とした各画像のうち、所定の画像を、第２のモデル記憶部１１０に記憶されている外部生成モデルに適用することによって、その所定の画像に写っている物体を識別する。第２の識別部１１１は、この処理を、個々の外部生成モデル毎に実行する。第２の識別部１１１は、所定の画像を外部生成モデルに適用することによって、「自動車」、「オートバイ」、「バス」、「背景」の信頼度をそれぞれ算出する。そして、第２の識別部１１１は、「自動車」、「オートバイ」、「バス」、「背景」のうち、最も高い信頼度が得られたラベルを、画像に写っている物体を示すラベルとして定める。The second identification unit 111 applies a predetermined image among the images identified by thefirst identification unit 106 to the externally generated model stored in the second model storage unit 110, An object in the predetermined image is identified. The second identification unit 111 performs this processing for each externally generated model. The second identification unit 111 calculates the reliability of “automobile”, “motorcycle”, “bus”, and “background” by applying a predetermined image to the externally generated model. Then, the second identification unit 111 determines a label with the highest reliability among “automobile”, “motorcycle”, “bus”, and “background” as a label indicating an object appearing in the image. .

　また、第１の識別部１０６が識別対象とした各画像のうちの所定の画像とは、第１の識別部１０６が識別対象とした各画像のうち、決定部１０７が、第２の識別部１１１に識別処理を実行させると決定した画像である。In addition, the predetermined image of the images identified by thefirst identification unit 106 is a predetermined image among the images identified by thefirst identification unit 106. This is an image determined to cause the image processing unit 111 to execute the identification processing.

　決定部１０７は、第１の識別部１０６が識別対象とした各画像のうち、第２の識別部１１１に識別処理を実行させる画像を決定する。以下、決定部１０７が、第１の識別部１０６が識別対象とした各画像のうち、第２の識別部１１１に識別処理を実行させる画像を決定する方法として、３種類の決定方法を例示して説明する。決定部１０７は、以下に示す３種類の決定方法のうちの１つの決定方法のみを採用してもよい。あるいは、決定部１０７は、以下に示す３種類の決定方法のうちの複数の決定方法を採用してもよい。この場合、決定部１０７は、複数の決定方法のうちのいずれかの決定方法で、ある画像に対して第２の識別部１１１に識別処理を実行させると決定した場合には、その画像に対して第２の識別部１１１に識別処理を実行させることを確定する。Thedetermination unit 107 determines an image that causes the second identification unit 111 to execute the identification process, from among the images that have been identified by thefirst identification unit 106. Hereinafter, three types of determination methods will be exemplified as a method in which thedetermination unit 107 determines an image to be subjected to the identification processing by the second identification unit 111 among the images identified by thefirst identification unit 106. Will be explained. Thedetermination unit 107 may employ only one of the following three types of determination methods. Alternatively, thedetermination unit 107 may employ a plurality of determination methods among the following three types of determination methods. In this case, if the determiningunit 107 determines to cause the second identifying unit 111 to execute the identifying process on a certain image by any one of the plurality of determining methods, the determiningunit 107 Thus, it is determined that the second identification unit 111 executes the identification processing.

［第１の決定方法］
　第１の決定方法は、画像に写っている物体を表わすラベルとして第１の識別部１０６によって定められたラベルが、誤りであった場合に、決定部１０７が、その画像に対して第２の識別部１１１に識別処理を実行させると決定する方法である。すなわち、決定部１０７が、第１の識別部１０６が誤識別した画像に対して、第２の識別部１１１に識別処理を実行させると決定する方法である。第１の識別部１０６によって定められたラベルが、誤りであるか否かは、例えば、識別システム１００のオペレータによって判断されてもよい。以下、この場合を例にして説明する。第１の識別部１０６が画像に対するラベルを定めた場合、決定部１０７は、その画像と、その画像に対して定められたラベルと、そのラベルが正しいか否かをオペレータが入力するためのＧＵＩ（本例では、２つのボタンとする。）とを表わす画面を、ディスプレイ装置１１５上に表示する。図５は、第１の決定方法において決定部１０７がディスプレイ装置１１５上に表示する画面の例を示す模式図である。[First determination method]
The first determination method is that, when the label determined by thefirst identification unit 106 as a label representing an object appearing in an image is incorrect, thedetermination unit 107 determines the second This is a method of determining that the identification unit 111 performs the identification processing. That is, this is a method in which thedetermination unit 107 determines that the second identification unit 111 performs the identification process on the image that is incorrectly identified by thefirst identification unit 106. Whether or not the label determined by thefirst identification unit 106 is incorrect may be determined by, for example, an operator of theidentification system 100. Hereinafter, this case will be described as an example. When thefirst identification unit 106 determines a label for an image, thedetermination unit 107 provides a GUI for allowing the operator to input the image, the label determined for the image, and whether the label is correct. (In this example, two buttons are used.) Is displayed on thedisplay device 115. FIG. 5 is a schematic diagram illustrating an example of a screen displayed on thedisplay device 115 by thedetermination unit 107 in the first determination method.

　決定部１０７は、第１の識別部１０６が画像に対するラベルを定めた場合、図５に例示するように、第１の識別部１０６が識別対象とした画像３０１と、第１の識別部１０６によって定められたラベル３０２（図５に示す例では「オートバイ」）と、第１ボタン３０４および第２ボタン３０５とを表わす画面を、ディスプレイ装置１１５上に表示する。第１ボタン３０４は、画像に対するラベルが正しいことを入力するためのボタンであり、第１ボタン３０４がクリックされたということは、画像に対するラベルが正しい旨の情報がオペレータから入力されたことを意味する。また、第２ボタン３０５は、画像に対するラベルが誤っていることを入力するためのボタンであり、第２ボタン３０５がクリックされたといういことは、画像に対するラベルが誤っている旨の情報がオペレータから入力されたことを意味する。図５に示す例では、画像３０１には自降車が写っているが、第１の識別部１０６によって定められたラベルとして「オートバイ」が表示されている。従って、オペレータは、マウス１１６を用いて第２ボタン３０５をクリックする。なお、図５に示す例では、第１の識別部１０６によって定められたラベルとして「自動車」が表示されているならば、オペレータは、第１ボタン３０４をクリックする。When thefirst identification unit 106 determines a label for an image, thedetermination unit 107 determines whether theimage 301 that is the identification target of thefirst identification unit 106 and thefirst identification unit 106, as illustrated in FIG. A screen showing the determined label 302 (“motorcycle” in the example shown in FIG. 5) and thefirst button 304 and thesecond button 305 is displayed on thedisplay device 115. Thefirst button 304 is a button for inputting that the label for the image is correct. Clicking on thefirst button 304 means that information indicating that the label for the image is correct has been input by the operator. I do. Thesecond button 305 is a button for inputting that the label for the image is incorrect. When thesecond button 305 is clicked, information indicating that the label for the image is incorrect is displayed by the operator. Means input from In the example shown in FIG. 5, theimage 301 shows the self-disembarkation, but “Motorcycle” is displayed as the label determined by thefirst identification unit 106. Therefore, the operator clicks thesecond button 305 using themouse 116. In the example illustrated in FIG. 5, if “automobile” is displayed as the label determined by thefirst identification unit 106, the operator clicks thefirst button 304.

　決定部１０７は、図５に例示する画面において、第２ボタン３０５がクリックされると、第１の識別部１０６によって定められたラベルが誤っていると判定し、第１の識別部１０６が識別対象とした画像３０１に対して、第２の識別部１１１に識別処理を実行させると決定する。When thesecond button 305 is clicked on the screen illustrated in FIG. 5, the determiningunit 107 determines that the label determined by the first identifyingunit 106 is incorrect, and the first identifyingunit 106 identifies the label. It is determined that the second identification unit 111 performs the identification processing on thetarget image 301.

　なお、第１ボタン３０４がクリックされた場合には、決定部１０７は、第１の識別部１０６が識別対象とした画像３０１に対して、第２の識別部１１１に識別処理を実行させないと決定する。When thefirst button 304 is clicked, thedetermination unit 107 determines that the second identification unit 111 does not perform the identification processing on theimage 301 that is the identification target of thefirst identification unit 106. I do.

［第２の決定方法］
　第２の決定方法は、画像に対して定められたラベルに対応する信頼度が予め定められた閾値以下である場合に、決定部１０７が、その画像に対して第２の識別部１１１に識別処理を実行させると決定する方法である。[Second determination method]
In a second determination method, when the reliability corresponding to the label determined for the image is equal to or less than a predetermined threshold, thedetermination unit 107 identifies the image to the second identification unit 111. This is a method of determining to execute the processing.

　すなわち、第１の識別部１０６が画像に対して定めたラベルに対応する信頼度が閾値以下である場合、決定部１０７は、その画像に対して第２の識別部１１１に識別処理を実行させると決定する。また、第１の識別部１０６が画像に対して定めたラベルに対応する信頼度が閾値を超えている場合には、決定部１０７は、その画像に対して第２の識別部１１１に識別処理を実行させないと決定する。閾値は、例えば、“０．５”であるが、“０．５”以外の値であってもよい。That is, when the reliability corresponding to the label determined for the image by thefirst identification unit 106 is equal to or smaller than the threshold, thedetermination unit 107 causes the second identification unit 111 to execute the identification process on the image. Is determined. If the reliability corresponding to the label determined by thefirst identification unit 106 for the image exceeds the threshold, thedetermination unit 107 causes the second identification unit 111 to perform identification processing on the image. Is determined not to be executed. The threshold value is, for example, “0.5”, but may be a value other than “0.5”.

　第２の決定方法は、決定部１０７は、第１の識別部１０６が導出した信頼度と閾値との比較によって、画像に対して第２の識別部１１１に識別処理を実行させるか否かを決定する。従って、第２の決定方法では、図５に例示する画面を表示する必要はない。In a second determination method, thedetermination unit 107 determines whether or not to cause the second identification unit 111 to execute identification processing on an image by comparing the reliability derived by thefirst identification unit 106 with a threshold. decide. Therefore, it is not necessary to display the screen illustrated in FIG. 5 in the second determination method.

［第３の決定方法］
　第３の決定方法は、第１の識別部１０６が画像に対して定めたラベルが「背景」であるにも関わらず、その画像に「自動車」、「オートバイ」または「バス」が写っている場合に、決定部１０７が、その画像に対して第２の識別部１１１に識別処理を実行させると決定する方法である。換言すれば、第３の決定方法は、第１の識別部１０６が画像に「自動車」、「オートバイ」および「バス」のいずれも写っていないと判定したにも関わらず、その画像に「自動車」、「オートバイ」または「バス」が写っている場合に、決定部１０７が、その画像に対して第２の識別部１１１に識別処理を実行させると決定する方法である。特定されたラベルが「背景」である場合に、画像に「自動車」等が写っているか否かの判断は、識別システム１００のオペレータが行う。[Third determination method]
In the third determination method, although the label determined for the image by thefirst identification unit 106 is “background”, “automobile”, “motorcycle”, or “bus” is reflected in the image. In this case, thedetermination unit 107 determines that the second identification unit 111 performs the identification process on the image. In other words, although the third determination method determines that the image does not include any of “car”, “motorcycle”, and “bus” in the image, , "Motorcycle" or "bus", thedetermination unit 107 determines that the second identification unit 111 performs the identification process on the image. When the specified label is “background”, the operator of theidentification system 100 determines whether or not “car” or the like is included in the image.

　第３の方法では、画像に対するラベルとして「背景」が定められた場合、決定部１０７は、その画像と、そのラベル「背景」と、前述の第１ボタン３０４および第２ボタン３０５とを表わす画面を、ディスプレイ装置１１５上に表示する。図６は、第３の決定方法において決定部１０７がディスプレイ装置１１５上に表示する画面の例を示す模式図である。In the third method, when “background” is determined as a label for an image, thedetermination unit 107 sets a screen representing the image, the label “background”, and thefirst button 304 and thesecond button 305 described above. Is displayed on thedisplay device 115. FIG. 6 is a schematic diagram illustrating an example of a screen displayed on thedisplay device 115 by thedetermination unit 107 in the third determination method.

　決定部１０７は、第１の識別部１０６が画像に対してラベルとして「背景」を定めた場合、図６に例示するように、第１の識別部１０６が識別対象とした画像３０１と、ラベル３０２と、第１ボタン３０４および第２ボタン３０５とを表わす画面を、ディスプレイ装置１１５上に表示する。第３の決定方法で表示される画面では、ラベル３０２として「背景」が表示される。第１ボタン３０４および第２ボタン３０５は、図５に示す第１ボタン３０４および第２ボタン３０５と同様であり、説明を省略する。When thefirst identification unit 106 determines “background” as a label for the image, thedetermination unit 107 determines, as illustrated in FIG. 6, theimage 301 that is the identification target of thefirst identification unit 106 and a label A screen representing 302 andfirst button 304 andsecond button 305 is displayed ondisplay device 115. On the screen displayed by the third determination method, “background” is displayed as thelabel 302. Thefirst button 304 and thesecond button 305 are the same as thefirst button 304 and thesecond button 305 shown in FIG.

　図６に示す例では、第１の識別部１０６が画像３０１に対して定めたラベルが「背景（自動車、オートバイおよびバスは写っていない。）」であるにも関わらず、画像３０１には、自動車が写っている。従って、オペレータは、マウス１１６を用いて第２ボタン３０５をクリックする。なお、画像３０１に、自動車、オートバイおよびバスのいずれもが写っていないならば、オペレータは、第１ボタン３０４をクリックする。In the example shown in FIG. 6, although the label determined by thefirst identification unit 106 for theimage 301 is “background (cars, motorcycles, and buses are not shown)”, theimage 301 includes The car is shown. Therefore, the operator clicks thesecond button 305 using themouse 116. If none of the car, motorcycle, and bus is shown in theimage 301, the operator clicks thefirst button 304.

　決定部１０７は、図６に例示する画面において、第２ボタン３０５がクリックされると、ラベル「背景」が特定されているが、画像には「自動車」、「オートバイ」および「バス」のいずれかが写っていると判定し、その画像に対して第２の識別部１１１に識別処理を実行させると決定する。When thesecond button 305 is clicked on the screen illustrated in FIG. 6, thedetermination unit 107 specifies the label “background”, but the image includes any of “car”, “motorcycle”, and “bus”. It is determined that the image is captured, and it is determined that the second identification unit 111 performs the identification process on the image.

　なお、図６に例示する画面において第１ボタン３０４がクリックされた場合には、決定部１０７は、画像には「自動車」、「オートバイ」および「バス」のいずれも写っておらず、ラベル「背景」は正しいと判断し、その画像に対して第２の識別部１１１に識別処理を実行させないと決定する。When thefirst button 304 is clicked on the screen illustrated in FIG. 6, thedetermination unit 107 does not show any of “car”, “motorcycle”, and “bus” in the image, and the label “ It is determined that the “background” is correct, and it is determined that the second identifying unit 111 does not execute the identification process on the image.

　次に、領域修正ＧＵＩ表示制御部１０８について説明する。前述のように、第１の識別部１０６は、画像に対して定めたラベルが「背景」以外である場合、画像に写っている物体（「自動車」、「オートバイ」または「バス」）を囲む矩形領域を判定する。領域修正ＧＵＩ表示制御部１０８は、決定部１０７によって第２の識別部１１１に識別処理を実行させると決定した画像を、その矩形領域とともにディスプレイ装置１１５上に表示し、さらに、その矩形領域を修正するためのＧＵＩを示す画面をディスプレイ装置１１５上に表示する。ただし、前述の第３の方法で決定された画像に対しては、「背景」というラベルが定められているので、矩形領域は判定されていない。この場合、領域修正ＧＵＩ表示制御部１０８は、矩形領域を表示しない。Next, the area correction GUIdisplay control unit 108 will be described. As described above, when the label defined for the image is other than “background”, thefirst identification unit 106 surrounds the object (“car”, “motorcycle” or “bus”) shown in the image. Determine the rectangular area. The area correction GUIdisplay control unit 108 displays the image determined by thedetermination unit 107 to cause the second identification unit 111 to execute the identification processing on thedisplay device 115 together with the rectangular area, and further corrects the rectangular area. Is displayed on thedisplay device 115. However, since the label “background” is defined for the image determined by the above-described third method, the rectangular area is not determined. In this case, the area correction GUIdisplay control unit 108 does not display the rectangular area.

　図７は、領域修正ＧＵＩ表示制御部１０８がディスプレイ装置１１５に表示する画面の一例を示す模式図である。図７に示す矩形領域３０９は、第１の識別部１０６が、画像３０１内で「自動車」を囲む領域として定めた矩形領域である。また、領域修正ＧＵＩ表示制御部１０８は、画面内に確定ボタン３０７および修正ボタン３０８を含める。確定ボタン３０７は、表示された矩形領域を確定することをオペレータが指示するためのボタンである。修正ボタン３０８は、矩形領域３０９の修正を受け付けることをオペレータが指示するためのボタンである。FIG. 7 is a schematic diagram showing an example of a screen displayed on thedisplay device 115 by the area correction GUIdisplay control unit 108. Arectangular area 309 illustrated in FIG. 7 is a rectangular area defined by thefirst identification unit 106 as an area surrounding “car” in theimage 301. Further, the area correction GUIdisplay control unit 108 includes adetermination button 307 and acorrection button 308 in the screen. Theconfirm button 307 is a button for the operator to instruct to confirm the displayed rectangular area. Thecorrection button 308 is a button for the operator to instruct to accept the correction of therectangular area 309.

　図７に示す例では、矩形領域３０９は、画像３０１内で「自動車」を囲む矩形領域として適切である。オペレータは、このように判断した場合、確定ボタン３０７をクリックする。確定ボタン３０７がクリックされると、領域抽出部１０９は、その時点で、画像３０１内における矩形領域３０９を確定する。In the example shown in FIG. 7, therectangular area 309 is appropriate as a rectangular area surrounding “car” in theimage 301. When the operator makes such a determination, the operator clicks theOK button 307. When theconfirm button 307 is clicked, thearea extracting unit 109 determines therectangular area 309 in theimage 301 at that time.

　図８は、領域修正ＧＵＩ表示制御部１０８がディスプレイ装置１１５に表示する画面の他の例を示す模式図である。図８に示す例では、矩形領域３０９は、画像３０１内で「自動車」を囲む矩形領域として適切でない。この場合、領域修正ＧＵＩ表示制御部１０８は、オペレータの操作に応じて、「自動車」を囲む矩形領域として適切な矩形領域を受け付ける。図８に例示する適切でない矩形領域３０９が表示された場合には、オペレータは、修正ボタン３０８をクリックする。修正ボタン３０８がクリックされた後には、領域修正ＧＵＩ表示制御部１０８は、オペレータによるマウス１１６を用いた操作に応じて、矩形領域３０９の頂点や辺の位置の修正を受け付ける。オペレータは、頂点や辺の位置を修正することによって、矩形領域３０９を、図７に例示するような適切な位置や大きさに修正することができる。領域修正ＧＵＩ表示制御部１０８、そのような修正を受け付ける。オペレータは、矩形領域３０９を、画像３０１内に写っている物体（本例では「自動車」）を囲む適切な位置や大きさに矩形領域３０９が修正した後、確定ボタン３０７をクリックする。前述のように、確定ボタン３０７がクリックされると、領域抽出部１０９は、その時点で、画像３０１内における矩形領域３０９を確定する。本例では、領域抽出部１０９は、修正後の矩形領域３０９を確定する。FIG. 8 is a schematic diagram showing another example of a screen displayed on thedisplay device 115 by the area correction GUIdisplay control unit 108. In the example illustrated in FIG. 8, therectangular area 309 is not appropriate as a rectangular area surrounding “car” in theimage 301. In this case, the area correction GUIdisplay control unit 108 accepts an appropriate rectangular area as a rectangular area surrounding “automobile” in accordance with the operation of the operator. When the inappropriaterectangular area 309 illustrated in FIG. 8 is displayed, the operator clicks thecorrection button 308. After thecorrection button 308 is clicked, the area correction GUIdisplay control unit 108 receives the correction of the positions of the vertices and sides of therectangular area 309 in accordance with the operation performed by the operator using themouse 116. The operator can correct the position of the vertices and sides to correct therectangular area 309 to an appropriate position and size as illustrated in FIG. The area correction GUIdisplay control unit 108 receives such correction. The operator clicks theOK button 307 after correcting therectangular area 309 to an appropriate position or size surrounding the object (“automobile” in this example) shown in theimage 301. As described above, when theconfirm button 307 is clicked, theregion extracting unit 109 decides therectangular region 309 in theimage 301 at that time. In this example, thearea extracting unit 109 determines therectangular area 309 after the correction.

　また、既に説明したように、前述の第３の方法で決定された画像に対しては、「背景」というラベルが定められているので、矩形領域は判定されていない。この場合、領域修正ＧＵＩ表示制御部１０８は、図７に例示する画面において、矩形領域３０９を表示しない。この場合、オペレータが修正ボタン３０８をクリックすると、領域修正ＧＵＩ表示制御部１０８は、画像３０１の任意の場所に任意の大きさで矩形領域３０９を表示し、オペレータによるマウス１１６を用いた操作に応じて、矩形領域３０９の頂点や辺の位置の修正を受け付ける。オペレータは、表示された矩形領域３０９を、画像３０１内に写っている物体を囲む適切な位置や大きさに修正した後、確定ボタン３０７をクリックすればよい。確定ボタン３０７がクリックされると、領域抽出部１０９は、その時点で、画像３０１内における矩形領域３０９を確定する。{Circle around (2)} As described above, since the label “background” is defined for the image determined by the above-described third method, the rectangular area is not determined. In this case, the area correction GUIdisplay control unit 108 does not display therectangular area 309 on the screen illustrated in FIG. In this case, when the operator clicks thecorrection button 308, the area correction GUIdisplay control unit 108 displays arectangular area 309 at an arbitrary size in an arbitrary place of theimage 301, and responds to an operation performed by the operator using themouse 116. Then, the correction of the positions of the vertices and sides of therectangular area 309 is accepted. The operator corrects the displayedrectangular area 309 to an appropriate position and size surrounding the object shown in theimage 301, and then clicks theOK button 307. When theconfirm button 307 is clicked, thearea extracting unit 109 determines therectangular area 309 in theimage 301 at that time.

　上記のように、領域抽出部１０９は、確定ボタン３０７がクリックされると、その時点で、画像３０１内における矩形領域３０９を確定する。そして、領域抽出部１０９は、その画像から、確定した矩形領域を抽出する。この矩形領域は、画像に写っている物体を囲む領域である。領域抽出部１０９は、結果記憶部１１７に記憶されている画像、第１の識別部１０６による識別結果となるラベル、および、そのラベルに対応する信頼度に対応させて、確定した矩形領域を表わす情報も結果記憶部１１７に記憶させる。矩形領域を表わす情報は、例えば、矩形領域の各頂点の座標である。As described above, when theconfirm button 307 is clicked, thearea extracting unit 109 determines therectangular area 309 in theimage 301 at that time. Then, thearea extracting unit 109 extracts the determined rectangular area from the image. This rectangular area is an area surrounding the object shown in the image. Theregion extraction unit 109 represents the determined rectangular region in association with the image stored in theresult storage unit 117, the label as the identification result by thefirst identification unit 106, and the reliability corresponding to the label. Information is also stored in theresult storage unit 117. The information representing the rectangular area is, for example, the coordinates of each vertex of the rectangular area.

　第２の識別部１１１は、領域抽出部１０９によって抽出された矩形領域の画像を対象にして、その矩形領域の画像に写っている物体を識別する。第２の識別部１１１は、この処理を、第２のモデル記憶部１１０に記憶されている個々の外部生成モデル毎に実行する。The second identification unit 111 identifies an object appearing in the image of the rectangular area with respect to the image of the rectangular area extracted by thearea extracting unit 109. The second identification unit 111 executes this process for each of the externally generated models stored in the second model storage unit 110.

　第２の識別部１１１は、抽出された矩形領域の画像を外部生成モデルに適用することによって、「自動車」、「オートバイ」、「バス」、「背景」の信頼度をそれぞれ算出する。そして、第２の識別部１１１は、「自動車」、「オートバイ」、「バス」、「背景」のうち、最も高い信頼度が得られたラベルを、画像に写っている物体を示すラベルとして定める。また、第２の識別部１１１は、ラベル毎に求めた信頼度、並びに、画像に写っている物体を示すラベルおよびそのラベルに対応する信頼度を、既に、結果記憶部１１７に記憶されているその画像に対応付けて、結果記憶部１１７に記憶させる。第２の識別部１１１は、この処理を外部生成モデル毎に実行する。以下、説明を簡単にするために、図３に示す識別システム１００に対して定められている第１の識別システムが２つであり、第２のモデル記憶部１１０に記憶されている外部生成モデルの数が２個であるものとして説明する。そして、その２個の外部生成モデルの一方を符号“Ａ”で表し、他方を符号“Ｂ”で表す。The second identification unit 111 calculates the reliability of “automobile”, “motorcycle”, “bus”, and “background” by applying the extracted image of the rectangular area to the externally generated model. Then, the second identification unit 111 determines a label with the highest reliability among “automobile”, “motorcycle”, “bus”, and “background” as a label indicating an object appearing in the image. . In addition, the second identification unit 111 has already stored in theresult storage unit 117 the reliability calculated for each label, the label indicating the object appearing in the image, and the reliability corresponding to the label. The result is stored in theresult storage unit 117 in association with the image. The second identification unit 111 executes this process for each externally generated model. Hereinafter, for the sake of simplicity, there are two first identification systems defined for theidentification system 100 shown in FIG. 3 and the externally generated models stored in the second model storage unit 110 The description will be made on the assumption that the number is two. Then, one of the two externally generated models is represented by a symbol “A”, and the other is represented by a symbol “B”.

　この場合、結果記憶部１１７には、画像と、第１の識別部１０６がその画像に対して識別処理を行って定めたラベルと、そのラベルに対応する信頼度と、確定された画像内の矩形領域を表わす情報とが記憶される。さらに、それらの情報に対応付けて、第２の識別部１１１が外部生成モデルＡに矩形領域の画像を適用して得たラベル毎の信頼度、および、最も信頼度が高いラベルとそのラベルに対応する信頼度、並びに、第２の識別部１１１が外部生成モデルＢに矩形領域の画像を適用して得たラベル毎の信頼度、および、最も信頼度が高いラベルとそのラベルに対応する信頼度も、結果記憶部１１７に記憶される。In this case, theresult storage unit 117 stores the image, the label determined by thefirst identification unit 106 performing the identification processing on the image, the reliability corresponding to the label, and the Information indicating a rectangular area is stored. Further, in association with the information, the reliability of each label obtained by the second identification unit 111 applying the image of the rectangular area to the externally generated model A, and the label having the highest reliability and the label The corresponding reliability, the reliability for each label obtained by applying the image of the rectangular area to the externally generated model B by the second identification unit 111, and the label having the highest reliability and the reliability corresponding to the label. The degree is also stored in theresult storage unit 117.

　結果記憶部１１７は、上記のような情報のセットが蓄積されるTheresult storage unit 117 stores the set of information as described above.

　ただし、決定部１０７が第２の識別部１１１に識別処理を実行させると決定しなかった画像に関しては、画像と、第１の識別部１０６がその画像に対して識別処理を行って定めたラベルと、そのラベルに対応する信頼度が結果記憶部１１７に記憶され、画像内の矩形領域を表わす情報等は記憶されない。However, for an image for which the determiningunit 107 has not determined that the second identifying unit 111 performs the identifying process, the image and a label determined by the first identifyingunit 106 performing the identifying process on the image. And the reliability corresponding to the label are stored in theresult storage unit 117, and information indicating a rectangular area in the image is not stored.

　表示制御部１１２は、結果記憶部１１７に記憶された情報から、１組の情報のセットを読み出し、画像と、第１の識別部１０６が導出したラベルおよびそのラベルに対応する信頼度と、第２の識別部１１１が外部生成モデル毎に導出したラベルおよびそのラベルに対応する信頼度とを含む画面を、ディスプレイ装置１１５上に表示する。The display control unit 112 reads one set of information from the information stored in theresult storage unit 117, and displays the image, the label derived by thefirst identification unit 106, the reliability corresponding to the label, Thedisplay unit 115 displays on the display device 115 a screen including the label derived for each externally generated model by the second identification unit 111 and the reliability corresponding to the label.

　図９は、表示制御部１１２が表示する画面の例を示す模式図である。表示制御部１１２は、第１の識別部１０６が導出したラベルおよびそのラベルに対応する信頼度５０１と、第２の識別部１１１が外部生成モデルＡを用いて導出したラベルおよびそのラベルに対応する信頼度５０２と、第２の識別部１１１が外部生成モデルＢを用いて導出したラベルおよびそのラベルに対応する信頼度５０３とを、画像３０１に重畳した画面を、ディスプレイ装置１１５上に表示する。図９に示す例では、表示制御部１１２は、確定している矩形領域３０９も、画像３０１に重畳させて表示する。本例では、第２のモデル記憶部１１０に記憶されている外部生成モデルが２個である場合を例示しているが、外部生成モデルの数は３個以上であってもよい。FIG. 9 is a schematic diagram showing an example of a screen displayed by the display control unit 112. The display control unit 112 corresponds to the label derived by thefirst identification unit 106 and thereliability 501 corresponding to the label, and corresponds to the label derived by the second identification unit 111 using the externally generated model A and the label. A screen in which thereliability 502 and the label derived by the second identification unit 111 using the externally generated model B and thereliability 503 corresponding to the label are superimposed on theimage 301 is displayed on thedisplay device 115. In the example illustrated in FIG. 9, the display control unit 112 also displays the determinedrectangular area 309 so as to be superimposed on theimage 301. In this example, the case where the number of the externally generated models stored in the second model storage unit 110 is two is illustrated, but the number of the externally generated models may be three or more.

　さらに、表示制御部１１２は、この画面内に、チェックボックス５０４と、再学習ボタン５０５と、画面切り替えボタン５０６，５０７を表示させる。(4) The display control unit 112 further displays acheck box 504, are-learning button 505, andscreen switching buttons 506 and 507 on this screen.

　チェックボックス５０４は、画面内に表示されている画像３０１（より具体的には、画像３０１から抽出される矩形領域３０９の画像）を教師データに含めるか否かを指定するためのＧＵＩである。チェックボックス５０４がチェックされている場合、画像３０１から抽出される矩形領域３０９の画像を教師データに含めることを意味する。チェックボックス５０４がチェックされていない場合、画像３０１を教師データに含めないことを意味する。なお、表示制御部１１２は、外部生成モデルを用いて導出された信頼度に応じて、予めチェックされた状態でチェックボックス５０４を表示してもよい。例えば、外部生成モデルを用いて導出されたラベルおよび信頼度の組において、信頼度が閾値（例えば、“０．５”）よりも大きい組が１組以上あれば、表示制御部１１２は、予めチェックされた状態でチェックボックス５０４を表示してもよい。オペレータは、チェックボックス５０４をマウス１１６でクリックすることによって、チェックボックス５０４にチェックを入れたり、チェックボックス５０４からチェックを外したりすることができる。オペレータは、画像３０１と、外部生成モデル毎に導出されたラベルおよび信頼度を参照することによって、画像３０１から抽出される矩形領域３０９の画像を教師データに含めるか否かを判断すればよい。そして、オペレータは、その判断に基づいて、チェックボックス５０４にチェックを入れるか否かを決定すればよい。Thecheck box 504 is a GUI for designating whether or not to include theimage 301 displayed on the screen (more specifically, the image of therectangular area 309 extracted from the image 301) in the teacher data. When thecheck box 504 is checked, it means that the image of therectangular area 309 extracted from theimage 301 is included in the teacher data. If thecheck box 504 is not checked, it means that theimage 301 is not included in the teacher data. Note that the display control unit 112 may display thecheck box 504 in a state where the check box is checked in advance, according to the reliability derived using the externally generated model. For example, in a set of a label and a reliability derived using an externally generated model, if there is one or more pairs whose reliability is greater than a threshold (for example, “0.5”), the display control unit 112 Thecheck box 504 may be displayed in a checked state. The operator can check or uncheck thecheck box 504 by clicking thecheck box 504 with themouse 116. The operator may determine whether to include the image of therectangular area 309 extracted from theimage 301 in the teacher data by referring to theimage 301 and the label and reliability derived for each externally generated model. Then, based on the determination, the operator may determine whether to check thecheck box 504.

　画面切り替えボタン５０６，５０７は、異なる画像を表示する画面に切り替えるためのボタンである。例えば、画面切り替えボタン５０６がクリックされた場合、表示制御部１１２は、時系列順で画像３０１よりも前の画像を含んでいる、図９に示す画面と同様の画面に切り替える。また、例えば、画面切り替えボタン５０７がクリックされた場合、表示制御部１１２は、時系列順で画像３０１よりも後の画像を含んでいる、図９に示す画像と同様の画面に切り替える。オペレータは、切り替えた各画面において、チェックボックス５０４にチェックを入れるか否かを決定すればよい。Thescreen switching buttons 506 and 507 are buttons for switching to a screen displaying a different image. For example, when thescreen switching button 506 is clicked, the display control unit 112 switches to a screen similar to the screen illustrated in FIG. 9 including an image preceding theimage 301 in chronological order. Further, for example, when thescreen switching button 507 is clicked, the display control unit 112 switches to a screen similar to the image illustrated in FIG. 9 that includes an image later than theimage 301 in chronological order. The operator may determine whether or not to check thecheck box 504 on each of the switched screens.

　再学習ボタン５０５は、オペレータが識別システム１００に、内部生成モデルの再学習を指示するためのボタンである。再学習ボタン５０５がクリックされた場合、統合部１１４は、チェックボックス５０４がチェックされた画面の画像毎に、ラベルを特定する。以下の説明では、説明を簡単にするために、図９に例示する画面のみで、チェックボックス５０４がチェックされている場合を例にして説明する。この場合、統合部１１４は、図９に例示する画像３０１のラベルを特定する。There-learning button 505 is a button for the operator to instruct theidentification system 100 to re-learn the internally generated model. When there-learning button 505 is clicked, the integration unit 114 specifies a label for each screen image in which thecheck box 504 is checked. In the following description, for the sake of simplicity, the case where thecheck box 504 is checked only on the screen illustrated in FIG. 9 will be described as an example. In this case, the integration unit 114 specifies the label of theimage 301 illustrated in FIG.

　以下、統合部１１４が１つの画像のラベルを特定する処理について説明する前に、まず、属性データ記憶部１１３について説明する。属性データ記憶部１１３は、属性データ記憶部１１３を含むコンピュータ１０２（図３に示すコンピュータ１０２）に接続されているカメラ１０１の属性を示すデータ（属性データ）と、第２のモデル記憶部１１０に記憶されている各外部生成モデルを生成した各識別システム１００（すなわち、各第１の識別システム）のカメラ１０１の属性データとを記憶する記憶装置である。ある外部生成モデルを生成した識別システム１００（第１の識別システム）のカメラ１０１の属性データを、その外部生成モデルに対応する属性データと記す。Hereinafter, the attributedata storage unit 113 will be described first before the process of the integration unit 114 specifying the label of one image is described. The attributedata storage unit 113 stores data (attribute data) indicating the attributes of thecamera 101 connected to the computer 102 (computer 102 shown in FIG. 3) including the attributedata storage unit 113, and stores the data in the second model storage unit 110. This is a storage device for storing the attribute data of thecamera 101 of each identification system 100 (that is, each first identification system) that has generated each of the stored externally generated models. The attribute data of thecamera 101 of the identification system 100 (first identification system) that has generated an externally generated model is referred to as attribute data corresponding to the externally generated model.

　カメラ１０１の属性として、カメラ１０１自体の属性や、カメラ１０１が設置されている環境に依存する属性等が挙げられる。各属性の値は数値で表される。また、各属性の値は、各識別システム１００の管理者がカメラ１０１の設定や設置環境に応じて予め決定すればよい。属性データは、このような属性の値（数値）を要素とするベクトルで表される。The attributes of thecamera 101 include an attribute of thecamera 101 itself, an attribute depending on an environment in which thecamera 101 is installed, and the like. The value of each attribute is represented by a numerical value. The value of each attribute may be determined in advance by the administrator of eachidentification system 100 according to the setting of thecamera 101 and the installation environment. The attribute data is represented by a vector having such attribute values (numerical values) as elements.

　カメラ１０１の属性データは、少なくとも、「カメラ１０１の画角」、「カメラ１０１が屋内に設置されているか屋外に設置されているか」、「カメラ１０１の撮影対象」、「カメラ１０１の撮影対象の移動方向」という各属性のうちの少なくとも一部の属性の値を含む。また、ベクトルで表される属性データが、どの属性の値を要素としているかは、全ての識別システム１００で共通であり、どの属性の値がベクトルの何番目の要素なっているかに関しても、全ての識別システム１００で共通である。ベクトルの各要素となる数値は、識別システム１００毎に異なっていてよい。The attribute data of thecamera 101 includes at least “angle of view of thecamera 101”, “whether thecamera 101 is installed indoors or outdoors”, “photographing target of thecamera 101”, and “ It includes the value of at least some of the attributes “moving direction”. Further, which attribute value is represented by a vector as attribute data is common to all theidentification systems 100. Regarding which attribute value is a vector element, Common to theidentification system 100. The numerical value of each element of the vector may be different for eachidentification system 100.

　「カメラ１０１の画角」は、数値で表されるので、管理者は、画角を表わす数値をベクトルの要素として定めればよい。Since the “angle of view of thecamera 101” is represented by a numerical value, the administrator may determine the numerical value representing the angle of view as a vector element.

　「カメラ１０１が屋内に設置されているか屋外に設置されているか」という属性に関しては、例えば、カメラ１０１が屋内に設置されている場合には、この属性の値を“０”に定め、カメラ１０１が屋外に設置されている場合には、この属性の値を“１”に定めればよい。Regarding the attribute “whether thecamera 101 is installed indoors or outdoors”, for example, when thecamera 101 is installed indoors, the value of this attribute is set to “0” and thecamera 101 Is installed outdoors, the value of this attribute may be set to “1”.

　また、「カメラ１０１の撮影対象」という属性に関しては、例えば、カメラ１０１が車両を撮影するように設置されている場合（例えば、カメラ１０１が車道に向けて設置されている場合）、この属性の値を“０”に定める。また、カメラ１０１が歩行者を撮影するように設置されている場合（例えば、カメラ１０１が歩道に向けて設置されている場合）、この属性の値を“１”に定める。また、カメラ１０１が車両と歩行者の両方を撮影するように設置されている場合（例えば、カメラ１０１が車両と歩行者の両方が通る道に向けて設置されている場合）、この属性の値を“０．５”に定める。In addition, regarding the attribute of “the object to be captured by thecamera 101”, for example, when thecamera 101 is installed to capture an image of a vehicle (for example, when thecamera 101 is installed toward a road), this attribute The value is set to “0”. When thecamera 101 is installed so as to photograph a pedestrian (for example, when thecamera 101 is installed facing a sidewalk), the value of this attribute is set to “1”. When thecamera 101 is installed so as to photograph both the vehicle and the pedestrian (for example, when thecamera 101 is installed toward a road where both the vehicle and the pedestrian pass), the value of this attribute is set. Is set to “0.5”.

　「カメラ１０１の撮影対象の移動方向」という属性に関しては、カメラ１０１の主軸方向等に基づいた基準軸を定め、その基準軸と、撮影対象の主たる移動方向とのなす角度を、この属性の値として定めればよい。As for the attribute “moving direction of the photographing target of thecamera 101”, a reference axis based on the main axis direction of thecamera 101 and the like is determined, and the angle between the reference axis and the main moving direction of the photographing target is defined as the value of this attribute It may be determined as

　また、上記以外の属性の値を属性データに含めてもよい。例えば、「カメラ１０１の設置場所の高さ」、「カメラ１０１の俯角」、「カメラ１０１の解像度」等の値を属性データに含めてもよい。「カメラ１０１の設置場所の高さ」、「カメラ１０１の俯角」、「カメラ１０１の解像度」はいずれも数値で表されるので、それらの数値をベクトルの要素として定めればよい。Also, attribute values other than the above may be included in the attribute data. For example, values such as “the height of the installation location of thecamera 101”, “depression angle of thecamera 101”, and “resolution of thecamera 101” may be included in the attribute data. Since “the height of the installation location of thecamera 101”, “depression angle of thecamera 101”, and “resolution of thecamera 101” are all represented by numerical values, these numerical values may be determined as vector elements.

　属性データ記憶部１１３は、属性データ記憶部１１３を含むコンピュータ１０２（図３に示すコンピュータ１０２）に接続されているカメラ１０１の属性データ（ベクトル）を記憶する。この属性データを基準属性データと記す。さらに、属性データ記憶部１１３は、第２のモデル記憶部１１０に記憶されている各外部生成モデルを生成した各第１の識別システムのカメラ１０１の属性データを記憶する。本実施形態では、第２のモデル記憶部１１０は、外部生成モデルＡおよび外部生成モデルＢを記憶する。従って、属性データ記憶部１１３は、基準属性データの他に、外部生成モデルＡに対応する属性データ（属性データＡと記す。）、および、外部生成モデルＢに対応する属性データ（属性データＢと記す。）も記憶する。属性データＡは、外部生成モデルＡを生成した第１の識別システムのカメラ１０１の属性データである。同様に、属性データＢは、外部生成モデルＢを生成した第１の識別システムのカメラ１０１の属性データである。The attributedata storage unit 113 stores the attribute data (vector) of thecamera 101 connected to the computer 102 (computer 102 shown in FIG. 3) including the attributedata storage unit 113. This attribute data is referred to as reference attribute data. Further, the attributedata storage unit 113 stores the attribute data of thecamera 101 of each first identification system that has generated each externally generated model stored in the second model storage unit 110. In the present embodiment, the second model storage unit 110 stores the externally generated model A and the externally generated model B. Therefore, the attributedata storage unit 113 stores, in addition to the reference attribute data, attribute data corresponding to the externally generated model A (described as attribute data A) and attribute data corresponding to the externally generated model B (attribute data B and Note) is also stored. The attribute data A is attribute data of thecamera 101 of the first identification system that has generated the externally generated model A. Similarly, the attribute data B is attribute data of thecamera 101 of the first identification system that has generated the externally generated model B.

　各識別システム１００を管理する管理者は、図３におけるカメラ１０１の属性データを基準属性データとして、属性データ記憶部１１３に記憶させればよい。また、管理者は、図３に示す識別システム１００に対して定められた２つの第１の識別システムそれぞれのカメラ１０１の属性データを、属性データＡ、属性データＢとして、属性データ記憶部１１３に記憶させればよい。The administrator who manages eachidentification system 100 may store the attribute data of thecamera 101 in FIG. 3 in the attributedata storage unit 113 as reference attribute data. Further, the administrator sets the attribute data of thecamera 101 of each of the two first identification systems defined for theidentification system 100 shown in FIG. 3 in the attributedata storage unit 113 as attribute data A and attribute data B. What is necessary is just to memorize.

　統合部１１４は、第２の識別部１１１が、画像に対して個々の外部生成モデル毎に導出した各ラベルの信頼度（本実施形態では、「自動車」、「オートバイ」、「バス」、「背景」それぞれの信頼度）を、ラベル毎に統合し、その統合結果に基づいてその画像のラベルを特定する。The integration unit 114 determines the reliability of each label (in the present embodiment, “car”, “motorcycle”, “bus”, “bus”) derived by the second identification unit 111 for each externally generated model for the image. The reliability of each "background" is integrated for each label, and the label of the image is specified based on the integration result.

　このとき、統合部１１４は、基準属性データ（すなわち、統合部１１４を含む識別システム１００のカメラ１０１の属性データ）と、外部生成モデルＡや外部生成モデルＢを生成した複数の第１の識別システムのカメラ１０１の属性データとの類似度を、第１の識別システム毎に算出する。本実施形態では、統合部１１４は、基準属性データと属性データＡとの類似度と、基準属性データと属性データＢとの類似度とを、それぞれ算出する。基準属性データと属性データＡとの類似度を、外部生成モデルＡに対応する類似度と記す。また、基準属性データと属性データＢとの類似度を、外部生成モデルＢに対応する類似度と記す。At this time, the integration unit 114 includes the reference attribute data (that is, the attribute data of thecamera 101 of theidentification system 100 including the integration unit 114) and the plurality of first identification systems that have generated the externally generated model A and the externally generated model B. Is calculated for each of the first identification systems. In the present embodiment, the integration unit 114 calculates the similarity between the reference attribute data and the attribute data A and the similarity between the reference attribute data and the attribute data B, respectively. The similarity between the reference attribute data and the attribute data A is referred to as a similarity corresponding to the externally generated model A. The similarity between the reference attribute data and the attribute data B is referred to as a similarity corresponding to the externally generated model B.

　属性データはベクトルで表される。統合部１１４は、２つの属性データ（ベクトル）の類似度を算出する場合、その２つのベクトルの距離の逆数を、類似度として算出すればよい。Attribute data is represented by a vector. When calculating the similarity between two pieces of attribute data (vectors), the integration unit 114 may calculate the reciprocal of the distance between the two vectors as the similarity.

　統合部１１４は、個々の外部生成モデル毎に導出した各ラベルの信頼度を、ラベル毎に統合するときに、外部生成モデルに対応する類似度で重み付けして、統合する。統合部１１４は、信頼度の統合結果が最も高くなったラベルを、画像のラベルとして特定すればよい。The integration unit 114 weights the reliability of each label derived for each externally generated model when the label is integrated for each label, with the similarity corresponding to the externally generated model, and integrates them. The integrating unit 114 may specify the label having the highest reliability integration result as the image label.

　外部生成モデル毎に導出した各ラベルの信頼度を、ラベル毎に統合する演算について、具体的に説明する。統合部１１４が信頼度を統合する演算方法として２つの演算方法を説明する。ここでは、１つのラベルに関して、外部生成モデル毎に導出した信頼度を統合する場合を説明する。統合部１１４は、他のラベルに関しても、同様の演算を行って、外部生成モデル毎に導出した信頼度を統合すればよい。(4) An operation for integrating the reliability of each label derived for each externally generated model for each label will be specifically described. Two calculation methods will be described as a calculation method in which the integration unit 114 integrates the reliability. Here, a case will be described in which the reliability derived for each externally generated model is integrated for one label. The integration unit 114 may perform the same operation on other labels and integrate the reliability derived for each externally generated model.

［第１の演算方法］
　まず、信頼度を統合する第１の演算方法について説明する。ｉ番目の外部生成モデルを用いて得られた、着目しているラベルの信頼度をＬｉとする。また、ｉ番目の外部生成モデルに関して算出された類似度（基準属性データと、ｉ番目の外部生成モデルに対応する属性データとの類似度）をＷｉとする。また、第２のモデル記憶部１１０に記憶されている外部生成モデルの数をＮ個とする。この場合、統合部１１４は、着目しているラベルの信頼度を、以下に示す式（１）の計算によって統合すればよい。[First operation method]
First, a first calculation method for integrating reliability will be described. Let Li be the reliability of the focused label obtained using the i-th externally generated model. Also, the similarity calculated for the i-th externally generated model (the similarity between the reference attribute data and the attribute data corresponding to the i-th externally generated model) is Wi. The number of externally generated models stored in the second model storage unit 110 is N. In this case, the integrating unit 114 may integrate the reliability of the label of interest by calculating the following expression (1).

　

　

　すなわち、統合部１１４は、外部生成モデル毎にＬｉとＷｉとの積を算出し、その積の平均値を、着目しているラベルの信頼度の統合結果とすればよい。統合部１１４は、他のラベルに関しても、同様の演算を行う。そして、統合部１１４は、統合結果が最も高くなったラベルを、画像のラベルとして特定する。That is, the integrating unit 114 may calculate the product of Li and Wi for each externally generated model, and use the average value of the product as the integrated result of the reliability of the label of interest. The integration unit 114 performs the same operation for other labels. Then, the integration unit 114 specifies the label with the highest integration result as the label of the image.

　図１０は、第１の演算方法の具体例を示す説明図である。２つの外部生成モデルＡ，Ｂがあるとする。外部生成モデルＡを用いて導出された「自動車」、「オートバイ」、「バス」および「背景」の信頼度がそれぞれ、“０．１”，“０．７”，“０．１”，“０．１”であるとする。また、外部生成モデルＡに関して算出された類似度が“０．９”であるとする。統合部１１４は、上記の信頼度毎に、類似度“０．９”を乗じた結果を算出する。この結果、「自動車」、「オートバイ」、「バス」および「背景」それぞれに関して、“０．０９”，“０．６３”，“０．０９”，“０．０９”という乗算結果（積）が得られる。FIG. 10 is an explanatory diagram showing a specific example of the first calculation method. It is assumed that there are two externally generated models A and B. The reliability of “car”, “motorcycle”, “bus”, and “background” derived using the externally generated model A is “0.1”, “0.7”, “0.1”, “ 0.1 ". It is also assumed that the similarity calculated for the externally generated model A is “0.9”. The integrating unit 114 calculates a result obtained by multiplying the degree of similarity by “0.9” for each reliability. As a result, the multiplication results (product) of “0.09”, “0.63”, “0.09”, “0.09” for “car”, “motorcycle”, “bus”, and “background” respectively. Is obtained.

　また、外部生成モデルＢを用いて導出された「自動車」、「オートバイ」、「バス」および「背景」の信頼度がそれぞれ、“０．１”，“０．６”，“０．２”，“０．１”であるとする。また、外部生成モデルＢに関して算出された類似度が“０．８”であるとする。統合部１１４は、上記の信頼度毎に、類似度“０．８”を乗じた結果を算出する。この結果、「自動車」、「オートバイ」、「バス」および「背景」それぞれに関して、“０．０８”，“０．４８”，“０．１６”，“０．０８”という乗算結果（積）が得られる。Also, the reliability of “car”, “motorcycle”, “bus” and “background” derived using the externally generated model B are “0.1”, “0.6”, and “0.2”, respectively. , "0.1". It is also assumed that the similarity calculated for the externally generated model B is “0.8”. The integrating unit 114 calculates a result of multiplying the degree of similarity “0.8” for each of the above degrees of reliability. As a result, the multiplication results (product) of “0.08”, “0.48”, “0.16”, “0.08” for “car”, “motorcycle”, “bus”, and “background” respectively. Is obtained.

　統合部１１４は、「自動車」、「オートバイ」、「バス」および「背景」毎に得られた乗算結果（積）の平均値を計算する。「自動車」、「オートバイ」、「バス」および「背景」それぞれに関して算出された平均値は、”０．０８５”，”０．５５５”，”０．１２５”，”０．０８５”である。従って、統合部１１４は、平均値（統合結果）が最も高い「オートバイ」を、画像のラベルとして特定する。The integration unit 114 calculates an average value of the multiplication results (products) obtained for each of the “car”, “motorcycle”, “bus”, and “background”. The average values calculated for each of "car", "motorcycle", "bus" and "background" are "0.085", "0.555", "0.125", and "0.085". Therefore, the integrating unit 114 specifies “motorcycle” having the highest average value (integrated result) as the image label.

[第２の演算方法］
　次に、信頼度を統合する第２の演算方法について説明する。前述の場合と同様に、ｉ番目の外部生成モデルを用いて得られた、着目しているラベルの信頼度をＬｉとする。また、ｉ番目の外部生成モデルに関して算出された類似度（基準属性データと、ｉ番目の外部生成モデルに対応する属性データとの類似度）をＷｉとする。また、個々の外部生成モデルに関して算出された個々の類似度の総和をＷｔとする。また、第２のモデル記憶部１１０に記憶されている外部生成モデルの数をＮ個とする。統合部１１４は、Ｗｔを以下に示す式（２）の計算によって算出すればよい。[Second calculation method]
Next, a second calculation method for integrating reliability will be described. As in the case described above, the reliability of the label of interest obtained using the i-th externally generated model is Li. Also, the similarity calculated for the i-th externally generated model (the similarity between the reference attribute data and the attribute data corresponding to the i-th externally generated model) is Wi. Also, the sum of the individual similarities calculated for the individual externally generated models is Wt. The number of externally generated models stored in the second model storage unit 110 is N. The integrating unit 114 may calculate Wt by the calculation of the following equation (2).

　

　

　この場合、統合部１１４は、着目しているラベルの信頼度を、以下に示す式（３）の計算によって統合すればよい。In this case, the integrating unit 114 may integrate the reliability of the label of interest by calculating the following expression (3).

　

　

　すなわち、統合部１１４は、外部生成モデル毎に、類似度の総和に対する外部生成モデルに対応する類似度の割合を算出し、その割合の算出結果を重みとして、着目しているラベルの信頼度の重み付け和を算出し、その算出結果を、着目しているラベルの信頼度の統合結果とすればよい。統合部１１４は、他のラベルに関しても、同様の演算を行う。そして、統合部１１４は、統合結果が最も高くなったラベルを、画像のラベルとして特定する。That is, the integration unit 114 calculates, for each externally generated model, the ratio of the similarity corresponding to the externally generated model to the sum of the similarities, and uses the calculation result of the ratio as a weight to determine the reliability of the label of interest. The weighted sum may be calculated, and the calculation result may be used as the integrated result of the reliability of the label of interest. The integration unit 114 performs the same operation for other labels. Then, the integration unit 114 specifies the label with the highest integration result as the label of the image.

　図１１は、第２の演算方法の具体例を示す説明図である。２つの外部生成モデルＡ，Ｂがあるとする。外部生成モデルＡを用いて導出された「自動車」、「オートバイ」、「バス」および「背景」の信頼度がそれぞれ、“０．１”，“０．７”，“０．１”，“０．１”であるとする。外部生成モデルＢを用いて導出された「自動車」、「オートバイ」、「バス」および「背景」の信頼度がそれぞれ、“０．１”，“０．６”，“０．２”，“０．１”であるとする。外部生成モデルＡに関して算出された類似度が“０．９”であり、外部生成モデルＢに関して算出された類似度が“０．８”であるとする。この場合、類似度の総和は、０．９＋０．８＝１．７である。よって、類似度の総和“１．７”に対する、外部生成モデルＡに対応する類似度“０．９”の割合は、“０．９／１．７”である。また、類似度の総和“１．７”に対する、外部生成モデルＢに対応する類似度“０．８”の割合は、“０．８／１．７”である。統合部１１４は、“０．９／１．７”および“０．８／１．７”を重みとして、ラベル毎に、信頼度の重み付け和を算出し、その算出結果を、ラベルの信頼度の統合結果とする。すると、「自動車」、「オートバイ」、「バス」および「背景」それぞれの統合結果は、“０．０９９９”，“０．６５２８”，“０．１４７０”，“０．０９９９”となる。従って、統合部１１４は、統合結果が最も高い「オートバイ」を、画像のラベルとして特定する。FIG. 11 is an explanatory diagram showing a specific example of the second calculation method. It is assumed that there are two externally generated models A and B. The reliability of “car”, “motorcycle”, “bus”, and “background” derived using the externally generated model A is “0.1”, “0.7”, “0.1”, “ 0.1 ". The reliability of “car”, “motorcycle”, “bus” and “background” derived using the externally generated model B is “0.1”, “0.6”, “0.2”, “ 0.1 ". It is assumed that the similarity calculated for the externally generated model A is “0.9” and the similarity calculated for the externally generated model B is “0.8”. In this case, the sum of the similarities is 0.9 + 0.8 = 1.7. Therefore, the ratio of the similarity “0.9” corresponding to the externally generated model A to the total similarity “1.7” is “0.9 / 1.7”. The ratio of the similarity “0.8” corresponding to the externally generated model B to the total similarity “1.7” is “0.8 / 1.7”. The integrating unit 114 calculates a weighted sum of reliability for each label, using “0.9 / 1.7” and “0.8 / 1.7” as weights, and uses the calculation result as the reliability of the label. And the integration result. Then, the integration results of “car”, “motorcycle”, “bus”, and “background” are “0.0999”, “0.6528”, “0.1470”, and “0.0999”. Therefore, the integration unit 114 specifies the “motorcycle” having the highest integration result as the image label.

　第１の演算方法および第２の演算方法は、いずれも、個々の外部生成モデル毎に導出したラベルの信頼度を、外部生成モデルに対応する類似度で重み付けして統合する演算であると言える。Each of the first and second calculation methods is a calculation in which the reliability of the label derived for each externally generated model is weighted by the similarity corresponding to the externally generated model and integrated. .

　統合部１１４が、各ラベルの信頼度の統合結果に基づいて、画像のラベルを特定すると、学習部１０３は、その画像において確定している矩形領域を抽出し、その矩形領域の画像と、統合部１１４によって特定されたラベルとの組を、既存の教師データに含める。そして、学習部１０３は、その教師データを用いて、ディープラーニングによって、内部生成モデルを再学習する。さらに、学習部１０３は、第１のモデル記憶部１０４に記憶されている既存の内部生成モデルを、再学習によって生成した新たな内部生成モデルに更新する。When the integrating unit 114 specifies the label of the image based on the integration result of the reliability of each label, thelearning unit 103 extracts a fixed rectangular area in the image, and integrates the rectangular area image with the image of the rectangular area. The pair with the label specified by the unit 114 is included in the existing teacher data. Then, thelearning unit 103 uses the teacher data to re-learn the internally generated model by deep learning. Further, thelearning unit 103 updates the existing internally generated model stored in the firstmodel storage unit 104 to a new internally generated model generated by re-learning.

　次に、モデル送信部１２２について説明する。モデル送信部１２２は、学習部１０３によって学習されたモデルを、予め定められている第２の識別システムに送信する。モデルの送信先となる第２の識別システムの数は、１つであっても、複数であってもよい。なお、第２の識別システムは、受信したモデルを外部生成モデルとして記憶する。Next, themodel transmitting unit 122 will be described. Themodel transmitting unit 122 transmits the model learned by thelearning unit 103 to a predetermined second identification system. The number of the second identification system to which the model is transmitted may be one or plural. Note that the second identification system stores the received model as an externally generated model.

　モデル送信部１２２が第２の識別システムにモデルを送信する態様として、４つのモデル送信態様を例示して説明する。As a mode in which themodel transmission unit 122 transmits a model to the second identification system, four model transmission modes will be described as examples.

［第１のモデル送信態様］
　第１のモデル送信態様では、モデル送信部１２２は、学習部１０３がモデル（内部生成モデル）を再学習した場合に、そのモデルを第２の識別システムに送信する。第１のモデル送信態様では、学習部１０３によってモデルが再学習される度に、モデル送信部１２２は、再学習によって新たに得られたモデルを第２の識別システムに送信する。従って、第１のモデル送信態様では、モデル送信部１２２は、最新のモデルを第２の識別システムに送信することができる。[First Model Transmission Mode]
In the first model transmission mode, when thelearning unit 103 re-learns a model (internally generated model), themodel transmission unit 122 transmits the model to the second identification system. In the first model transmission mode, each time the model is re-learned by thelearning unit 103, themodel transmission unit 122 transmits a model newly obtained by the re-learning to the second identification system. Therefore, in the first model transmission mode, themodel transmission unit 122 can transmit the latest model to the second identification system.

［第２のモデル送信態様］
　第２のモデル送信態様では、モデル送信部１２２は、定期的に、第１のモデル記憶部１０４に記憶されているモデルを第２の識別システムに送信する。すなわち、モデル送信部１２２は、第１のモデル記憶部１０４に記憶されているモデルを第２の識別システムに送信してから一定期間経過したときに、再び、第１のモデル記憶部１０４に記憶されているモデルを第２の識別システムに送信することを繰り返す。この一定期間において、第１のモデル記憶部１０４に記憶されているモデルが複数回、更新されたとしても、モデル送信部１２２は、前回のモデル送信時から一定期間経過した時点で第１のモデル記憶部１０４に記憶されているモデルを第２の識別システムに送信する。また、この一定期間において、第１のモデル記憶部１０４に記憶されているモデルが更新されなかった場合には、モデル送信部１２２は、前回送信したモデルと同一のモデルを再度、送信することになる。[Second Model Transmission Mode]
In the second model transmission mode, themodel transmission unit 122 periodically transmits the model stored in the firstmodel storage unit 104 to the second identification system. That is, themodel transmission unit 122 stores the model stored in the firstmodel storage unit 104 in the firstmodel storage unit 104 again after a certain period of time has elapsed after transmitting the model to the second identification system. And transmitting the model to the second identification system. Even if the model stored in the firstmodel storage unit 104 has been updated a plurality of times during this fixed period, themodel transmission unit 122 will continue to operate the first model storage at the time when the fixed period has elapsed since the previous model transmission. The model stored in thestorage unit 104 is transmitted to the second identification system. If the model stored in the firstmodel storage unit 104 has not been updated during this fixed period, themodel transmission unit 122 retransmits the same model as the previously transmitted model. Become.

［第３のモデル送信態様］
　第３のモデル送信態様では、学習部１０３がモデル（内部生成モデル）を再学習した場合に、モデル送信部１２２は、そのモデルを第２の識別システムに送信するか否かを判定する。[Third Model Transmission Mode]
In the third model transmission mode, when thelearning unit 103 re-learns a model (internally generated model), themodel transmission unit 122 determines whether to transmit the model to the second identification system.

　統合部１１４がラベルの特定対象とする画像は、第１の識別部１０６が識別対象とした画像のうち、決定部１０７が、前述の第１の決定方法、第２の決定方法、または、第３の決定方法によって、第２の識別部１１１に識別処理を実行させると決定した画像である。すなわち、統合部１１４がラベルの特定対象とする画像は、第１の識別部１０６によって誤識別されたり、閾値より大きい信頼度が得られなかったりした画像である。学習部１０３がモデルを再学習する前に、統合部１１４は、そのような画像のラベルを、外部生成モデル毎に得られた各ラベルの信頼度を利用することによって、特定している。第３のモデル送信態様では、学習部１０３がモデル（内部生成モデル）を再学習した場合に、第１の識別部１０６が、再学習されたそのモデルにその画像を適用することによって、その画像の識別結果（ラベル）を再度、導出する。モデル送信部１２２は、第１の識別部１０６が再学習されたモデルを用いて再度、導出したその画像の識別結果（ラベル）と、統合部１１４によって特定されたラベルとが一致している場合に、再学習されたモデルを第２の識別システムに送信すると判定し、再学習されたモデルを第２の識別システムに送信する。一方、その２つのラベルが一致していない場合、モデル送信部１２２は、再学習されたモデルを第２の識別システムに送信しないと判定し、モデルを第２の識別システムに送信しない。The image to be specified by the integrating unit 114 as a label is determined by the determiningunit 107 of the images identified by the first identifyingunit 106 by the first determining method, the second determining method, or the second determining method. It is an image determined to cause the second identification unit 111 to execute the identification process by the determination method of No. 3. That is, the image that the integrating unit 114 specifies as a label is an image that has been erroneously identified by thefirst identification unit 106 or has not obtained a reliability higher than the threshold. Before thelearning unit 103 re-learns the model, the integration unit 114 specifies the label of such an image by using the reliability of each label obtained for each externally generated model. In the third model transmission mode, when thelearning unit 103 re-learns a model (internally generated model), thefirst identification unit 106 applies the image to the re-learned model, thereby obtaining the image. Is derived again. Themodel transmitting unit 122 uses the model re-learned by the first identifyingunit 106 to again derive the identification result (label) of the image and the label specified by the integrating unit 114. Then, it is determined that the relearned model is to be transmitted to the second identification system, and the relearned model is transmitted to the second identification system. On the other hand, when the two labels do not match, themodel transmission unit 122 determines that the relearned model is not transmitted to the second identification system, and does not transmit the model to the second identification system.

　モデル送信部１２２は、学習部１０３がモデルを再学習する毎に、上記のように、そのモデルを第２の識別システムに送信するか否かを判定し、送信すると判定した場合に、そのモデルを第２の識別システムに送信する。Each time thelearning unit 103 re-learns the model, themodel transmission unit 122 determines whether to transmit the model to the second identification system as described above. To the second identification system.

　統合部１１４は、外部生成モデル毎に得られた各ラベルの信頼度を利用することによって、画像のラベルを特定している。従って、第１の識別部１０６によって誤識別されたり、閾値より大きい信頼度が得られなかったりした画像であっても、統合部１１４によって特定されたラベルの正確性は高いと考えられる。従って、第１の識別部１０６が再学習されたモデルを用いて再度、導出したその画像の識別結果（ラベル）と、統合部１１４によって特定されたラベルとが一致しているということは、再学習によって得られたモデルの識別精度が再学習前のモデルの識別精度よりも向上したということができる。また、再学習前のモデルでは、正しい識別結果が得られなかったが、再学習によって得られたモデルでは、正しい識別結果が得られるようになったということもできる。従って、第３のモデル送信態様は、再学習によって得られたモデルの識別精度が再学習前のモデルの識別精度よりも向上した場合に、再学習によって得られたモデルを第２の識別システムに送信する態様であるということができる。また、第３のモデル送信態様は、再学習前のモデルでは、正しい識別結果が得られなかったが、再学習によって得られたモデルでは、正しい識別結果が得られるようになった場合に、再学習によって得られたモデルを第２の識別システムに送信する態様であるというということもできる。The integration unit 114 specifies the label of the image by using the reliability of each label obtained for each externally generated model. Therefore, it is considered that the accuracy of the label specified by the integration unit 114 is high even if the image has been erroneously identified by thefirst identification unit 106 or has not obtained a reliability higher than the threshold. Therefore, the fact that the identification result (label) of the image derived again by using the model re-learned by thefirst identification unit 106 and the label specified by the integration unit 114 coincides with each other means that It can be said that the identification accuracy of the model obtained by learning is higher than the identification accuracy of the model before relearning. Also, it can be said that a correct classification result was not obtained in the model before the re-learning, but a correct classification result was obtained in the model obtained by the re-learning. Therefore, in the third model transmission mode, when the identification accuracy of the model obtained by the relearning is higher than the identification accuracy of the model before the relearning, the model obtained by the relearning is transmitted to the second identification system. It can be said that the transmission mode is used. Further, in the third model transmission mode, if the model before re-learning cannot obtain a correct identification result, but the model obtained by re-learning can obtain a correct identification result, It can also be said that the model obtained by learning is transmitted to the second identification system.

［第４のモデル送信態様］
　第４のモデル送信態様でも、モデル送信部１２２は、学習部１０３がモデル（内部生成モデル）を再学習した場合に、モデル送信部１２２は、そのモデルを第２の識別システムに送信するか否かを判定する。[Fourth Model Transmission Mode]
Also in the fourth model transmission mode, when thelearning unit 103 re-learns a model (internally generated model), themodel transmission unit 122 determines whether themodel transmission unit 122 transmits the model to the second identification system. Is determined.

　第４のモデル送信態様では、モデルが再学習された場合に、所定時間内で、第１の識別部１０６がそのモデルを用いて導出した識別結果（ラベル）の正解率に基づいて、モデル送信部１２２は、モデルを第２の識別システムに送信するか否かを判定する。モデル送信部１２２は、その正解率が予め定められた閾値以上である場合に、再学習されたモデルを第２の識別システムに送信すると判定し、そのモデルを第２の識別システムに送信する。一方、その正解率が閾値未満である場合、モデル送信部１２２は、再学習されたモデルを第２の識別システムに送信しないと判定し、モデルを第２の識別システムに送信しない。In the fourth model transmission mode, when the model is relearned, the model transmission is performed within a predetermined time based on the accuracy rate of the identification result (label) derived by thefirst identification unit 106 using the model. Theunit 122 determines whether to send the model to the second identification system. When the accuracy rate is equal to or greater than a predetermined threshold, themodel transmitting unit 122 determines that the relearned model is to be transmitted to the second identification system, and transmits the model to the second identification system. On the other hand, when the accuracy rate is less than the threshold, themodel transmitting unit 122 determines that the relearned model is not transmitted to the second identification system, and does not transmit the model to the second identification system.

　所定時間内における識別結果（ラベル）の正解率の算出例を説明する。ここでは、決定部１０７が、前述の「第１の決定方法」によって、第２の識別部１１１に識別処理を実行させる画像を決定する場合を例にして説明する。第１の識別部１０６が画像に対するラベルを定めると、決定部１０７は、図５に例示する画面をディスプレイ装置１１５上に表示する。従って、決定部１０７が図５に例示する画面を表示した回数は、第１の識別部１０６が画像に対する識別を行った回数であると言える。そして、表示された画面（図５参照）において、第１ボタン３０４がクリックされた回数は、第１の識別部１０６が導出したラベルが正しかった回数であると言える。モデル送信部１２２は、モデルが再学習された場合に、所定時間内で決定部１０７が図５に例示する画面を表示した回数に対する、第１ボタン３０４がクリックされた回数の割合を計算し、その結果を、正解率とすればよい。そして、モデル送信部１２２は、その正解率と閾値とを比較することによって、前述のように、再学習されたモデルを第２の識別システムに送信するか否かを判定すればよい。An example of calculating the accuracy rate of the identification result (label) within a predetermined time will be described. Here, a case will be described as an example where thedetermination unit 107 determines an image for which the second identification unit 111 performs the identification process by the above-described “first determination method”. When thefirst identification unit 106 determines a label for an image, thedetermination unit 107 displays a screen illustrated in FIG. 5 on thedisplay device 115. Therefore, it can be said that the number of times thedetermination unit 107 has displayed the screen illustrated in FIG. 5 is the number of times thefirst identification unit 106 has identified an image. Then, on the displayed screen (see FIG. 5), the number of times thefirst button 304 is clicked can be said to be the number of times that the label derived by thefirst identification unit 106 is correct. When the model is re-learned, themodel transmission unit 122 calculates the ratio of the number of times thefirst button 304 is clicked to the number of times thedetermination unit 107 displays the screen illustrated in FIG. 5 within a predetermined time, The result may be the correct answer rate. Then, themodel transmission unit 122 may determine whether to transmit the re-learned model to the second identification system as described above by comparing the accuracy rate with the threshold.

　本実施形態において、モデル更新部１２１およびモデル送信部１２２は、例えば、モデル提供プログラムに従って動作するコンピュータ１０２のＣＰＵ（Central Processing Unit ）およびコンピュータ１０２の通信インタフェースによって実現される。例えば、ＣＰＵが、コンピュータ１０２のプログラム記憶装置等のプログラム記録媒体からモデル提供プログラムを読み込み、モデル提供プログラムに従って、通信インタフェースを用いて、モデル更新部１２１およびモデル送信部１２２として動作すればよい。In the present embodiment, themodel updating unit 121 and themodel transmitting unit 122 are realized by, for example, a CPU (Central Processing Unit) of thecomputer 102 operating according to the model providing program and a communication interface of thecomputer 102. For example, the CPU may read the model providing program from a program recording medium such as a program storage device of thecomputer 102 and operate as themodel updating unit 121 and themodel transmitting unit 122 using the communication interface according to the model providing program.

　また、学習部１０３、第１の識別部１０６、決定部１０７、領域修正ＧＵＩ表示制御部１０８、領域抽出部１０９、第２の識別部１１１、表示制御部１１２および統合部１１４は、例えば、モデル提供プログラムに従って動作するコンピュータ１０２のＣＰＵによって実現される。例えば、ＣＰＵが、コンピュータ１０２のプログラム記憶装置等のプログラム記録媒体からモデル提供プログラムを読み込み、モデル提供プログラムに従って、学習部１０３、第１の識別部１０６、決定部１０７、領域修正ＧＵＩ表示制御部１０８、領域抽出部１０９、第２の識別部１１１、表示制御部１１２および統合部１１４として動作すればよい。In addition, thelearning unit 103, thefirst identification unit 106, thedetermination unit 107, the area correction GUIdisplay control unit 108, thearea extraction unit 109, the second identification unit 111, the display control unit 112, and the integration unit 114 This is realized by the CPU of thecomputer 102 that operates according to the provided program. For example, the CPU reads the model providing program from a program recording medium such as a program storage device of thecomputer 102, and according to the model providing program, thelearning unit 103, thefirst identification unit 106, thedetermination unit 107, the area correction GUIdisplay control unit 108 , Theregion extraction unit 109, the second identification unit 111, the display control unit 112, and the integration unit 114.

　また、第１のモデル記憶部１０４、第２のモデル記憶部１１０、属性データ記憶部１１３および結果記憶部１１７は、コンピュータ１０２が備える記憶装置によって実現される。The firstmodel storage unit 104, the second model storage unit 110, the attributedata storage unit 113, and theresult storage unit 117 are realized by a storage device included in thecomputer 102.

　次に、本発明の実施形態の処理経過について説明する。図１２は、カメラ１０１が撮影を行ってから、第２の識別部１１１が画像に対する識別処理を行うまでの処理経過の例を示すフローチャートである。なお、既に説明した動作については、詳細な説明を省略する。Next, the process of the embodiment of the present invention will be described. FIG. 12 is a flowchart illustrating an example of processing progress from the time when thecamera 101 captures an image to the time when the second identification unit 111 performs an identification process on an image. The detailed description of the operation already described is omitted.

　なお、予め、学習部１０３がディープラーニングによって内部生成モデルを学習し、その内部生成モデルを第１のモデル記憶部１０４に記憶させているものとする。Note that it is assumed that thelearning unit 103 has previously learned the internally generated model by deep learning, and has stored the internally generated model in the firstmodel storage unit 104.

　また、モデル更新部１２１は、図３に示す識別システム１００に対して予め定められている複数の第１の識別システムからそれぞれモデルを受信し、そのモデルを、外部生成モデルとして第２のモデル記憶部１１０に記憶させているものとする。すなわち、第２のモデル記憶部１１０は、個々の第１の識別システムで学習されたモデルを、外部生成モデルとして記憶しているものとする。なお、モデル更新部１２１は、第１の識別システムから新たにモデルを受信した場合には、その第１の識別システムで学習されたモデルとして既に第２のモデル記憶部１１０に記憶されているモデルを、新たに受信したモデルに更新すればよい。Themodel updating unit 121 receives a model from each of a plurality of first identification systems predetermined for theidentification system 100 shown in FIG. 3, and stores the model as an externally generated model in a second model storage. It is assumed that the information is stored in the unit 110. That is, it is assumed that the second model storage unit 110 stores the models learned by the individual first identification systems as externally generated models. Note that, when a new model is received from the first identification system, themodel updating unit 121 stores the model already stored in the second model storage unit 110 as a model learned by the first identification system. May be updated to the newly received model.

　まず、カメラ１０１が、そのカメラ１０１の設置場所で撮影を行うことによって、画像を得る（ステップＳ１）。カメラ１０１は、その画像をコンピュータ１０２に送信する。First, thecamera 101 obtains an image by photographing at the installation location of the camera 101 (step S1). Thecamera 101 transmits the image to thecomputer 102.

　コンピュータ１０２の第１の識別部１０６は、データ取得部１０５を介して、その画像を受け取る。そして、第１の識別部１０６は、その画像を内部生成モデルに適用することによって、画像に写っている物体を識別する（ステップＳ２）。ステップＳ２において、第１の識別部１０６は、画像に写っている物体を表わすラベルと、そのラベルの信頼度を導出する。第１の識別部１０６は、画像と、導出したラベルおよび信頼度とを対応付けて結果記憶部１１７に記憶させる。また、第１の識別部１０６は、特定したラベルが「背景」でない場合には、画像に写っている物体を囲む矩形領域を判定する。Thefirst identification unit 106 of thecomputer 102 receives the image via thedata acquisition unit 105. Then, thefirst identification unit 106 identifies the object shown in the image by applying the image to the internally generated model (Step S2). In step S2, thefirst identification unit 106 derives a label representing the object appearing in the image and the reliability of the label. Thefirst identification unit 106 stores the image in theresult storage unit 117 in association with the derived label and reliability. When the specified label is not “background”, thefirst identification unit 106 determines a rectangular area surrounding the object shown in the image.

　次に、決定部１０７は、ステップＳ２で第１の識別部１０６が識別対象とした画像に対して、第２の識別部１１１に識別処理を実行させるか否かを決定する（ステップＳ３）。第２の識別部１１１に識別処理を実行させないと決定した場合には（ステップＳ３のＮｏ）、ステップＳ１以降の処理を繰り返す。Next, thedetermination unit 107 determines whether or not to cause the second identification unit 111 to execute an identification process on the image identified by thefirst identification unit 106 in step S2 (step S3). When it is determined that the second identification unit 111 does not execute the identification processing (No in step S3), the processing after step S1 is repeated.

　第２の識別部１１１に識別処理を実行させると決定した場合には（ステップＳ３のＹｅｓ）、領域修正ＧＵＩ表示制御部１０８が、画像をディスプレイ装置１１５上に表示する。例えば、領域修正ＧＵＩ表示制御部１０８は、図７や図８に例示する画面をディスプレイ装置１１５上に表示する。そして、領域抽出部１０９は、その画面に対するオペレータの操作に応じて、画像に写っている物体を囲む矩形領域を確定し、画像からその矩形領域を抽出する（ステップＳ４）。(4) When it is determined that the second identification unit 111 performs the identification process (Yes in step S3), the area correction GUIdisplay control unit 108 displays an image on thedisplay device 115. For example, the area correction GUIdisplay control unit 108 displays the screens illustrated in FIGS. 7 and 8 on thedisplay device 115. Then, theregion extracting unit 109 determines a rectangular region surrounding the object shown in the image in accordance with the operation of the operator on the screen, and extracts the rectangular region from the image (step S4).

　次に、第２の識別部１１１は、予め第２のモデル記憶部１１０に記憶されている個々の外部生成モデル毎に、ステップＳ４で抽出された矩形領域の画像に写っている物体を識別する（ステップＳ５）。第２の識別部１１１は、個々の外部生成モデル毎に、各ラベル（「自動車」、「オートバイ」、「バス」および「背景」）それぞれの信頼度を導出する。そして、外部生成モデル毎に導出した各ラベルの信頼度を結果記憶部１１７に記憶させる。また、第２の識別部１１１は、個々の外部生成モデル毎に、信頼度が最も高かったラベルと、そのラベルに対応する信頼度の組も、結果記憶部１１７に記憶させる。信頼度が最も高かったラベルは、画像に写っていると判定された物体を表わしている。Next, the second identification unit 111 identifies an object appearing in the image of the rectangular area extracted in step S4 for each of the externally generated models stored in the second model storage unit 110 in advance. (Step S5). The second identification unit 111 derives the reliability of each label (“car”, “motorcycle”, “bus”, and “background”) for each externally generated model. Then, theresult storage unit 117 stores the reliability of each label derived for each externally generated model. In addition, the second identification unit 111 also causes theresult storage unit 117 to store, for each externally generated model, a pair of the label having the highest reliability and the reliability corresponding to the label. The label with the highest reliability indicates an object determined to be present in the image.

　ステップＳ５の後、ステップＳ１以降の処理を繰り返す。(4) After step S5, the processes after step S1 are repeated.

　図１３は、モデル（内部生成モデル）を再学習し、そのモデルを第２の識別システムに送信する場合の処理経過の例を示すフローチャートである。以下の説明においても、既に説明した動作については、詳細な説明を省略する。図１３では、前述の「第１のモデル送信態様」を例にして説明する。FIG. 13 is a flowchart showing an example of processing progress when a model (internally generated model) is re-learned and the model is transmitted to the second identification system. In the following description, a detailed description of the operation already described is omitted. In FIG. 13, the above-described “first model transmission mode” will be described as an example.

　表示制御部１１２は、第１の識別部１０６が導出したラベルおよびそのラベルに対応する信頼度と、第２の識別部１１１が外部生成モデル毎に導出した各ラベルおよびその各ラベルに対応する信頼度とを、画像に重畳した画面を、ディスプレイ装置１１５上に表示する（ステップＳ１１）。このとき、表示制御部１１２は、この画面内に、チェックボックス５０４と、再学習ボタン５０５と、画面切り替えボタン５０６，５０７とを含める。表示制御部１１２は、ステップＳ１１において、例えば、図９に例示する画面を表示する。The display control unit 112 determines the label derived by thefirst identification unit 106 and the reliability corresponding to the label, and the label derived by the second identification unit 111 for each externally generated model and the reliability corresponding to each label. A screen in which the degree is superimposed on the image is displayed on the display device 115 (step S11). At this time, the display control unit 112 includes acheck box 504, are-learning button 505, andscreen switching buttons 506 and 507 in this screen. In step S11, the display control unit 112 displays, for example, a screen illustrated in FIG.

　オペレータは、図９に例示する画面を確認し、表示されている画像３０１（より具体的には、画像３０１において確定している矩形領域３０９の画像）を教師データに含めるか否かを判断する。オペレータは、チェックボックス５０４にチェックを入れることで、表示されている画像３０１を教師データの含めることを指定する。すなわち、チェックボックス５０４にチェックが入れられた画面に表示された画像は、教師データに含める画像として指定された画像である。また、オペレータは、教師データの含める画像を指定した後、再学習ボタン５０５をクリックする。The operator checks the screen illustrated in FIG. 9 and determines whether or not to include the displayed image 301 (more specifically, the image of therectangular area 309 determined in the image 301) in the teacher data. . By checking thecheck box 504, the operator specifies that the displayedimage 301 is to be included in the teacher data. That is, the image displayed on the screen with thecheck box 504 checked is the image specified as the image to be included in the teacher data. After specifying the image to be included in the teacher data, the operator clicks there-learning button 505.

　オペレータによって再学習ボタン５０５がクリックされると、統合部１１４は、基準属性データと、個々の外部生成モデルに対応する個々の属性データとの類似度をそれぞれ算出する（ステップＳ１２）。既に説明したように、属性データはベクトルで表される。統合部１１４は、２つの属性データ（ベクトル）の類似度を算出する場合、その２つのベクトルの距離の逆数を、類似度として算出すればよい。When the operator clicks there-learning button 505, the integration unit 114 calculates the similarity between the reference attribute data and each attribute data corresponding to each externally generated model (step S12). As described above, the attribute data is represented by a vector. When calculating the similarity between two pieces of attribute data (vectors), the integration unit 114 may calculate the reciprocal of the distance between the two vectors as the similarity.

　次に、統合部１１４は、個々の外部生成モデル毎に導出したラベルの信頼度を、ステップＳ１２で算出した各類似度を用いて、統合する。統合部１１４は、この処理をラベル毎に行い、信頼度の統合結果が最も高いラベルを、教師データに含める画像に対するラベルとして特定する（ステップＳ１３）。Next, the integration unit 114 integrates the reliability of the labels derived for each of the externally generated models using the similarities calculated in step S12. The integrating unit 114 performs this process for each label, and identifies the label with the highest reliability integration result as the label for the image to be included in the teacher data (step S13).

　教師データの含める画像がオペレータによって複数指定されている場合には、統合部１１４は、その画像毎に、ステップＳ１３の処理を実行する。(4) When a plurality of images to be included in the teacher data are specified by the operator, the integrating unit 114 executes the process of step S13 for each of the images.

　次に、学習部１０３は、教師データに含める画像において確定している矩形領域を抽出し、その矩形領域の画像と、統合部１１４によって特定されたラベルとの組を既存のデータに含める。そして、学習部１０３は、その教師データを用いて、ディープラーニングによって内部生成モデルを再学習し、再学習によって得た内部生成モデルを第１のモデル記憶部１０４に記憶させる（ステップＳ１４）。学習部１０３は、第１のモデル記憶部１０４に記憶されている既存の内部生成モデルを、再学習によって生成した新たな内部生成モデルに更新する。Next, thelearning unit 103 extracts a determined rectangular area in the image to be included in the teacher data, and includes a set of the image of the rectangular area and the label specified by the integration unit 114 in the existing data. Then, using the teacher data, thelearning unit 103 re-learns the internally generated model by deep learning, and stores the internally generated model obtained by the re-learning in the first model storage unit 104 (step S14). Thelearning unit 103 updates the existing internally generated model stored in the firstmodel storage unit 104 to a new internally generated model generated by re-learning.

　この後、第１の識別部１０６が、画像に写っている物体を識別する場合には、再学習によって生成された新たな内部生成モデルを用いる。Thereafter, when thefirst identification unit 106 identifies an object appearing in the image, thefirst identification unit 106 uses a new internally generated model generated by relearning.

　ステップＳ１４の次に、モデル送信部１２２は、ステップＳ１４で再学習されたモデル（内部生成モデル）を、第２の識別システムに送信する（ステップＳ１５）。各識別システム１００は、同様の構成である。第２の識別システムのモデル更新部１２１は、ステップＳ１５で送信されたモデルを受信すると、第２の識別システム内の第２のモデル記憶部１１０に記憶されているモデルを、受信したモデルに更新する。従って、ステップＳ１５でモデル送信部１２２が第２の識別システムに送信したモデルは、第２の識別システム内で外部生成モデルとして記憶される。(4) After step S14, themodel transmitting unit 122 transmits the model (internally generated model) relearned in step S14 to the second identification system (step S15). Eachidentification system 100 has a similar configuration. Upon receiving the model transmitted in step S15, themodel updating unit 121 of the second identification system updates the model stored in the second model storage unit 110 in the second identification system to the received model. I do. Therefore, the model transmitted by themodel transmitting unit 122 to the second identification system in step S15 is stored as an externally generated model in the second identification system.

　図１３では、「第１のモデル送信態様」を例にして説明した。モデル送信部１２２が、前述の「第２のモデル送信態様」でモデルを第２の識別システムに送信する場合、コンピュータ１０２は、ステップＳ１４で処理を終了してよい。そして、モデル送信部１２２は、ステップＳ１１～Ｓ１４の処理とは別に、定期的に、第１のモデル記憶部１０４に記憶されているモデルを第２の識別システムに送信すればよい。In FIG. 13, the “first model transmission mode” has been described as an example. When themodel transmitting unit 122 transmits the model to the second identification system in the “second model transmitting mode” described above, thecomputer 102 may end the process in step S14. Then, themodel transmission unit 122 may periodically transmit the model stored in the firstmodel storage unit 104 to the second identification system, separately from the processing in steps S11 to S14.

　図１４は、前述の「第３のモデル送信態様」の処理経過の例を示すフローチャートである。ステップＳ１４までの処理は、図１３に示すフローチャートと同様であり、説明を省略する。FIG. 14 is a flowchart showing an example of the processing progress of the above-mentioned “third model transmission mode”. The processing up to step S14 is the same as that in the flowchart shown in FIG. 13, and a description thereof will be omitted.

　ステップＳ１４の後、第１の識別部１０６は、チェックボックス５０４にチェックが入れられた画面内に表示された画像（図９参照）のラベルを、ステップＳ１４で再学習された内部生成モデルを用いて導出する（ステップＳ２１）。チェックボックス５０４にチェックが入れられた画面内に表示された画像は、教師データに含めることがオペレータによって指定された画像である。After step S14, thefirst identification unit 106 uses the label of the image (see FIG. 9) displayed in the screen with thecheck box 504 checked, using the internally generated model relearned in step S14. (Step S21). The image displayed on the screen with thecheck box 504 checked is an image specified by the operator to be included in the teacher data.

　次に、モデル送信部１２２は、ステップＳ２１で導出されたラベルと、同一画像に対して統合部１１４がステップＳ１３（図１３参照）で特定したラベルとが一致するか否かを判定する（ステップＳ２２）。Next, themodel transmission unit 122 determines whether or not the label derived in step S21 matches the label identified by the integration unit 114 in step S13 (see FIG. 13) for the same image (step S21). S22).

　２つのラベルが一致する場合（ステップＳ２２のＹｅｓ）、モデル送信部１２２は、ステップＳ１４（図１３参照）で再学習されたモデル（内部生成モデル）を第２の識別システムに送信すると判定し、そのモデルを第２の識別システムに送信する（ステップＳ２３）。If the two labels match (Yes in step S22), themodel transmitting unit 122 determines that the model (internally generated model) retrained in step S14 (see FIG. 13) is to be transmitted to the second identification system, The model is transmitted to the second identification system (Step S23).

　また、２つのラベルが一致しない場合（ステップＳ２２のＮｏ）、モデル送信部１２２は、ステップＳ１４で再学習されたモデルを第２の識別システムに送信しないと判定し、処理を終了する。If the two labels do not match (No in step S22), themodel transmitting unit 122 determines that the model re-learned in step S14 is not to be transmitted to the second identification system, and ends the process.

　図１５は、前述の「第４のモデル送信態様」の処理経過の例を示すフローチャートである。ステップＳ１４までの処理は、図１３に示すフローチャートと同様であり、説明を省略する。FIG. 15 is a flowchart showing an example of the processing progress of the “fourth model transmission mode” described above. The processing up to step S14 is the same as that in the flowchart shown in FIG. 13, and a description thereof will be omitted.

　ステップＳ１４の後、モデル送信部１２２は、所定時間内における、再学習されたモデル（内部生成モデル）を用いた場合の画像の識別結果の正解率を算出する（ステップＳ３１）。この正解率の算出例については既に説明しているので、ここでは、説明を省略する。の 後 After step S14, themodel transmission unit 122 calculates the correct answer rate of the image identification result when the re-learned model (internally generated model) is used within a predetermined time (step S31). Since the calculation example of the correct answer rate has already been described, the description is omitted here.

　次に、モデル送信部１２２は、ステップＳ３１で算出した正解率が、予め定められた閾値以上であるか否かを判定する（ステップＳ３２）。Next, themodel transmitting unit 122 determines whether or not the correct answer rate calculated in step S31 is equal to or greater than a predetermined threshold (step S32).

　正解率が閾値以上である場合（ステップＳ３２のＹｅｓ）、モデル送信部１２２は、ステップＳ１４（図１３参照）で再学習されたモデル（内部生成モデル）を第２の識別システムに送信すると判定し、そのモデルを第２の識別システムに送信する（ステップＳ３３）。When the correct answer rate is equal to or higher than the threshold (Yes in step S32), themodel transmitting unit 122 determines that the model (internally generated model) retrained in step S14 (see FIG. 13) is to be transmitted to the second identification system. , And transmits the model to the second identification system (step S33).

　また、正解率が閾値未満である場合（ステップＳ３２のＮｏ）、モデル送信部１２２は、ステップＳ１４で再学習されたモデルを第２の識別システムに送信しないと判定し、処理を終了する。If the accuracy rate is less than the threshold (No in step S32), themodel transmitting unit 122 determines that the model re-learned in step S14 is not transmitted to the second identification system, and ends the process.

　本実施形態によれば、決定部１０７は、前述の第１の決定方法、第２の決定方法および第３の決定方法のうちの少なくとも１つの方法で、第１の識別部１０６が識別処理の対象とした画像に対して、第２の識別部１１１に識別処理を実行させるか否かを決定する。従って、第２の識別部１１１によって識別処理が行われる画像は、第１の識別部１０６によって定められたラベルが誤りであった画像、画像に対して定められたラベルに対応する信頼度が閾値以下であった画像、または、第１の識別部１０６によって定められたラベルが「背景」であるにも関わらず、物体（「自動車」、「オートバイ」または「バス」）が写っている画像である。本実施形態では、このような画像を、内部生成モデルとは異なるモデル（より具体的には、着目している識別システム１００に対して予め定められている第１の識別システムで生成されたモデル（外部生成モデル））に適用した結果に基づいて特定されるラベルと、その画像との組を、既存の教師データに追加して、学習部１０３が内部生成モデルを再学習する。従って、内部生成モデルの識別精度を向上させることができる。According to the present embodiment, thedetermination unit 107 determines that thefirst identification unit 106 performs the identification process by at least one of the first determination method, the second determination method, and the third determination method described above. It is determined whether or not to cause the second identification unit 111 to execute the identification processing on the target image. Therefore, the image for which the identification processing is performed by the second identification unit 111 is an image in which the label determined by thefirst identification unit 106 is incorrect, and the reliability corresponding to the label determined for the image is a threshold. The following image or an image in which an object (“automobile”, “motorcycle” or “bus”) is captured despite the label determined by thefirst identification unit 106 being “background” is there. In the present embodiment, such an image is generated by using a model different from the internally generated model (more specifically, a model generated by a first identification system predetermined for theidentification system 100 of interest. (Externally generated model)), a pair of a label specified based on the result of applying the image and the image is added to the existing teacher data, and thelearning unit 103 re-learns the internally generated model. Therefore, the identification accuracy of the internally generated model can be improved.

　そして、モデル送信部１２２は、学習部１０３によって学習されたモデルを、例えば、前述の第１のモデル送信態様、第２のモデル送信態様、第３のモデル送信態様、または、第４のモデル送信態様等で、予め定められている第２の識別システムに送信する。第２の識別システムにおいて、モデル更新部１２１は、受信したモデルを、外部生成モデルとして第２のモデル記憶部１１０に記憶させる。従って、個々の識別システム１００は、自身のモデルの識別精度を向上させるように、自身のモデルを学習し直すことができ、また、他の識別システム１００のモデルの識別精度向上に寄与することができる。Then, themodel transmitting unit 122 transmits the model learned by thelearning unit 103 to, for example, the first model transmitting mode, the second model transmitting mode, the third model transmitting mode, or the fourth model transmitting mode. In a mode or the like, the data is transmitted to a predetermined second identification system. In the second identification system, themodel updating unit 121 stores the received model in the second model storage unit 110 as an externally generated model. Therefore, eachidentification system 100 can relearn its own model so as to improve the identification accuracy of its own model, and can contribute to the improvement of the identification accuracy of the models ofother identification systems 100. it can.

　次に、本発明の実施形態の種々の変形例について説明する。Next, various modifications of the embodiment of the present invention will be described.

　上記の実施形態では、図７や図８に例示する画面に対するオペレータの操作に応じて、領域抽出部１０９が、画像に写っている物体を囲む矩形領域を確定し、画像からその矩形領域を抽出する。そして、第２の識別部１１１が、外部生成モデル毎に、抽出された矩形領域の画像に写っている物体を識別する。第２の識別部１１１は、抽出された矩形領域の画像ではなく、第１の識別部１０６が処理対象とした１つの画像全体を対象にして、画像に写っている物体を識別する処理を行ってもよい。この場合、識別システム１００（図３参照）は、領域修正ＧＵＩ表示制御部１０８および領域抽出部１０９を備えていなくてもよい。そして、識別システム１００は、ステップＳ４（図１２参照）を実行しなくてもよい。第２の識別部１１１は、ステップ５において、第１の識別部１０６が処理対象とした１つの画像全体を対象にして、画像に写っている物体を識別すればよい。In the above embodiment, in response to an operator's operation on the screens illustrated in FIGS. 7 and 8, theregion extracting unit 109 determines a rectangular region surrounding the object shown in the image, and extracts the rectangular region from the image. I do. Then, the second identification unit 111 identifies an object appearing in the extracted image of the rectangular area for each externally generated model. The second identification unit 111 performs a process of identifying an object appearing in the image not on the extracted image of the rectangular area but on the entire one image that has been processed by thefirst identification unit 106. You may. In this case, the identification system 100 (see FIG. 3) does not have to include the area correction GUIdisplay control unit 108 and thearea extraction unit 109. And theidentification system 100 does not need to perform step S4 (see FIG. 12). The second identification unit 111 only needs to identify an object in the image in step 5 with respect to one entire image processed by thefirst identification unit 106.

　また、学習部１０３は、１つの画像全体と、統合部１１４が特定したラベルとの組を、既存の教師データに含め、その教師データを用いて、内部生成モデルを再学習すればよい。{Circle around (1)} Thelearning unit 103 only needs to include the entire set of one image and the label specified by the integration unit 114 in existing teacher data, and re-learn the internally generated model using the teacher data.

　また、学習部１０３は、画像と統合部１１４によって特定されたラベルとの組、および、既存の内部生成モデルを教師データとして、ディープラーニングによって内部生成モデルを再学習してもよい。Thelearning unit 103 may re-learn an internally generated model by deep learning using a set of an image and a label specified by the integration unit 114 and an existing internally generated model as teacher data.

　また、第２のモデル記憶部１１０が、１つの外部生成モデルを記憶していてもよい。この場合、学習部１０３は、画像と、第２の識別部１１１で導出された、信頼度が最も高いラベルとの組を、既存の教師データに含め、その教師データを用いて、内部生成モデルを再学習すればよい。{Circle around (2)} The second model storage unit 110 may store one externally generated model. In this case, thelearning unit 103 includes the pair of the image and the label with the highest reliability derived by the second identification unit 111 in the existing teacher data, and uses the teacher data to generate the internally generated model. Should be re-learned.

　図１６は、本発明の実施形態やその変形例における識別システム１００が備えるコンピュータ１０２の構成例を示す概略ブロック図である。図１６では、コンピュータを符号“１０００”で表す。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５と、入力デバイス１００６と、通信インタフェース１００７と、データ収集部１０１（例えば、カメラ）とのインタフェース１００８とを備える。FIG. 16 is a schematic block diagram illustrating a configuration example of acomputer 102 included in anidentification system 100 according to an embodiment of the present invention or a modified example thereof. In FIG. 16, a computer is represented by a reference numeral “1000”. Thecomputer 1000 includes an interface between aCPU 1001, amain storage device 1002, anauxiliary storage device 1003, aninterface 1004, adisplay device 1005, aninput device 1006, acommunication interface 1007, and a data collection unit 101 (for example, a camera). 1008.

　識別システム１００が備えるコンピュータの動作は、モデル提供プログラムの形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、そのモデル提供プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開する。そして、ＣＰＵ１００１は、そのモデル提供プログラムに従って、上記の実施形態やその変形例におけるコンピュータ１０２（図３を参照）の処理を実行する。The operation of the computer included in theidentification system 100 is stored in theauxiliary storage device 1003 in the form of a model providing program. TheCPU 1001 reads the model providing program from theauxiliary storage device 1003 and expands the program on themain storage device 1002. Then, theCPU 1001 executes the processing of the computer 102 (see FIG. 3) in the above-described embodiment and its modifications according to the model providing program.

　補助記憶装置１００３は、一時的でない有形の媒体の例である。一時的でない有形の媒体の他の例として、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory ）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory ）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００がそのプログラムを主記憶装置１００２に展開し、上記の処理を実行してもよい。Theauxiliary storage device 1003 is an example of a non-transitory tangible medium. Other examples of non-transitory tangible media include a magnetic disk, a magneto-optical disk, a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only Memory) connected via theinterface 1004, A semiconductor memory and the like are included. When the program is distributed to thecomputer 1000 via a communication line, thecomputer 1000 that has received the program may load the program into themain storage device 1002 and execute the above processing.

　また、プログラムは、実施形態やその変形例における示したコンピュータ１０２の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで前述の処理を実現する差分プログラムであってもよい。The program may be for realizing a part of the processing of thecomputer 102 shown in the embodiment and its modified example. Furthermore, the program may be a difference program that implements the above-described processing in combination with another program already stored in theauxiliary storage device 1003.

　また、各構成要素の一部または全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。{Some or all of the components may be realized by a general-purpose or dedicated circuit (processor), a processor, or a combination thereof. These may be configured by a single chip, or may be configured by a plurality of chips connected via a bus. Some or all of the components may be realized by a combination of the above-described circuit and the like and a program.

　各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。When a part or all of each component is realized by a plurality of information processing devices, circuits, and the like, the plurality of information processing devices, circuits, and the like may be centrally arranged or may be distributed. For example, the information processing device, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client and server system or a cloud computing system.

　次に、本発明の概要について説明する。図１７は、本発明の識別システムの概要を示すブロック図である。本発明の識別システムは、学習手段７０１と、第１のモデル記憶手段７０２と、第１の識別手段７０３と、第２のモデル記憶手段７０４と、モデル更新手段７０５と、第２の識別手段７０６と、モデル送信手段７０７とを備える。Next, the outline of the present invention will be described. FIG. 17 is a block diagram showing an outline of the identification system of the present invention. The identification system according to the present invention includes alearning unit 701, a firstmodel storage unit 702, afirst identification unit 703, a secondmodel storage unit 704, amodel update unit 705, and asecond identification unit 706. And amodel transmitting unit 707.

　学習手段７０１（例えば、学習部１０３）は、データ（例えば、画像）が表わす物体を識別するためのモデルを、教師データを用いて学習する。The learning unit 701 (for example, the learning unit 103) learns a model for identifying an object represented by data (for example, an image) using teacher data.

　第１のモデル記憶手段７０２（第１のモデル記憶部１０４）は、学習手段７０１によって学習されたモデルを記憶する。The first model storage unit 702 (first model storage unit 104) stores the model learned by thelearning unit 701.

　第１の識別手段７０３（例えば、第１の識別部１０６）は、学習手段７０１によって学習されたモデルを用いて、データが表わす物体を識別する。The first identification unit 703 (for example, the first identification unit 106) identifies an object represented by data using the model learned by thelearning unit 701.

　第２のモデル記憶手段７０４（例えば、第２のモデル記憶部１１０）は、予め定められた複数の第１の識別システムで学習された個々のモデルをそれぞれ記憶する。The second model storage unit 704 (for example, the second model storage unit 110) stores the individual models learned by the plurality of first identification systems determined in advance.

　モデル更新手段７０５（例えば、モデル更新部１２１）は、第１の識別システムから当該第１の識別システムで学習されたモデルを受信した場合に、第２のモデル記憶手段７０４に記憶されているその第１の識別システムで学習されたモデルを、その第１の識別システムから受信したモデルに更新する。When the model updating unit 705 (for example, the model updating unit 121) receives a model learned by the first identification system from the first identification system, themodel updating unit 705 stores the model stored in the secondmodel storage unit 704. The model learned by the first identification system is updated to the model received from the first identification system.

　第２の識別手段７０６（例えば、第２の識別部１１１）は、所定の場合に、第２のモデル記憶手段７０４に記憶されている個々のモデル毎に、第１の識別手段７０３が識別対象としたデータが表わす物体を識別する。In a predetermined case, the second identification unit 706 (for example, the second identification unit 111) determines whether thefirst identification unit 703 is an identification target for each model stored in the secondmodel storage unit 704. The object represented by the set data is identified.

　学習手段７０１は、第２の識別手段７０６が導出した識別結果に基づいて定まるデータに対するラベルと、そのデータとを含む教師データを用いて、モデルを再学習し、第１のモデル記憶手段７０２に記憶されているモデルを再学習したモデルに更新する。The learning means 701 re-learns the model using the label for the data determined based on the identification result derived by the second identification means 706 and the teacher data including the data, and stores the model in the first model storage means 702. Update the stored model with the retrained model.

　モデル送信手段７０７（例えば、モデル送信部１２２）は、学習手段７０１によって学習されたモデルを、予め定められた１つまたは複数の第２の識別システムに送信する。The model transmitting unit 707 (for example, the model transmitting unit 122) transmits the model learned by thelearning unit 701 to one or a plurality of predetermined second identification systems.

　そのような構成によって、本発明の識別システムは、自身のモデルの識別精度を向上させるように、自身のモデルを学習し直すことができ、また、他の識別システムのモデルの識別精度向上に寄与することができる。With such a configuration, the identification system of the present invention can re-learn its own model so as to improve the identification accuracy of its own model, and also contributes to the improvement of the identification accuracy of the models of other identification systems. can do.

　モデル送信手段７０７が、学習手段７０１がモデルを再学習した場合に、当該モデルを第２の識別システムに送信する構成であってもよい。The model transmitting means 707 may be configured to transmit the model to the second identification system when the learning means 701 re-learns the model.

　モデル送信手段７０７が、定期的に、第１のモデル記憶手段７０２に記憶されているモデルを第２の識別システムに送信する構成であってもよい。Themodel transmitting unit 707 may periodically transmit the model stored in the firstmodel storing unit 702 to the second identification system.

　第２の識別手段７０６が第２のモデル記憶手段７０４に記憶されている個々のモデル毎に導出した識別結果を統合することによって、第１の識別手段７０３が識別対象としたデータに対するラベルを特定する統合手段（例えば、統合部１１４）を備え、学習手段７０１が、統合手段によって特定されたラベルと、そのデータとを含む教師データを用いて、モデルを再学習し、モデル送信手段７０７が、第１の識別手段７０３が再学習されたモデルを用いて導出したそのデータの識別結果と、統合手段によって特定されたそのデータに対するラベルとが一致する場合に、再学習されたモデルを第２の識別システムに送信する構成であってもよい。Thesecond identification unit 706 integrates the identification results derived for each model stored in the secondmodel storage unit 704 to identify the label for the data to be identified by thefirst identification unit 703. Thelearning unit 701 re-learns the model using the teacher data including the label specified by the integrating unit and the data, and themodel transmitting unit 707 performs When the identification result of the data derived by the first identifying means 703 using the relearned model matches the label for the data identified by the integrating means, the relearned model is assigned to the second learning means. It may be configured to transmit to the identification system.

　モデル送信手段７０７が、学習手段７０１がモデルを再学習した場合に、所定時間内で、第１の識別手段７０３がそのモデルを用いて導出した識別結果の正解率が、予め定められた閾値以上である場合に、そのモデルを第２の識別システムに送信する構成であってもよい。When thelearning unit 701 re-learns the model, themodel transmission unit 707 determines that the accuracy rate of the identification result derived by thefirst identification unit 703 using the model within a predetermined time period is equal to or greater than a predetermined threshold value. , The model may be transmitted to the second identification system.

　以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。Although the present invention has been described with reference to the exemplary embodiments, the present invention is not limited to the above exemplary embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.

産業上の利用の可能性Industrial applicability

　本発明は、データをモデルに適用することによって、そのデータが表わす物体を識別する識別システムに好適に適用される。The present invention is suitably applied to an identification system that identifies an object represented by data by applying the data to a model.

　１００　識別システム
　１０１　データ収集部
　１０２　コンピュータ
　１０３　学習部
　１０４　第１のモデル記憶部
　１０５　データ取得部
　１０６　第１の識別部
　１０７　決定部
　１０８　領域修正ＧＵＩ表示制御部
　１０９　領域抽出部
　１１０　第２のモデル記憶部
　１１１　第２の識別部
　１１２　表示制御部
　１１３　属性データ記憶部
　１１４　統合部
　１１５　ディスプレイ装置
　１１６　マウス
　１１７　結果記憶部
　１２１　モデル更新部
　１２２　モデル送信部REFERENCE SIGNSLIST 100identification system 101data collection unit 102computer 103learning unit 104 firstmodel storage unit 105data acquisition unit 106first identification unit 107determination unit 108 region correction GUIdisplay control unit 109 region extraction unit 110 second model storage unit 111 second identification unit 112display control unit 113 attribute data storage unit 114integration unit 115display device 116mouse 117result storage unit 121model update unit 122 model transmission unit

Claims (7)

Translated fromJapanese

　データが表わす物体を識別するためのモデルを、教師データを用いて学習する学習手段と、
　前記学習手段によって学習された前記モデルを記憶する第１のモデル記憶手段と、
　前記学習手段によって学習された前記モデルを用いて、データが表わす物体を識別する第１の識別手段と、
　予め定められた複数の第１の識別システムで学習された個々のモデルをそれぞれ記憶する第２のモデル記憶手段と、
　前記第１の識別システムから当該第１の識別システムで学習されたモデルを受信した場合に、前記第２のモデル記憶手段に記憶されている前記第１の識別システムで学習されたモデルを、前記第１の識別システムから受信したモデルに更新するモデル更新手段と、
　所定の場合に、前記第２のモデル記憶手段に記憶されている個々のモデル毎に、前記第１の識別手段が識別対象とした前記データが表わす物体を識別する第２の識別手段とを備え、
　前記学習手段は、
　前記第２の識別手段が導出した識別結果に基づいて定まる前記データに対するラベルと、前記データとを含む教師データを用いて、モデルを再学習し、前記第１のモデル記憶手段に記憶されているモデルを再学習したモデルに更新し、
　前記学習手段によって学習されたモデルを、予め定められた１つまたは複数の第２の識別システムに送信するモデル送信手段を備える
　ことを特徴とする識別システム。Learning means for learning a model for identifying an object represented by the data using the teacher data;
First model storage means for storing the model learned by the learning means;
A first identification unit that identifies an object represented by data using the model learned by the learning unit;
Second model storage means for storing individual models learned by a plurality of predetermined first identification systems, respectively;
When a model learned by the first identification system is received from the first identification system, the model learned by the first identification system stored in the second model storage means is received. Model updating means for updating to a model received from the first identification system;
A second identification unit that identifies an object represented by the data that has been identified by the first identification unit for each individual model stored in the second model storage unit in a predetermined case. ,
The learning means,
Using a label for the data determined based on the identification result derived by the second identification unit and teacher data including the data, a model is re-learned and stored in the first model storage unit. Update the model to the retrained model,
An identification system comprising: a model transmission unit that transmits a model learned by the learning unit to one or more predetermined second identification systems.　モデル送信手段は、
　学習手段がモデルを再学習した場合に、当該モデルを第２の識別システムに送信する
　請求項１に記載の識別システム。The model transmission means
The identification system according to claim 1, wherein when the learning unit re-learns the model, the learning unit transmits the model to the second identification system.　モデル送信手段は、
　定期的に、第１のモデル記憶手段に記憶されているモデルを第２の識別システムに送信する
　請求項１に記載の識別システム。The model transmission means
The identification system according to claim 1, wherein the model stored in the first model storage unit is periodically transmitted to the second identification system.　第２の識別手段が第２のモデル記憶手段に記憶されている個々のモデル毎に導出した識別結果を統合することによって、第１の識別手段が識別対象としたデータに対するラベルを特定する統合手段を備え、
　学習手段は、
　前記統合手段によって特定されたラベルと、前記データとを含む教師データを用いて、モデルを再学習し、
　モデル送信手段は、
　前記第１の識別手段が再学習された前記モデルを用いて導出した前記データの識別結果と、前記統合手段によって特定された前記データに対するラベルとが一致する場合に、再学習された前記モデルを第２の識別システムに送信する
　請求項１に記載の識別システム。An integrating means for specifying a label for data identified by the first identifying means by integrating the identification results derived for each model stored in the second model storing means by the second identifying means; With
The learning means is
Using the label specified by the integrating means and teacher data including the data, re-learning the model,
The model transmission means
When the identification result of the data derived using the model re-learned by the first identification unit matches the label for the data specified by the integration unit, the re-learned model is The identification system according to claim 1, wherein the identification system is transmitted to a second identification system.　モデル送信手段は、
　学習手段がモデルを再学習した場合に、所定時間内で、第１の識別手段が前記モデルを用いて導出した識別結果の正解率が、予め定められた閾値以上である場合に、前記モデルを第２の識別システムに送信する
　請求項１に記載の識別システム。The model transmission means
When the learning unit re-learns the model, if the accuracy rate of the identification result derived by the first identification unit using the model within a predetermined time is equal to or greater than a predetermined threshold, the model is The identification system according to claim 1, wherein the identification system is transmitted to a second identification system.　データが表わす物体を識別するためのモデルを、教師データを用いて学習し、前記モデルを第１のモデル記憶手段に記憶させ、
　前記第１のモデル記憶手段に記憶されている前記モデルを用いて、データが表わす物体を識別する第１の識別処理を実行し、
　予め定められた複数の第１の識別システムで学習された個々のモデルをそれぞれ第２のモデル記憶手段に記憶させ、
　前記第１の識別システムから当該第１の識別システムで学習されたモデルを受信した場合に、前記第２のモデル記憶手段に記憶されている前記第１の識別システムで学習されたモデルを、前記第１の識別システムから受信したモデルに更新し、
　所定の場合に、前記第２のモデル記憶手段に記憶されている個々のモデル毎に、前記第１の識別処理で識別対象とした前記データが表わす物体を識別する第２の識別処理を実行し、
　前記第２の識別処理で導出した識別結果に基づいて定まる前記データに対するラベルと、前記データとを含む教師データを用いて、モデルを再学習し、前記第１のモデル記憶手段に記憶されているモデルを再学習したモデルに更新し、
　前記第１のモデル記憶手段に記憶されているモデルを、予め定められた１つまたは複数の第２の識別システムに送信する
　ことを特徴とするモデル提供方法。Learning a model for identifying an object represented by the data using the teacher data, storing the model in first model storage means,
Executing a first identification process for identifying an object represented by data using the model stored in the first model storage means;
Individual models learned by a plurality of predetermined first identification systems are stored in second model storage means, respectively.
When a model learned by the first identification system is received from the first identification system, the model learned by the first identification system stored in the second model storage means is received. Update to the model received from the first identification system,
In a predetermined case, for each individual model stored in the second model storage means, a second identification process for identifying an object represented by the data to be identified in the first identification process is executed. ,
Using a label for the data determined based on the identification result derived in the second identification process and teacher data including the data, the model is re-learned and stored in the first model storage means. Update the model to the retrained model,
A model providing method, comprising: transmitting a model stored in the first model storage unit to one or more predetermined second identification systems.　コンピュータに、
　データが表わす物体を識別するためのモデルを、教師データを用いて学習し、前記モデルを第１のモデル記憶手段に記憶させる学習処理、
　前記第１のモデル記憶手段に記憶されている前記モデルを用いて、データが表わす物体を識別する第１の識別処理、
　予め定められた複数の第１の識別システムで学習された個々のモデルをそれぞれ第２のモデル記憶手段に記憶させる処理、
　前記第１の識別システムから当該第１の識別システムで学習されたモデルを受信した場合に、前記第２のモデル記憶手段に記憶されている前記第１の識別システムで学習されたモデルを、前記第１の識別システムから受信したモデルに更新するモデル更新処理、
　所定の場合に、前記第２のモデル記憶手段に記憶されている個々のモデル毎に、前記第１の識別処理で識別対象とした前記データが表わす物体を識別する第２の識別処理、
　前記第２の識別処理で導出した識別結果に基づいて定まる前記データに対するラベルと、前記データとを含む教師データを用いて、モデルを再学習し、前記第１のモデル記憶手段に記憶されているモデルを再学習したモデルに更新する再学習処理、および、
　前記第１のモデル記憶手段に記憶されているモデルを、予め定められた１つまたは複数の第２の識別システムに送信するモデル送信処理
　を実行させるためのモデル提供プログラム。On the computer,
A learning process of learning a model for identifying an object represented by the data using teacher data, and storing the model in a first model storage unit;
A first identification process for identifying an object represented by data using the model stored in the first model storage means;
A process of storing the individual models learned by the predetermined plurality of first identification systems in the second model storage means,
When a model learned by the first identification system is received from the first identification system, the model learned by the first identification system stored in the second model storage means is received. A model update process for updating the model received from the first identification system,
In a predetermined case, for each model stored in the second model storage means, a second identification process for identifying an object represented by the data set as an identification target in the first identification process;
Using a label for the data determined based on the identification result derived in the second identification process and teacher data including the data, a model is re-learned and stored in the first model storage unit. A re-learning process that updates the model to the re-learned model, and
A model providing program for executing a model transmission process of transmitting a model stored in the first model storage unit to one or more predetermined second identification systems.

Images