WO2018179338A1 - Machine learning device and image recognition device - Google Patents

Abstract

A machine learning device is provided with: a binary image conversion unit (3) for converting a learning image into a binary image; a feature amount extraction unit (5) having a first neural network for accepting the learning image as an input and outputting a feature amount of the learning image; and an image reconstruction unit (6) having a second neural network for accepting the feature amount output from the first neural network as an input and outputting a reconstructed image. A parameter update unit (7) updates a parameter of the first neural network and a parameter of the second neural network in accordance with a difference between the reconstructed image output from the second neural network and the binary image converted by the binary image conversion unit (3).

Description

Translated fromJapanese

機械学習装置及び画像認識装置Machine learning device and image recognition device

　この発明は、学習画像を入力して、学習画像の特徴量を出力するニューラルネットワークのパラメータを更新する機械学習装置と、認識対象画像と類似している登録画像を検索する画像認識装置とに関するものである。The present invention relates to a machine learning device that inputs a learning image and outputs a feature value of the learning image and updates a neural network parameter, and an image recognition device that searches for a registered image similar to a recognition target image. It is.

　画像を分類する機械学習を実施することで、画像の特徴量を抽出するモデルのパラメータを更新する機械学習装置が以下の非特許文献１に開示されている。
　この機械学習装置は、教師あり学習手法を利用する装置であるため、教師データを使用して、機械学習を実施する。Non-PatentDocument 1 below discloses a machine learning device that updates a parameter of a model for extracting a feature amount of an image by performing machine learning for classifying images.
Since this machine learning device is a device that uses a supervised learning method, machine learning is performed using teacher data.

Han, Xufeng, et al. “Matchnet: Unifying feature and metric learning for patch-based matching.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015.Han, Xufeng, et al. “Matchnet: netUnifying feature and metric learning for patch-based matching.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015.

　従来の機械学習装置は以上のように構成されているので、機械学習を実施する際に、大量の教師データを収集する必要がある。このため、大量の教師データを収集することが困難である場合、画像の特徴量を抽出するモデルのパラメータを更新して最適化することができない。その結果、モデルにより抽出される特徴量の精度が劣化してしまうことがあるという課題があった。Since the conventional machine learning apparatus is configured as described above, it is necessary to collect a large amount of teacher data when performing machine learning. For this reason, when it is difficult to collect a large amount of teacher data, it is not possible to update and optimize the parameters of the model for extracting the feature amount of the image. As a result, there is a problem that the accuracy of the feature amount extracted by the model may be deteriorated.

　この発明は上記のような課題を解決するためになされたもので、教師データを用いることなく、学習画像を入力して、学習画像の特徴量を出力するニューラルネットワークのパラメータを更新することができる機械学習装置を得ることを目的とする。
　また、この発明は、機械学習装置によりパラメータが更新されたニューラルネットワークを用いて、認識対象画像と類似している登録画像を検索することができる画像認識装置を得ることを目的とする。The present invention has been made to solve the above-described problems, and can update the parameters of a neural network that inputs a learning image and outputs a feature amount of the learning image without using teacher data. The purpose is to obtain a machine learning device.
Another object of the present invention is to obtain an image recognition device that can search for a registered image similar to a recognition target image using a neural network whose parameters are updated by a machine learning device.

　この発明に係る機械学習装置は、学習対象の画像である学習画像を二値画像に変換する二値画像変換部と、学習画像を入力して、学習画像の特徴量を出力する第１のニューラルネットワークを有する特徴量抽出部と、第１のニューラルネットワークから出力された特徴量を入力して、学習画像を二値画像として再構築した画像である再構築画像を出力する第２のニューラルネットワークを有する画像再構築部とを設け、パラメータ更新部が、第２のニューラルネットワークから出力された再構築画像と、二値画像変換部により変換された二値画像との差分に従って第１のニューラルネットワークのパラメータ及び第２のニューラルネットワークのパラメータのそれぞれを更新するようにしたものである。The machine learning device according to the present invention includes a binary image conversion unit that converts a learning image, which is a learning target image, into a binary image, and a first neural that inputs the learning image and outputs a feature amount of the learning image. A feature amount extraction unit having a network and a second neural network that inputs a feature amount output from the first neural network and outputs a reconstructed image that is an image reconstructed from a learning image as a binary image An image reconstructing unit, and the parameter updating unit includes a first neural network according to a difference between the reconstructed image output from the second neural network and the binary image converted by the binary image converting unit. Each of the parameter and the parameter of the second neural network is updated.

　この発明によれば、学習画像を二値画像に変換する二値画像変換部と、学習画像を入力して、学習画像の特徴量を出力する第１のニューラルネットワークを有する特徴量抽出部と、第１のニューラルネットワークから出力された特徴量を入力して、再構築画像を出力する第２のニューラルネットワークを有する画像再構築部とを設け、パラメータ更新部が、第２のニューラルネットワークから出力された再構築画像と、二値画像変換部により変換された二値画像との差分に従って第１のニューラルネットワークのパラメータ及び第２のニューラルネットワークのパラメータのそれぞれを更新するように構成したので、教師データを用いることなく、学習画像を入力して、学習画像の特徴量を出力する第１のニューラルネットワークのパラメータを更新することができる効果がある。According to the present invention, a binary image conversion unit that converts a learning image into a binary image, a feature amount extraction unit that includes a first neural network that inputs the learning image and outputs the feature amount of the learning image, An image reconstruction unit having a second neural network that inputs a feature amount output from the first neural network and outputs a reconstructed image is provided, and a parameter update unit is output from the second neural network. Since each of the first neural network parameter and the second neural network parameter is updated according to the difference between the reconstructed image and the binary image converted by the binary image conversion unit, the teacher data Without using the parameter of the first neural network that inputs the learning image and outputs the feature amount of the learning image. There is an advantage of being able to update the data.

この発明の実施の形態１による機械学習装置を示す構成図である。It is a block diagram which shows the machine learning apparatus by Embodiment 1 of this invention.この発明の実施の形態１による機械学習装置を示すハードウェア構成図である。It is a hardware block diagram which shows the machine learning apparatus by Embodiment 1 of this invention.機械学習装置がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。It is a hardware block diagram of a computer in case a machine learning apparatus is implement | achieved by software or firmware.この発明の実施の形態１による画像認識装置を示す構成図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a block diagram which shows the image recognition apparatus byEmbodiment 1 of this invention.この発明の実施の形態１による画像認識装置を示すハードウェア構成図である。It is a hardware block diagram which shows the image recognition apparatus by Embodiment 1 of this invention.画像認識装置がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。FIG. 2 is a hardware configuration diagram of a computer when the image recognition apparatus is realized by software or firmware.この発明の実施の形態１による機械学習装置のサンプリング部２における処理内容を示すフローチャートである。It is a flowchart which shows the processing content in thesampling part 2 of the machine learning apparatus by Embodiment 1 of this invention.この発明の実施の形態１による機械学習装置の画像生成部４における処理内容を示すフローチャートである。It is a flowchart which shows the processing content in the image generation part 4 of the machine learning apparatus by Embodiment 1 of this invention.特徴量抽出部５が有している第１のニューラルネットワークの構成例を示す説明図である。It is explanatory drawing which shows the structural example of the 1st neural network which the feature-value extraction part 5 has.畳み込み層における畳み込み処理を示す説明図である。It is explanatory drawing which shows the convolution process in a convolution layer.プーリング層におけるプーリング処理を示す説明図である。It is explanatory drawing which shows the pooling process in a pooling layer.画像再構築部６が有している第２のニューラルネットワークの構成例を示す説明図である。It is explanatory drawing which shows the structural example of the 2nd neural network which theimage reconstruction part 6 has.逆プーリング層における逆プーリング処理を示す説明図である。It is explanatory drawing which shows the reverse pooling process in a reverse pooling layer.

　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。Hereinafter, in order to explain the present invention in more detail, modes for carrying out the present invention will be described with reference to the accompanying drawings.

実施の形態１．
　図１は、この発明の実施の形態１による機械学習装置を示す構成図であり、図２は、この発明の実施の形態１による機械学習装置を示すハードウェア構成図である。
　この実施の形態１の機械学習装置は、学習対象の画像である学習画像として、書類が映っている画像である書類画像を利用するものとする。
　ただし、これは一例に過ぎず、例えば、帳票が映っている画像である帳票画像を利用するものであってもよい。
　図１及び図２において、学習画像記憶部１は、例えば図２に示す学習画像記憶回路１１で実現されるものであり、事前に取得された複数の書類画像を記憶する。
　学習画像記憶部１に記憶される書類画像は、例えば、グレースケールの画像であるものとする。このため、カラー画像の場合、学習画像記憶部１に記憶される前に、カラー画像がグレースケールの画像に変換されるものとする。Embodiment 1 FIG.
1 is a block diagram showing a machine learning apparatus according toEmbodiment 1 of the present invention, and FIG. 2 is a hardware block diagram showing a machine learning apparatus according toEmbodiment 1 of the present invention.
The machine learning apparatus according to the first embodiment uses a document image that is an image showing a document as a learning image that is an image to be learned.
However, this is only an example, and for example, a form image that is an image showing a form may be used.
1 and 2, the learningimage storage unit 1 is realized by, for example, the learning image storage circuit 11 shown in FIG. 2, and stores a plurality of document images acquired in advance.
The document image stored in the learningimage storage unit 1 is assumed to be a gray scale image, for example. For this reason, in the case of a color image, it is assumed that the color image is converted into a grayscale image before being stored in the learningimage storage unit 1.

　書類画像の取得方式は、特に限定するものではなく、例えば、スキャナーによって読み取られた書類画像でもよいし、カメラによって撮影された書類画像でもよい。
　ただし、カメラによって撮影された画像を書類画像として用いる場合には、書類の真正面から見ているように撮影画像に補正を施し、補正後の撮影画像の中から、書類が映っている領域を書類画像として切り出すようにする。
　この実施の形態１では、書類の用紙サイズを特定することができるものとし、学習画像記憶部１には、同じ用紙サイズの書類が映っている書類画像が記憶されるものとする。
　書類の用紙サイズを特定することができない場合、学習画像記憶部１に記憶される書類画像は、全て同じ用紙サイズの書類が映っている書類画像であるものとする。The document image acquisition method is not particularly limited, and may be, for example, a document image read by a scanner or a document image taken by a camera.
However, when using an image taken by a camera as a document image, the photographed image is corrected as seen from directly in front of the document, and the area where the document is reflected is selected from the corrected photographed image. Cut out as an image.
In the first embodiment, it is assumed that the paper size of a document can be specified, and the learningimage storage unit 1 stores a document image showing a document of the same paper size.
When the paper size of the document cannot be specified, it is assumed that the document images stored in the learningimage storage unit 1 are all document images in which documents of the same paper size are shown.

　サンプリング部２は、例えば図２に示すサンプリング回路１２で実現される。
　サンプリング部２は、学習画像記憶部１に記憶されている複数の書類画像の中から、いずれか１つの書類画像を順番に選択する処理を実施する。
　また、サンプリング部２は、選択した書類画像の画像サイズを変更するとともに、選択した書類画像を回転させる画像処理を実施する。
　さらに、サンプリング部２は、画像処理後の書類画像の中から、二値画像変換部３により変換される二値画像と同じサイズの領域を抽出し、抽出した領域を書類画像として、二値画像変換部３及び画像生成部４のそれぞれに出力する処理を実施する。Thesampling unit 2 is realized by, for example, thesampling circuit 12 shown in FIG.
Thesampling unit 2 performs a process of sequentially selecting any one document image from a plurality of document images stored in the learningimage storage unit 1.
Further, thesampling unit 2 performs image processing for changing the image size of the selected document image and rotating the selected document image.
Further, thesampling unit 2 extracts a region having the same size as the binary image converted by the binaryimage conversion unit 3 from the document image after the image processing, and uses the extracted region as a document image. A process of outputting to each of theconversion unit 3 and the image generation unit 4 is performed.

　二値画像変換部３は、例えば図２に示す二値画像変換回路１３で実現される。
　二値画像変換部３は、サンプリング部２から出力された書類画像を二値画像に変換し、変換した二値画像をパラメータ更新部７に出力する処理を実施する。
　画像生成部４は、例えば図２に示す画像生成回路１４で実現される。
　画像生成部４は、サンプリング部２から出力された書類画像の画素値を調整して、外乱の影響を受けている書類画像を生成し、生成した書類画像を特徴量抽出部５に出力する処理を実施する。
　外乱としては、書類画像を撮影している環境の要因のほか、画像取得機材の要因も含まれる。
　このため、書類画像の調整処理として、例えば、ガウシアンノイズ及びごま塩ノイズを書類画像に付加する処理、書類画像のガウシアンぼかしを行う処理、書類画像のシャープネス、コントラスト及び輝度値を調整する処理などが考えられる。The binaryimage conversion unit 3 is realized by, for example, a binaryimage conversion circuit 13 shown in FIG.
The binaryimage conversion unit 3 converts the document image output from thesampling unit 2 into a binary image, and performs a process of outputting the converted binary image to the parameter update unit 7.
The image generation unit 4 is realized by, for example, theimage generation circuit 14 illustrated in FIG.
The image generation unit 4 adjusts the pixel value of the document image output from thesampling unit 2 to generate a document image affected by the disturbance, and outputs the generated document image to the featureamount extraction unit 5 To implement.
Disturbances include the factors of the image acquisition equipment in addition to the factors of the environment in which the document image is taken.
For this reason, the document image adjustment processing includes, for example, processing for adding Gaussian noise and sesame salt noise to the document image, processing for performing Gaussian blurring of the document image, processing for adjusting the sharpness, contrast, and brightness value of the document image. It is done.

　特徴量抽出部５は、例えば図２に示す特徴量抽出回路１５で実現される。
　特徴量抽出部５は、画像生成部４から出力された書類画像を入力して、書類画像の特徴量を出力する第１のニューラルネットワークを有している。
　この実施の形態１では、特徴量抽出部５が有している第１のニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔ）をあるものとする。The featurequantity extraction unit 5 is realized by, for example, a featurequantity extraction circuit 15 shown in FIG.
The featureamount extraction unit 5 has a first neural network that inputs the document image output from the image generation unit 4 and outputs the feature amount of the document image.
In the first embodiment, it is assumed that the first neural network included in the featurequantity extraction unit 5 is a convolutional neural network (CNN).

　画像再構築部６は、例えば図２に示す画像再構築回路１６で実現される。
　画像再構築部６は、特徴量抽出部５が有している第１のニューラルネットワークから出力された特徴量を入力して、書類画像を二値画像として再構築した画像である再構築画像を出力する第２のニューラルネットワークを有している。
　この実施の形態１では、画像再構築部６が有している第２のニューラルネットワークは、ＣＮＮをあるものとする。Theimage reconstruction unit 6 is realized by, for example, animage reconstruction circuit 16 illustrated in FIG.
Theimage reconstruction unit 6 inputs the feature amount output from the first neural network included in the featureamount extraction unit 5, and reconstructs a reconstructed image that is an image reconstructed as a binary image. A second neural network for output is included.
In the first embodiment, it is assumed that the second neural network included in theimage reconstruction unit 6 has CNN.

　パラメータ更新部７は、例えば図２に示すパラメータ更新回路１７で実現される。
　パラメータ更新部７は、画像再構築部６が有している第２のニューラルネットワークから出力された再構築画像と、二値画像変換部３から出力された二値画像との差分に従って特徴量抽出部５が有している第１のニューラルネットワークのパラメータ及び画像再構築部６が有している第２のニューラルネットワークのパラメータのそれぞれを更新する処理を実施する。
　パラメータ記憶部８は、例えば図２に示すパラメータ記憶回路１８で実現されるものであり、パラメータ更新部７により更新された第１のニューラルネットワークのパラメータ及び第２のニューラルネットワークのパラメータのそれぞれを記憶する。The parameter update unit 7 is realized by, for example, theparameter update circuit 17 shown in FIG.
The parameter update unit 7 extracts feature amounts according to the difference between the reconstructed image output from the second neural network included in theimage reconstructing unit 6 and the binary image output from the binaryimage conversion unit 3. A process of updating the parameters of the first neural network included in theunit 5 and the parameters of the second neural network included in theimage reconstruction unit 6 is performed.
The parameter storage unit 8 is realized by, for example, theparameter storage circuit 18 illustrated in FIG. 2, and stores each of the parameters of the first neural network and the parameters of the second neural network updated by the parameter update unit 7. To do.

　図１では、機械学習装置の構成要素である学習画像記憶部１、サンプリング部２、二値画像変換部３、画像生成部４、特徴量抽出部５、画像再構築部６、パラメータ更新部７及びパラメータ記憶部８のそれぞれが、図２に示すような専用のハードウェアで実現されるものを想定している。即ち、学習画像記憶回路１１、サンプリング回路１２、二値画像変換回路１３、画像生成回路１４、特徴量抽出回路１５、画像再構築回路１６、パラメータ更新回路１７及びパラメータ記憶回路１８で実現されるものを想定している。In FIG. 1, a learningimage storage unit 1, asampling unit 2, a binaryimage conversion unit 3, an image generation unit 4, a featureamount extraction unit 5, animage reconstruction unit 6, and a parameter update unit 7 that are components of the machine learning device. Each of the parameter storage units 8 is assumed to be realized by dedicated hardware as shown in FIG. That is, what is realized by the learning image storage circuit 11, thesampling circuit 12, the binaryimage conversion circuit 13, theimage generation circuit 14, the featureamount extraction circuit 15, theimage reconstruction circuit 16, theparameter update circuit 17 and theparameter storage circuit 18. Is assumed.

　ここで、学習画像記憶回路１１及びパラメータ記憶回路１８のそれぞれは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒy）などの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）などが該当する。Here, each of the learning image storage circuit 11 and theparameter storage circuit 18 includes, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), and an EEPROM (Electrically Easy Memory). Non-volatile or volatile semiconductor memories such as Read Only Memory), magnetic disks, flexible disks, optical disks, compact disks, mini disks, DVDs (Digital Versatile Discs), and the like are applicable.

　また、サンプリング回路１２、二値画像変換回路１３、画像生成回路１４、特徴量抽出回路１５、画像再構築回路１６及びパラメータ更新回路１７は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、または、これらを組み合わせたものが該当する。Thesampling circuit 12, the binaryimage conversion circuit 13, theimage generation circuit 14, the featureamount extraction circuit 15, theimage reconstruction circuit 16, and theparameter update circuit 17 are, for example, a single circuit, a composite circuit, a programmed processor, A parallel-programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination thereof is applicable.

　ただし、機械学習装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、機械学習装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
　ソフトウェア又はファームウェアはプログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などが該当する。However, the components of the machine learning device are not limited to those realized by dedicated hardware, and the machine learning device may be realized by software, firmware, or a combination of software and firmware. Good.
Software or firmware is stored as a program in the memory of a computer. The computer means hardware that executes a program, and includes, for example, a CPU (Central Processing Unit), a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a processor, a DSP (Digital Signal Processor), and the like. .

　図３は、機械学習装置がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
　機械学習装置がソフトウェア又はファームウェアなどで実現される場合、学習画像記憶部１及びパラメータ記憶部８をコンピュータのメモリ２１又はストレージ２２上に構成するとともに、サンプリング部２、二値画像変換部３、画像生成部４、特徴量抽出部５、画像再構築部６及びパラメータ更新部７の処理手順をコンピュータに実行させるためのプログラムをメモリ２１又はストレージ２２に格納し、コンピュータのプロセッサ２３がメモリ２１又はストレージ２２に格納されているプログラムを実行するようにすればよい。
　図３において、画像入力器２４は、書類画像を入力する入力インタフェース機器であり、結果出力器２５は、画像再構築部６が有している第２のニューラルネットワークから出力された再構築画像を出力する出力インタフェース機器である。FIG. 3 is a hardware configuration diagram of a computer when the machine learning device is realized by software or firmware.
When the machine learning device is realized by software or firmware, the learningimage storage unit 1 and the parameter storage unit 8 are configured on thememory 21 or thestorage 22 of the computer, and thesampling unit 2, the binaryimage conversion unit 3, the image A program for causing the computer to execute the processing procedures of the generation unit 4, the featureamount extraction unit 5, theimage reconstruction unit 6, and the parameter update unit 7 is stored in thememory 21 or thestorage 22, and theprocessor 23 of the computer stores thememory 21 or the storage The program stored in theprogram 22 may be executed.
In FIG. 3, animage input unit 24 is an input interface device for inputting a document image, and aresult output unit 25 receives a reconstructed image output from the second neural network included in theimage reconstructing unit 6. It is an output interface device that outputs.

　また、図２では、機械学習装置の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図３では、機械学習装置がソフトウェアやファームウェアなどで実現される例を示しているが、機械学習装置における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。2 shows an example in which each component of the machine learning device is realized by dedicated hardware, and FIG. 3 shows an example in which the machine learning device is realized by software, firmware, etc. Some components in the machine learning device may be realized by dedicated hardware, and the remaining components may be realized by software, firmware, or the like.

　図４は、この発明の実施の形態１による画像認識装置を示す構成図であり、図５は、この発明の実施の形態１による画像認識装置を示すハードウェア構成図である。
　図４及び図５において、登録画像記憶部３１は、例えば図５に示す登録画像記憶回路４１で実現されるものであり、１つ以上の書類画像（学習対象の画像）を登録画像として記憶する。
　この登録画像は、図１の機械学習装置の学習画像記憶部１に記憶されている書類画像と同じ書類画像であってもよいし、図１の機械学習装置の学習画像記憶部１に記憶されている書類画像と異なる書類画像であってもよい。
　認識対象画像記憶部３２は、例えば図５に示す認識対象画像記憶回路４２で実現されるものであり、認識対象の書類画像である認識対象画像を記憶する。FIG. 4 is a block diagram showing an image recognition apparatus according toEmbodiment 1 of the present invention, and FIG. 5 is a hardware block diagram showing the image recognition apparatus according toEmbodiment 1 of the present invention.
4 and 5, the registeredimage storage unit 31 is realized by, for example, the registeredimage storage circuit 41 illustrated in FIG. 5, and stores one or more document images (learning target images) as registered images. .
This registered image may be the same document image as the document image stored in the learningimage storage unit 1 of the machine learning device in FIG. 1, or may be stored in the learningimage storage unit 1 of the machine learning device in FIG. The document image may be different from the existing document image.
The recognition targetimage storage unit 32 is realized by, for example, the recognition targetimage storage circuit 42 illustrated in FIG. 5, and stores a recognition target image that is a recognition target document image.

　特徴量検出部３３は、例えば図５に示す特徴量検出回路４３で実現される。
　特徴量検出部３３は、第１の特徴量検出部３４、画像再生成部３５及び第２の特徴量検出部３６を備えている。
　特徴量検出部３３は、登録画像の特徴量を特徴量記憶部３７に登録する登録処理を実施する際には、実装しているニューラルネットワークを用いて、登録画像記憶部３１に記憶されている登録画像を入力する毎に、当該登録画像の特徴量を出力する。
　特徴量検出部３３は、画像検索部３８が認識対象画像と類似している登録画像を検索する検索処理を開始する前処理として、実装しているニューラルネットワークを用いて、認識対象画像記憶部３２に記憶されている認識対象画像を入力して、認識対象画像の特徴量を出力する。The featureamount detection unit 33 is realized by, for example, a featureamount detection circuit 43 illustrated in FIG.
The featureamount detection unit 33 includes a first featureamount detection unit 34, animage regeneration unit 35, and a second featureamount detection unit 36.
When performing the registration process for registering the feature amount of the registered image in the featureamount storage unit 37, the featureamount detection unit 33 is stored in the registeredimage storage unit 31 using the mounted neural network. Each time a registered image is input, the feature amount of the registered image is output.
The featureamount detection unit 33 uses the implemented neural network as a preprocessing for starting the search process in which theimage search unit 38 searches for a registered image similar to the recognition target image, and uses the mounted recognition targetimage storage unit 32. The recognition target image stored in is input, and the feature amount of the recognition target image is output.

　第１の特徴量検出部３４は、登録処理を実施する際には、登録画像記憶部３１に記憶されている登録画像を入力して、登録画像の特徴量を出力するニューラルネットワークとして、図１の機械学習装置のパラメータ更新部７によりパラメータが更新された第１のニューラルネットワークを有している。
　第１の特徴量検出部３４は、検索処理の前処理を実施する際には、実装している第１のニューラルネットワークが、認識対象画像記憶部３２に記憶されている認識対象画像を入力して、認識対象画像の特徴量を出力する。
　第１の特徴量検出部３４が有している第１のニューラルネットワークは、図１の機械学習装置の特徴量抽出部５が有している第１のニューラルネットワークと同じニューラルネットワークである。As the neural network that inputs the registered image stored in the registeredimage storage unit 31 and outputs the feature amount of the registered image, the first featureamount detecting unit 34 performs the registration process as shown in FIG. The first neural network whose parameters are updated by the parameter updating unit 7 of the machine learning apparatus is provided.
When the first featureamount detection unit 34 performs the preprocessing of the search process, the first neural network that is implemented inputs the recognition target image stored in the recognition targetimage storage unit 32. The feature amount of the recognition target image is output.
The first neural network included in the first featurequantity detection unit 34 is the same neural network as the first neural network included in the featurequantity extraction unit 5 of the machine learning device in FIG.

　画像再生成部３５は、登録処理を実施する際には、第１の特徴量検出部３４が有している第１のニューラルネットワークから出力された登録画像の特徴量を入力して、登録画像を再構築した画像である再構築登録画像を出力するニューラルネットワークとして、図１の機械学習装置のパラメータ更新部７によりパラメータが更新された第２のニューラルネットワークを有している。
　画像再生成部３５は、検索処理の前処理を実施する際には、実装している第２のニューラルネットワークが、第１の特徴量検出部３４が有している第１のニューラルネットワークから出力された認識対象画像の特徴量を入力して、認識対象画像を再構築した画像である再構築認識画像を出力する。
　画像再生成部３５が有している第２のニューラルネットワークは、図１の機械学習装置の画像再構築部６が有している第２のニューラルネットワークと同じニューラルネットワークである。When the registration process is performed, theimage regeneration unit 35 inputs the feature amount of the registered image output from the first neural network included in the first featureamount detection unit 34, and the registered image As a neural network that outputs a reconstructed registered image that is an image reconstructed, the second neural network whose parameters are updated by the parameter updating unit 7 of the machine learning device of FIG. 1 is provided.
When performing the preprocessing of the search process, theimage regenerating unit 35 outputs the mounted second neural network from the first neural network included in the first featureamount detecting unit 34. The feature amount of the recognized recognition target image is input, and a reconstructed recognition image that is a reconstructed image of the recognition target image is output.
The second neural network included in theimage regeneration unit 35 is the same neural network as the second neural network included in theimage reconstruction unit 6 of the machine learning device in FIG.

　第２の特徴量検出部３６は、登録処理を実施する際には、画像再生成部３５が有している第２のニューラルネットワークから出力された再構築登録画像を入力して、再構築登録画像の特徴量を出力するニューラルネットワークとして、図１の機械学習装置のパラメータ更新部７によりパラメータが更新された第１のニューラルネットワークを有している。
　第２の特徴量検出部３６は、検索処理の前処理を実施する際には、実装している第１のニューラルネットワークが、画像再生成部３５が有している第２のニューラルネットワークから出力された再構築認識画像を入力して、再構築認識画像の特徴量を出力する。
　第２の特徴量検出部３６が有している第１のニューラルネットワークは、図１の機械学習装置の特徴量抽出部５が有している第１のニューラルネットワークと同じニューラルネットワークである。When performing the registration process, the second featureamount detection unit 36 inputs the reconstructed registration image output from the second neural network included in theimage regenerating unit 35, and reconstructs and registers it. As a neural network that outputs image feature amounts, the first neural network whose parameters are updated by the parameter updating unit 7 of the machine learning device of FIG. 1 is provided.
When the preprocessing of the search processing is performed, the second featureamount detection unit 36 outputs the mounted first neural network from the second neural network included in theimage regeneration unit 35. The reconstructed recognition image is input, and the feature amount of the reconstructed recognition image is output.
The first neural network included in the second featureamount detection unit 36 is the same neural network as the first neural network included in the featureamount extraction unit 5 of the machine learning device in FIG.

　特徴量記憶部３７は、例えば図５に示す特徴量記憶回路４４で実現される。
　特徴量記憶部３７は、特徴量検出部３６が有しているニューラルネットワークから出力された登録画像の特徴量として、第１の特徴量検出部３４が有している第１のニューラルネットワークから出力された登録画像の特徴量及び第２の特徴量検出部３６が有している第１のニューラルネットワークから出力された再構築登録画像の特徴量のそれぞれを記憶する。The featureamount storage unit 37 is realized by, for example, a featureamount storage circuit 44 illustrated in FIG.
The featureamount storage unit 37 outputs from the first neural network included in the first featureamount detection unit 34 as the feature amount of the registered image output from the neural network included in the featureamount detection unit 36. Each of the registered feature values of the registered image and the feature amounts of the reconstructed registered image output from the first neural network included in the second featurevalue detection unit 36 is stored.

　画像検索部３８は、例えば図５に示す画像検索回路４５で実現される。
　画像検索部３８の画像記憶部３８ａは、画像再生成部３５から出力された再構築登録画像を記憶する。
　この実施の形態１では、画像検索部３８の画像記憶部３８ａが、画像再生成部３５から出力された再構築登録画像を記憶するようにしているが、画像再生成部３５が、再構築登録画像を記憶する画像記憶部を備えるようにしてもよい。あるいは、図４の画像認識装置が、画像再生成部３５から出力された再構築登録画像を記憶する再構築登録画像記憶部を備えるようにしてもよい。
　画像検索部３８は、特徴量記憶部３７により記憶されている１つ以上の登録画像の特徴量のうち、第１の特徴量検出部３４から出力された１つ以上の登録画像の特徴量と、第１の特徴量検出部３４から出力された認識対象画像の特徴量との類似度を算出する処理を実施する。
　画像検索部３８は、登録画像記憶部３１により記憶されている１つ以上の登録画像の中で、算出した類似度が最も高い登録画像を特定し、特定した登録画像を、認識対象画像と類似している登録画像の検索結果として出力する処理を実施する。
　また、画像検索部３８は、特徴量記憶部３７により記憶されている１つ以上の特徴量のうち、第２の特徴量検出部３６から出力された１つ以上の再構築登録画像の特徴量と、第２の特徴量検出部３６から出力された再構築認識画像の特徴量との類似度を算出する処理を実施する。
　画像検索部３８は、画像記憶部３８ａにより記憶されている１つ以上の再構築登録画像の中で、算出した類似度が最も高い再構築登録画像を特定し、特定した再構築登録画像に対応する登録画像を、認識対象画像と類似している登録画像の検索結果として出力する処理を実施する。Theimage search unit 38 is realized by, for example, animage search circuit 45 shown in FIG.
The image storage unit 38 a of theimage search unit 38 stores the reconstructed registered image output from theimage regeneration unit 35.
In the first embodiment, the image storage unit 38a of theimage search unit 38 stores the reconstruction registration image output from theimage regeneration unit 35. However, theimage regeneration unit 35 performs the reconstruction registration. You may make it provide the image memory | storage part which memorize | stores an image. Alternatively, the image recognition apparatus in FIG. 4 may include a reconstructed registered image storage unit that stores the reconstructed registered image output from theimage regenerating unit 35.
Theimage search unit 38 includes the feature amounts of one or more registered images output from the first featureamount detection unit 34 among the feature amounts of one or more registered images stored in the featureamount storage unit 37. Then, a process of calculating the similarity with the feature quantity of the recognition target image output from the first featurequantity detection unit 34 is performed.
Theimage search unit 38 identifies a registered image having the highest calculated similarity among one or more registered images stored in the registeredimage storage unit 31, and the identified registered image is similar to the recognition target image. The process of outputting as a search result of the registered image is executed.
Theimage search unit 38 also includes one or more feature amounts of one or more reconstructed registered images output from the second featureamount detection unit 36 among the one or more feature amounts stored in the featureamount storage unit 37. And a process of calculating the similarity between the feature quantity of the reconstructed recognition image output from the second featurequantity detection unit 36.
Theimage search unit 38 identifies a reconstructed registered image having the highest calculated similarity among one or more reconstructed registered images stored in the image storage unit 38a, and corresponds to the identified reconstructed registered image. The registration image to be output is output as a search result of registered images similar to the recognition target image.

　図４では、画像認識装置の構成要素である登録画像記憶部３１、認識対象画像記憶部３２、特徴量検出部３３、特徴量記憶部３７及び画像検索部３８のそれぞれが、図５に示すような専用のハードウェアで実現されるものを想定している。即ち、登録画像記憶回路４１、認識対象画像記憶回路４２、特徴量検出回路４３、特徴量記憶回路４４及び画像検索回路４５で実現されるものを想定している。In FIG. 4, each of the registeredimage storage unit 31, the recognition targetimage storage unit 32, the featureamount detection unit 33, the featureamount storage unit 37, and theimage search unit 38, which are components of the image recognition apparatus, is illustrated in FIG. 5. It is assumed that it is realized by special hardware. That is, it is assumed to be realized by the registeredimage storage circuit 41, the recognition targetimage storage circuit 42, the featureamount detection circuit 43, the featureamount storage circuit 44, and theimage search circuit 45.

　ここで、登録画像記憶回路４１、認識対象画像記憶回路４２及び特徴量記憶回路４４のそれぞれは、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。
　また、特徴量検出回路４３及び画像検索回路４５は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、または、これらを組み合わせたものが該当する。Here, each of the registeredimage storage circuit 41, the recognition targetimage storage circuit 42, and the featureamount storage circuit 44 includes, for example, a nonvolatile or volatile semiconductor memory such as a RAM, a ROM, a flash memory, an EPROM, an EEPROM, or a magnetic field. Discs, flexible discs, optical discs, compact discs, mini discs, DVDs and the like are applicable.
The featurequantity detection circuit 43 and theimage search circuit 45 correspond to, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC, an FPGA, or a combination thereof.

　ただし、画像認識装置の構成要素は、専用のハードウェアで実現されるものに限るものではなく、機械学習装置がソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせで実現されるものであってもよい。
　図６は、画像認識装置がソフトウェア又はファームウェアなどで実現される場合のコンピュータのハードウェア構成図である。
　画像認識装置がソフトウェア又はファームウェアなどで実現される場合、登録画像記憶部３１、認識対象画像記憶部３２及び特徴量記憶部３７をコンピュータのメモリ５１又はストレージ５２上に構成するとともに、特徴量検出部３３及び画像検索部３８の処理手順をコンピュータに実行させるためのプログラムをメモリ５１又はストレージ５２に格納し、コンピュータのプロセッサ５３がメモリ５１又はストレージ５２に格納されているプログラムを実行するようにすればよい。
　図６において、画像入力器５４は、登録画像又は認識対象画像を入力する入力インタフェース機器であり、結果出力器５５は、画像検索部３８による登録画像の検索結果を出力する出力インタフェース機器である。However, the components of the image recognition device are not limited to those realized by dedicated hardware, and the machine learning device may be realized by software, firmware, or a combination of software and firmware. Good.
FIG. 6 is a hardware configuration diagram of a computer when the image recognition apparatus is realized by software or firmware.
When the image recognition device is realized by software or firmware, the registeredimage storage unit 31, the recognition targetimage storage unit 32, and the featureamount storage unit 37 are configured on thememory 51 or thestorage 52 of the computer, and the featureamount detection unit 33 and a program for causing the computer to execute the processing procedure of theimage search unit 38 are stored in thememory 51 or thestorage 52, and theprocessor 53 of the computer executes the program stored in thememory 51 or thestorage 52. Good.
In FIG. 6, animage input device 54 is an input interface device that inputs a registered image or a recognition target image, and aresult output device 55 is an output interface device that outputs a search result of a registered image by theimage search unit 38.

　また、図５では、画像認識装置の構成要素のそれぞれが専用のハードウェアで実現される例を示し、図６では、画像認識装置がソフトウェアやファームウェアなどで実現される例を示しているが、画像認識装置における一部の構成要素が専用のハードウェアで実現され、残りの構成要素がソフトウェアやファームウェアなどで実現されるものであってもよい。5 shows an example in which each component of the image recognition apparatus is realized by dedicated hardware, and FIG. 6 shows an example in which the image recognition apparatus is realized by software, firmware, etc. Some components in the image recognition apparatus may be realized by dedicated hardware, and the remaining components may be realized by software, firmware, or the like.

　次に動作について説明する。
　最初に、図１の機械学習装置の動作について説明する。
　学習画像記憶部１には、事前に取得された複数の書類画像が記憶される。
　この実施の形態１では、学習画像記憶部１に記憶される書類画像は、例えば、グレースケールの画像であるものとする。このため、カラー画像の場合、学習画像記憶部１に記憶される前に、カラー画像がグレースケールの画像に変換されるものとする。Next, the operation will be described.
First, the operation of the machine learning device in FIG. 1 will be described.
The learningimage storage unit 1 stores a plurality of document images acquired in advance.
In the first embodiment, it is assumed that the document image stored in the learningimage storage unit 1 is, for example, a gray scale image. For this reason, in the case of a color image, it is assumed that the color image is converted into a grayscale image before being stored in the learningimage storage unit 1.

　サンプリング部２は、学習画像記憶部１に記憶されている複数の書類画像の中から、いずれか１つの書類画像を選択して、選択した書類画像を二値画像変換部３及び画像生成部４のそれぞれに出力する。
　図７は、この発明の実施の形態１による機械学習装置のサンプリング部２における処理内容を示すフローチャートである。
　以下、図７を参照しながら、サンプリング部２の処理内容を具体的に説明する。Thesampling unit 2 selects any one document image from a plurality of document images stored in the learningimage storage unit 1, and converts the selected document image into a binaryimage conversion unit 3 and an image generation unit 4. Output to each of.
FIG. 7 is a flowchart showing the processing contents in thesampling unit 2 of the machine learning device according toEmbodiment 1 of the present invention.
Hereinafter, the processing content of thesampling unit 2 will be described in detail with reference to FIG.

　サンプリング部２は、学習画像記憶部１に記憶されている複数の書類画像の中から、いずれか１つの書類画像をランダムに選択する（図７のステップＳＴ１）。
　次に、サンプリング部２は、選択した書類画像の画像サイズを事前に設定されている画像サイズ（Ｈ，Ｗ）に変更する（図７のステップＳＴ２）。Ｈは書類画像の高さ、Ｗは書類画像の幅である。Thesampling unit 2 randomly selects any one of the document images stored in the learning image storage unit 1 (step ST1 in FIG. 7).
Next, thesampling unit 2 changes the image size of the selected document image to a preset image size (H, W) (step ST2 in FIG. 7). H is the height of the document image, and W is the width of the document image.

　次に、サンプリング部２は、画像スケールＳを示すパラメータＰ_１を乱数によって求め、画像の回転角度θを示すパラメータＰ_２を乱数によって求める（図７のステップＳＴ３）。
　サンプリング部２は、パラメータＰ_１が示す画像スケールＳに基づいて、選択した書類画像の画像サイズを変更する画像処理を実施する（図７のステップＳＴ４）。
　また、サンプリング部２は、選択した書類画像の中心を回転軸として、パラメータＰ_２が示す回転角度θだけ、選択した書類画像を回転させる画像処理を実施する（図７のステップＳＴ５）。Then, thesampling unit 2, the parameters P₁ indicating the image scale S determined by a random number, obtaining the parameter P₂ indicating the rotation angle θ of the image by the random number (step ST3 in FIG. 7).
Sampling unit 2, based on the image scale S shown parameter P_1, to implement the image processing for changing an image size of a document image selected (step ST4 in FIG. 7).
Thesampling unit 2, the rotation axis center of the document image selected, by the rotation angle θ indicated by the parameter P_2, performing the image processing for rotating the document image selected (step ST5 in FIG. 7).

　次に、サンプリング部２は、画像処理後の書類画像から切り出す一部の領域の座標（Ｘ，Ｙ）を乱数によって決定する（図７のステップＳＴ６）。一部の領域の座標（Ｘ，Ｙ）は、例えば、一部の領域の左上の角点の座標である。
　サンプリング部２は、画像処理後の書類画像の中から、例えば、左上の角点の座標が、決定した座標（Ｘ，Ｙ）である一部の領域を切り出す処理を実施する（図７のステップＳＴ７）。切り出し領域の画像サイズは、事前に設定されている画像サイズ（ｈ，ｗ）である。
　サンプリング部２は、切り出した一部の領域を書類画像として、二値画像変換部３及び画像生成部４のそれぞれに出力する。Next, thesampling unit 2 determines the coordinates (X, Y) of a part of the region cut out from the document image after the image processing by using a random number (step ST6 in FIG. 7). The coordinates (X, Y) of the partial area are, for example, the coordinates of the upper left corner point of the partial area.
Thesampling unit 2 performs a process of cutting out a part of the document image after the image processing, for example, a region where the coordinates of the upper left corner point are the determined coordinates (X, Y) (step in FIG. 7). ST7). The image size of the cutout area is an image size (h, w) set in advance.
Thesampling unit 2 outputs a part of the cut out region as a document image to each of the binaryimage conversion unit 3 and the image generation unit 4.

　サンプリング部２は、学習画像記憶部１に記憶されている複数の書類画像の中に、未だ選択していない書類画像が残っているか否かを判定する（図７のステップＳＴ８）。
　サンプリング部２は、未だ選択していない書類画像が残っていれば（図７のステップＳＴ８：ＹＥＳの場合）、ステップＳＴ１～ＳＴ８の処理を繰り返し実施する。
　サンプリング部２は、既に選択していない書類画像が残っていなければ（図７のステップＳＴ８：ＮＯの場合）、処理を終了する。
　サンプリング部２の処理によって、有限の学習画像である書類画像から、近似的に無限の学習サンプルとして書類画像を生成することができる。このため、学習結果の汎化性能として、未知の対象の識別能力の向上が期待される。Thesampling unit 2 determines whether there are any document images that have not yet been selected among the plurality of document images stored in the learning image storage unit 1 (step ST8 in FIG. 7).
If there remains a document image that has not yet been selected (step ST8: YES in FIG. 7), thesampling unit 2 repeatedly performs the processing of steps ST1 to ST8.
If there is no document image that has not yet been selected (step ST8 in FIG. 7: NO), thesampling unit 2 ends the process.
By the processing of thesampling unit 2, a document image can be generated as an approximately infinite learning sample from a document image that is a finite learning image. For this reason, as a generalization performance of learning results, an improvement in the ability to identify unknown objects is expected.

　二値画像変換部３は、サンプリング部２から出力された書類画像を二値画像に変換し、変換した二値画像をパラメータ更新部７に出力する。
　書類画像を二値画像に変換するアルゴリズムとして、例えば、適応的閾値処理（Ａｄａｐｔｉｖｅ　Ｔｈｒｅｓｈｏｌｄ関数を用いる処理）を利用することができるが、書類画像を二値画像に変換することができればよく、どのようなアルゴリズムを利用してもよい。The binaryimage conversion unit 3 converts the document image output from thesampling unit 2 into a binary image, and outputs the converted binary image to the parameter update unit 7.
As an algorithm for converting a document image into a binary image, for example, adaptive threshold processing (processing using an Adaptive Threshold function) can be used. However, what is necessary is just to be able to convert a document image into a binary image. A simple algorithm may be used.

　画像生成部４は、サンプリング部２から書類画像が出力される毎に、当該書類画像の画素値を調整して、外乱の影響を受けている書類画像を生成し、生成した書類画像を特徴量抽出部５に出力する。
　図８は、この発明の実施の形態１による機械学習装置の画像生成部４における処理内容を示すフローチャートである。
　以下、図８を参照しながら、画像生成部４の調整処理を具体的に説明する。Each time a document image is output from thesampling unit 2, the image generation unit 4 adjusts the pixel value of the document image to generate a document image affected by the disturbance, and the generated document image is a feature amount. Output to theextraction unit 5.
FIG. 8 is a flowchart showing the processing contents in the image generation unit 4 of the machine learning device according toEmbodiment 1 of the present invention.
Hereinafter, the adjustment process of the image generation unit 4 will be specifically described with reference to FIG.

　この実施の形態１では、画像生成部４が以下の６つの調整処理を実施する例を説明するが、以下の６つの調整処理に限るものではなく、例えば、１つ以上５つ以下の調整処理、または、７つ以上の調整処理を実施するようにしてもよい。
　また、以下の６つの調整処理の順序は、どのような順序でもよく、例えば、順序を乱数によって決定することができる。In the first embodiment, an example in which the image generation unit 4 performs the following six adjustment processes will be described. However, the embodiment is not limited to the following six adjustment processes. For example, one or more and five or less adjustment processes are performed. Alternatively, seven or more adjustment processes may be performed.
The order of the following six adjustment processes may be any order. For example, the order can be determined by a random number.

　画像生成部４は、サンプリング部２から出力された書類画像を受けると、書類画像を構成している各々の画素の輝度値に対して、例えば、乱数で決めた分散値をガウシアンノイズとして付加する調整処理を実施する（図８のステップＳＴ１１）。
　次に、画像生成部４は、書類画像を構成している各々の画素の中から、ごま塩ノイズを付加する画素を、乱数で決めた確率に基づいて決定する。
　そして、画像生成部４は、決定した画素の輝度値を、当該画素の周辺の画素の輝度値と大きく変えることで、当該画素にごま塩ノイズを付加する（図８のステップＳＴ１２）。
　例えば、周辺の画素の輝度値が、二値画像変換部３における二値画像の閾値処理に用いる閾値よりも黒側の輝度値であれば、当該画素の輝度値を最も白い輝度値とする。
　一方、周辺の画素の輝度値が、閾値よりも白側の輝度値であれば、当該画素の輝度値を最も黒い輝度値とする。Upon receiving the document image output from thesampling unit 2, the image generation unit 4 adds, for example, a variance value determined by a random number as Gaussian noise to the luminance value of each pixel constituting the document image. Adjustment processing is performed (step ST11 in FIG. 8).
Next, the image generation unit 4 determines a pixel to which sesame salt noise is added from each pixel constituting the document image based on a probability determined by a random number.
Then, the image generation unit 4 adds sesame salt noise to the pixel by largely changing the determined luminance value of the pixel from the luminance values of the pixels around the pixel (step ST12 in FIG. 8).
For example, if the luminance value of a peripheral pixel is a luminance value on the black side of the threshold value used for the threshold processing of the binary image in the binaryimage conversion unit 3, the luminance value of the pixel is set to the whitest luminance value.
On the other hand, if the luminance value of the surrounding pixel is a luminance value on the white side of the threshold value, the luminance value of the pixel is set to the blackest luminance value.

　次に、画像生成部４は、例えば、ガウス関数を用いて、書類画像をぼかすガウシアンぼかし処理を実施する（図８のステップＳＴ１３）。
　次に、画像生成部４は、シャープネスを示すパラメータを乱数によって決定し、決定したパラメータに従って書類画像のシャープネスを調整する処理を実施する（図８のステップＳＴ１４）。Next, the image generation unit 4 performs Gaussian blurring processing to blur the document image using, for example, a Gaussian function (step ST13 in FIG. 8).
Next, the image generation unit 4 determines a parameter indicating sharpness using a random number, and performs a process of adjusting the sharpness of the document image according to the determined parameter (step ST14 in FIG. 8).

　次に、画像生成部４は、コントラストを示すパラメータを乱数によって決定し、決定したパラメータに従って書類画像のコントラストを調整する処理を実施する（図８のステップＳＴ１５）。
　次に、画像生成部４は、輝度値を示すパラメータを乱数によって決定し、決定したパラメータに従って書類画像の輝度値を調整する処理を実施する（図８のステップＳＴ１６）。
　画像生成部４の調整処理によって、図４の画像認識装置に与えられる認識対象画像が、外乱の影響を受けている場合でも、認識対象画像に類似している画像の検索が可能になる。Next, the image generation unit 4 determines a parameter indicating the contrast using a random number, and performs a process of adjusting the contrast of the document image according to the determined parameter (step ST15 in FIG. 8).
Next, the image generation unit 4 determines a parameter indicating the luminance value by a random number, and performs a process of adjusting the luminance value of the document image according to the determined parameter (step ST16 in FIG. 8).
By the adjustment processing of the image generation unit 4, even when the recognition target image given to the image recognition apparatus in FIG. 4 is affected by disturbance, an image similar to the recognition target image can be searched.

　特徴量抽出部５は、画像生成部４から出力された書類画像を入力して、書類画像の特徴量を出力する第１のニューラルネットワークを有している。
　特徴量抽出部５が有している第１のニューラルネットワークはＣＮＮであり、第１のニューラルネットワークは、書類画像の特徴量の畳み込みを行う畳み込み層と、プーリング処理を実施するプーリング層とを含んでいる。The featureamount extraction unit 5 has a first neural network that inputs the document image output from the image generation unit 4 and outputs the feature amount of the document image.
The first neural network included in the featureamount extraction unit 5 is CNN, and the first neural network includes a convolution layer that performs convolution of the feature amount of the document image and a pooling layer that performs pooling processing. It is out.

　図９は、特徴量抽出部５が有している第１のニューラルネットワークの構成例を示す説明図である。
　図９において、ＩＮＰＵＴは、画像の入力部であり、ＩＮＰＵＴから入力される画像は、画像生成部４から出力された外乱の影響を受けている書類画像である。
　ＯＵＴＰＵＴは、特徴量の出力部であり、ＯＵＴＰＵＴから出力される特徴量は、書類画像の特徴量である。
　ＣＯＮＶ（１）、ＣＯＮＶ（２）及びＣＯＮＶ（３）のそれぞれは、第１のニューラルネットワークに含まれている畳み込み層である。畳み込み層では、書類画像の特徴量の畳み込みを実施した後、活性化関数の演算が行われるが、図９では、活性化関数の演算の表記を省略している。
　ＰＯＯＬ（１）及びＰＯＯＬ（２）のそれぞれは、第１のニューラルネットワークに含まれているプーリング層である。FIG. 9 is an explanatory diagram illustrating a configuration example of a first neural network included in the featureamount extraction unit 5.
In FIG. 9, INPUT is an image input unit, and an image input from INPUT is a document image that is affected by a disturbance output from the image generation unit 4.
OUTPUT is a feature value output unit, and the feature value output from OUTPUT is the feature value of the document image.
Each of CONV (1), CONV (2), and CONV (3) is a convolutional layer included in the first neural network. In the convolution layer, after performing the convolution of the feature amount of the document image, the calculation of the activation function is performed. In FIG. 9, the notation of the calculation of the activation function is omitted.
Each of POOL (1) and POOL (2) is a pooling layer included in the first neural network.

　図１０は、畳み込み層における畳み込み処理を示す説明図である。
　図１０に示す入力特徴量は、畳み込み層に入力される書類画像における複数の領域の特徴量を含んでおり、複数の領域の特徴量は、２次元構造のデータである入力特徴量マップに相当する。
　図１０では、書類画像が２５個の領域（図中、縦５×横５個の領域）を備えている例を示している。即ち、書類画像は、Ａ方向が５、Ｂ方向が５の領域を備えている例を示している。。
　また、入力特徴量は、ｋ（ｋは１以上の整数）個の入力特徴量マップを備えており、入力特徴量が２つ以上の入力特徴量マップを備えていれば、２つ以上の入力特徴量マップは、３次元構造のデータとして表現される。図１０では、入力特徴量をｋマップで表記している。
　例えば、書類画像が、Ｒ（赤色）、Ｇ（緑色）及びＢ（青色）の色成分を有するカラー画像が、色成分毎に、グレースケールの画像に変換されている画像である場合、入力特徴量は、Ｒ用の入力特徴量マップ、Ｇ用の入力特徴量マップ及びＲ用の入力特徴量マップとして、３個の入力特徴量マップを備える。FIG. 10 is an explanatory diagram illustrating a convolution process in the convolution layer.
The input feature amount shown in FIG. 10 includes feature amounts of a plurality of regions in the document image input to the convolution layer, and the feature amounts of the plurality of regions correspond to an input feature amount map that is data of a two-dimensional structure. To do.
FIG. 10 shows an example in which the document image has 25 regions (5 × 5 in the figure). That is, the document image shows an example in which the A direction has 5 areas and the B direction has 5 areas. .
The input feature amount includes k (k is an integer of 1 or more) input feature amount maps. If the input feature amount includes two or more input feature amount maps, two or more input features are provided. The feature amount map is expressed as data having a three-dimensional structure. In FIG. 10, the input feature amount is represented by a k map.
For example, when the document image is an image in which a color image having R (red), G (green), and B (blue) color components is converted into a grayscale image for each color component, the input feature The quantity includes three input feature quantity maps as an input feature quantity map for R, an input feature quantity map for G, and an input feature quantity map for R.

　畳み込み層は、畳み込み対象である重みフィルタを備えており、重みフィルタは、カーネルと呼ばれる。
　図１０の例では、カーネルの２次元サイズは、Ａ方向が３、Ｂ方向が３である。
　また、カーネルは、３次元構造のデータであり、入力特徴量マップと同じ奥行サイズを持っている。したがって、入力特徴量がｋ個の入力特徴量マップを備えていれば、カーネルの奥行サイズはｋとなる。図１０では、カーネルをｋマップで表記している。The convolution layer includes a weight filter that is a convolution target, and the weight filter is called a kernel.
In the example of FIG. 10, the two-dimensional size of the kernel is 3 in the A direction and 3 in the B direction.
The kernel is data having a three-dimensional structure and has the same depth size as the input feature amount map. Therefore, if the input feature quantity includes k input feature quantity maps, the kernel depth size is k. In FIG. 10, the kernel is represented by a k map.

　特徴量抽出部５は、入力特徴マップである平面上を、カーネルを移動させながら、以下の式（１）に示す畳み込み処理の計算を実施する。

　式（１）において、ｘ（ｃ１－ｂ１＋ｐａｄ_Ａ，ｃ２－ｂ２＋ｐａｄ_Ｂ，ｂ３）における「ｃ１－ｂ１＋ｐａｄ_Ａ」は、入力特徴量ｘ（ａ１，ａ２，ａ３）における「ａ１」に対応し、「ｃ２－ｂ２＋ｐａｄ_Ｂ」は、入力特徴量ｘ（ａ１，ａ２，ａ３）における「ａ２」に対応する。また、「ｂ３」は、入力特徴量ｘ（ａ１，ａ２，ａ３）における「ａ３」に対応する。
　ｗ（ｂ１，ｂ２，ｂ３）は、カーネルの重み値を示すパラメータであり、パラメータ更新部７によって更新される第１のニューラルネットワークのパラメータである。
　ｙ（ｃ１，ｃ２）は、書類画像における各領域の出力特徴量である。The featurequantity extraction unit 5 performs the calculation of the convolution process shown in the following equation (1) while moving the kernel on the plane that is the input feature map.

In Expression (1), “c1−b1 + pad_A ” in x (c1−b1 + pad_A , c2−b2 + pad_B , b3) corresponds to “a1” in the input feature quantity x (a1, a2, a3), and “c2 “−b2 + pad_B ” corresponds to “a2” in the input feature quantity x (a1, a2, a3). Further, “b3” corresponds to “a3” in the input feature amount x (a1, a2, a3).
w (b1, b2, b3) is a parameter indicating a kernel weight value, and is a parameter of the first neural network updated by the parameter updating unit 7.
y (c1, c2) is an output feature amount of each region in the document image.

　ｐａｄ_Ａ及びｐａｄ_Ｂのそれぞれは、事前に設定されるパッディングパラメータであり、畳み込み処理の計算時に、入力特徴マップの領域からカーネルがはみ出しても、計算可能な範囲を示すパラメータである。
　例えば、ｐａｄ_Ａ＝１であれば、入力特徴マップの領域からカーネルがＡ方向に１マスはみ出しても、畳み込み処理の計算が可能であるが、カーネルがＡ方向に２マスはみ出していれば、畳み込み処理の計算が不可能であることを意味している。
　また、ｐａｄ_Ｂ＝２であれば、入力特徴マップの領域からカーネルがＢ方向に２マスはみ出しても、畳み込み処理の計算が可能であるが、カーネルがＢ方向に３マスはみ出していれば、畳み込み処理の計算が不可能であることを意味している。Each of pad_A and pad_B is a padding parameter set in advance, and is a parameter indicating a computable range even if the kernel protrudes from the area of the input feature map when calculating the convolution process.
For example, if pad_A = 1, it is possible to calculate the convolution process even if the kernel protrudes in the A direction from the area of the input feature map, but if the kernel protrudes in the A direction, the convolution process is possible. This means that processing cannot be calculated.
If pad_B = 2, the convolution processing can be calculated even if the kernel protrudes in the B direction from the area of the input feature map, but if the kernel protrudes in the B direction, the convolution process is possible. This means that processing cannot be calculated.

　パッディングパラメータｐａｄ_Ａ，ｐａｄ_Ｂの値によって、畳み込み層から出力される複数の領域の特徴量である出力特徴量マップのサイズが変化する。図１０では、入力特徴量マップと出力特徴量マップが同じサイズのマップである例を示している。
　例えば、入力特徴マップの領域から－Ａ方向にカーネルがはみ出しているとき、式（１）に示す畳み込み処理の計算では、一部の入力特徴量ｘ（ａ１，ａ２，ａ３）のインデックスがマイナスになる。このとき、特徴量抽出部５は、インデックスがマイナスである入力特徴量ｘ（ａ１，ａ２，ａ３）をゼロで埋めるゼロパッディングを実施するようにしてもよい。ただし、ゼロパッディングの実施は必須ではなく、ゼロパッディングを実施しないようにしてもよい。Depending on the values of the padding parameters pad_A and pad_B , the size of the output feature amount map, which is the feature amount of a plurality of regions output from the convolution layer, changes. FIG. 10 shows an example in which the input feature value map and the output feature value map are maps of the same size.
For example, when the kernel protrudes in the −A direction from the area of the input feature map, the index of some of the input feature values x (a1, a2, a3) becomes negative in the calculation of the convolution process shown in the equation (1). Become. At this time, the featurequantity extraction unit 5 may perform zero padding to fill the input feature quantity x (a1, a2, a3) having a negative index with zero. However, zero padding is not essential, and zero padding may not be performed.

　畳み込み処理に関するパラメータは、カーネルの２次元サイズ及びパッディングパラメータｐａｄ_Ａ，ｐａｄ_Ｂのほかに、カーネルの移動量を示すストライドパラメータがある。
　図１０では、ｐａｄ_Ａ＝１、ｐａｄ_Ｂ＝１、ストライドパラメータ＝１であり、カーネルを１つずつ移動させながら、式（１）に示す畳み込み処理の計算を実施している例を示している。
　例えば、出力特徴量の中の１個の領域の特徴量ｙ（１，１）は、入力特徴量の中の９個の領域の特徴量ｘ（ａ１，ａ２，ａ３）、即ち、ｘ（０，０，０）、ｘ（０，１，０）、ｘ（０，２，０）、ｘ（１，０，０）、ｘ（１，１，０）、ｘ（１，２，０）、ｘ（２，０，０）、ｘ（２，１，０）及びｘ（２，２，０）についての計算結果を示している。In addition to the two-dimensional kernel size and padding parameters pad_A and pad_B , parameters related to the convolution process include a stride parameter indicating the movement amount of the kernel.
FIG. 10 shows an example in which pad_A = 1, pad_B = 1, stride parameter = 1, and the calculation of the convolution processing shown in Expression (1) is performed while moving the kernels one by one. .
For example, the feature quantity y (1, 1) of one area in the output feature quantity is the feature quantity x (a1, a2, a3) of nine areas in the input feature quantity, that is, x (0 , 0, 0), x (0, 1, 0), x (0, 2, 0), x (1, 0, 0), x (1, 1, 0), x (1, 2, 0) , X (2, 0, 0), x (2, 1, 0) and x (2, 2, 0).

　入力データの様々なパターンの特徴を抽出するためには、複数のカーネルと入力特徴量との畳み込み処理の計算を実施することが望ましい。
　式（１）は、カーネルが１つである例を示しており、以下の式（２）は、カーネルが複数である場合の畳み込み処理の計算を示している。

　式（２）において、ｋは、出力特徴量マップのインデックスである。出力特徴量マップの個数は、カーネルの個数と同じである。In order to extract features of various patterns of input data, it is desirable to perform calculation of convolution processing between a plurality of kernels and input feature amounts.
Expression (1) shows an example in which there is one kernel, and the following expression (2) shows calculation of convolution processing when there are a plurality of kernels.

In Expression (2), k is an index of the output feature amount map. The number of output feature amount maps is the same as the number of kernels.

　図１１は、プーリング層におけるプーリング処理を示す説明図である。
　この実施の形態１において、特徴量抽出部５が実施するプーリング層におけるプーリング処理は、一般的なプーリング処理と異なる。
　即ち、特徴量抽出部５が実施するプーリング処理は、一般的なプーリング処理と同様に、出力特徴量マップの一部の領域である局所領域毎に、当該局所領域に含まれている特徴量の中で、最大の特徴量を抽出して、抽出した特徴量を出力する。
　特徴量抽出部５が実施するプーリング処理は、一般的なプーリング処理と異なり、抽出した特徴量が存在している書類画像内の位置を示す位置情報についても出力する。FIG. 11 is an explanatory diagram showing a pooling process in the pooling layer.
In thisEmbodiment 1, the pooling process in the pooling layer which the feature-value extraction part 5 implements differs from a general pooling process.
That is, the pooling process performed by the featurequantity extraction unit 5 is similar to the general pooling process, for each local area that is a partial area of the output feature quantity map, for the feature quantity included in the local area. Among them, the maximum feature amount is extracted, and the extracted feature amount is output.
Unlike the general pooling process, the pooling process performed by the featurequantity extraction unit 5 also outputs position information indicating the position in the document image where the extracted feature quantity exists.

　プーリング層は、図１０に示す畳み込み層と同様に、カーネルの２次元サイズ、パッディングパラメータ及びストライドパラメータによって構造が変化する。
　図１１では、Ａ方向が４、Ｂ方向が４及びＣ方向がＫである（４×４×Ｋ）の入力特徴量に対して、Ａ方向が２、Ｂ方向が２及びＣ方向がＫである（２×２×Ｋ）のカーネルを用いて、プーリング処理を実施した結果、Ａ方向が２、Ｂ方向が２及びＣ方向がＫである（２×２×Ｋ）の出力特徴量が得られている例を示している。図１１の例では、カーネルのストライド値は２、パッディング値はゼロである。Similar to the convolution layer shown in FIG. 10, the structure of the pooling layer changes depending on the two-dimensional size of the kernel, padding parameters, and stride parameters.
In FIG. 11, the A direction is 2, the B direction is 2, and the C direction is K with respect to the input feature quantity of (4 × 4 × K) in which the A direction is 4, the B direction is 4 and the C direction is K. As a result of performing the pooling process using a certain (2 × 2 × K) kernel, an output feature amount (2 × 2 × K) in which the A direction is 2, the B direction is 2, and the C direction is K is obtained. An example is shown. In the example of FIG. 11, the kernel stride value is 2 and the padding value is zero.

　具体的には、プーリング処理によって、入力特徴量マップにおける（２×２×Ｋ）の局所領域毎に、当該局所領域に含まれている特徴量の中で、最大の特徴量を抽出している。
　例えば、出力特徴量の中の１個の領域の特徴量（０，０，０）は、入力特徴量の中の４個の領域の特徴量ｘ（ａ１，ａ２，ａ３）、即ち、ｘ（０，０，０）、ｘ（０，１，０）、ｘ（１，０，０）及びｘ（１，１，０）の中で、最大の特徴量ｘ（０，０，０）を抽出している。そして、抽出した最大の特徴量ｘ（０，０，０）を出力している。
　また、抽出した最大の特徴量ｘ（０，０，０）が存在している書類画像内の位置を示す位置情報を出力している。Specifically, the maximum feature amount is extracted from the feature amounts included in the local region for each (2 × 2 × K) local region in the input feature amount map by the pooling process. .
For example, the feature quantity (0, 0, 0) of one area in the output feature quantity is the feature quantity x (a1, a2, a3) of four areas in the input feature quantity, that is, x ( Among the 0, 0, 0), x (0, 1, 0), x (1, 0, 0) and x (1, 1, 0), the maximum feature amount x (0, 0, 0) is obtained. Extracting. The extracted maximum feature quantity x (0, 0, 0) is output.
In addition, position information indicating the position in the document image where the extracted maximum feature quantity x (0, 0, 0) exists is output.

　図１１では、最大の特徴量が存在している書類画像内の位置を示す位置情報として、局所最大値位置を示す位置マップを例示している。
　位置マップは、入力特徴量と同じ３次元構造のデータとして表現されている。
　位置マップにおいて、最大の特徴量に対応する書類画像内の位置には“１”が表記され、最大の特徴量以外の特徴量に対応する書類画像内の位置には“０”が表記されている。
　ここでは、位置情報が、３次元構造の位置マップである例を示しているが、最大の特徴量が存在している書類画像内の位置が分かればよく、位置情報のデータ構造は、どのような構造であってもよい。FIG. 11 illustrates a position map indicating the local maximum value position as position information indicating the position in the document image where the maximum feature amount exists.
The position map is expressed as data having the same three-dimensional structure as the input feature amount.
In the position map, “1” is written in the position in the document image corresponding to the maximum feature value, and “0” is written in the position in the document image corresponding to the feature value other than the maximum feature value. Yes.
In this example, the position information is a position map having a three-dimensional structure. However, it is only necessary to know the position in the document image where the maximum feature amount exists, and what is the data structure of the position information? It may be a simple structure.

　以下の式（３）は、プーリング処理の計算を示している。
　式（３）は、演算子ｆ（．）を利用して、入力特徴量マップにおける４つの領域を含む局所領域から、１つの特徴量を出力する例を示している。

　この実施の形態１では、演算子ｆ（．）が、最大値を演算する演算子である例を示しており、このような演算子ｆ（．）が用いられるプーリング処理は、最大プーリング（Ｍａｘ　Ｐｏｏｌｉｎｇ）と呼ばれる。
　プーリング層におけるプーリング処理が最大プーリングである場合、１つの特徴量として局所領域の最大値を計算すると同時に、最大値となる書類画像内の位置を示す位置情報も計算される。４つの領域を含む局所領域の中に、最大値となる書類画像内の位置が２つ以上存在する場合、２つ以上の位置を示す位置情報を出力するようにしてもよい。
　プーリング層におけるプーリング処理は、最大プーリングに限るものではなく、例えば、平均プーリング（Ａｖｅｒａｇｅ　Ｐｏｏｌｉｎｇ）などの他のプーリング処理であってもよい。
　プーリング層におけるプーリング処理が平均プーリングである場合、式（３）における演算子ｆ（．）は、平均値を演算する演算子となる。Equation (3) below shows the pooling calculation.
Expression (3) shows an example in which one feature value is output from a local region including four regions in the input feature value map using the operator f (.).

The first embodiment shows an example in which the operator f (.) Is an operator that calculates the maximum value, and the pooling process in which such an operator f (.) Is used is the maximum pooling (Max). Called Pooling).
When the pooling process in the pooling layer is maximum pooling, the maximum value of the local area is calculated as one feature amount, and at the same time, position information indicating the position in the document image that is the maximum value is also calculated. When there are two or more positions in the document image having the maximum value in the local area including the four areas, position information indicating two or more positions may be output.
The pooling process in the pooling layer is not limited to the maximum pooling, and may be another pooling process such as an average pooling (Average Pooling).
When the pooling process in the pooling layer is average pooling, the operator f (.) In Expression (3) is an operator that calculates an average value.

　なお、プーリング処理に関するパラメータの中には、パラメータ更新部７によって更新されるパラメータはない。
　この実施の形態１では、特徴量抽出部５が有している第１のニューラルネットワークがＣＮＮである例を示しているが、ＣＮＮに限るものではなく、例えば、ディープニューラルネットなどの多層構造を持つニューラルネットであってもよい。Note that there is no parameter updated by the parameter updating unit 7 among the parameters related to the pooling process.
In the first embodiment, the first neural network included in the featureamount extraction unit 5 is CNN. However, the first neural network is not limited to CNN. For example, a multilayer structure such as a deep neural network is used. It may be a neural network.

　画像再構築部６は、特徴量抽出部５が有している第１のニューラルネットワークから出力された特徴量を入力して、書類画像を二値画像として再構築した画像である再構築画像を出力する第２のニューラルネットワークを有している。
　画像再構築部６が有している第２のニューラルネットワークはＣＮＮであり、第２のニューラルネットワークは、逆プーリング処理を実施する逆プーリング層と、二値画像の特徴量の畳み込みを行う畳み込み層とを含んでいる。Theimage reconstruction unit 6 inputs the feature amount output from the first neural network included in the featureamount extraction unit 5, and reconstructs a reconstructed image that is an image reconstructed as a binary image. A second neural network for output is included.
The second neural network included in theimage reconstruction unit 6 is a CNN, and the second neural network includes an inverse pooling layer that performs inverse pooling processing, and a convolution layer that performs convolution of feature values of a binary image. Including.

　図１２は、画像再構築部６が有している第２のニューラルネットワークの構成例を示す説明図である。
　図１２において、ＩＮＰＵＴは、特徴量の入力部であり、ＩＮＰＵＴから入力される特徴量は、特徴量抽出部５が有している第１のニューラルネットワークから出力された特徴量である。
　ＯＵＴＰＵＴは、特徴量の出力部であり、ＯＵＴＰＵＴから出力される複数の領域の特徴量である出力特徴量のサイズは、図１０に示す入力特徴量のサイズと同じサイズである。
　ＵＮＰＯＯＬ（１）及びＵＮＰＯＯＬ（２）のそれぞれは、第２のニューラルネットワークに含まれている逆プーリング層である。
　第２のニューラルネットワークに含まれているＵＮＰＯＯＬ（１）は、図９に示すＰＯＯＬ（２）と対応し、第２のニューラルネットワークに含まれているＵＮＰＯＯＬ（２）は、図９に示すＰＯＯＬ（１）と対応している。
　ＣＯＮＶ（１）、ＣＯＮＶ（２）及びＣＯＮＶ（３）のそれぞれは、第２のニューラルネットワークに含まれている畳み込み層である。畳み込み層では、再構築画像の特徴量の畳み込みを実施した後、活性化関数の演算が行われるが、図１２では、活性化関数の演算の表記を省略している。FIG. 12 is an explanatory diagram illustrating a configuration example of the second neural network included in theimage reconstruction unit 6.
In FIG. 12, INPUT is a feature quantity input unit, and the feature quantity input from INPUT is a feature quantity output from the first neural network included in the featurequantity extraction unit 5.
OUTPUT is a feature value output unit, and the size of the output feature value, which is the feature value of a plurality of regions output from OUTPUT, is the same size as the size of the input feature value shown in FIG.
Each of UNPOOL (1) and UNPOOL (2) is an inverse pooling layer included in the second neural network.
UNDOOL (1) included in the second neural network corresponds to POOL (2) shown in FIG. 9, and UNDOOL (2) included in the second neural network is POOL (2) shown in FIG. Corresponds to 1).
Each of CONV (1), CONV (2), and CONV (3) is a convolutional layer included in the second neural network. In the convolution layer, the activation function is calculated after convolution of the feature quantity of the reconstructed image. In FIG. 12, the notation of the activation function calculation is omitted.

　画像再構築部６が有している第２のニューラルネットワークに含まれている畳み込み層は、特徴量抽出部５が有している第１のニューラルネットワークに含まれている畳み込み層と同様に、入力特徴量マップのサイズと出力特徴量マップのサイズとが同じである。
　画像再構築部６が、期待された機械学習効果を達成するためには、特徴量抽出部５が有している第１のニューラルネットワークから出力された複数の領域の特徴量である出力特徴量のサイズを、図１０に示す入力特徴量のサイズに戻す必要がある。
　即ち、特徴量抽出部５が有している第１のニューラルネットワークに含まれているプーリング層のプーリング処理によって、サイズが小さくなっている出力特徴量である特徴量マップのサイズを、画像再構築部６が、当該プーリング処理が実施される前の入力特徴量のサイズに戻す必要がある。
　このため、画像再構築部６が有している第２のニューラルネットワークは、特徴量抽出部５が有している第１のニューラルネットに含まれているプーリング層に対応する逆プーリング層を含んでいる。The convolutional layer included in the second neural network included in theimage reconstruction unit 6 is similar to the convolutional layer included in the first neural network included in the featureamount extraction unit 5. The size of the input feature map and the size of the output feature map are the same.
In order for theimage reconstruction unit 6 to achieve the expected machine learning effect, an output feature amount that is a feature amount of a plurality of regions output from the first neural network included in the featureamount extraction unit 5 Needs to be restored to the size of the input feature quantity shown in FIG.
That is, the size of the feature map, which is the output feature whose size is reduced by the pooling process of the pooling layer included in the first neural network included in thefeature extractor 5, is reconstructed. Theunit 6 needs to return to the size of the input feature value before the pooling process is performed.
Therefore, the second neural network included in theimage reconstruction unit 6 includes an inverse pooling layer corresponding to the pooling layer included in the first neural network included in the featureamount extraction unit 5. It is out.

　具体的には、特徴量抽出部５が、図１１に示すように、プーリング層のプーリング処理を実施することで、入力特徴量のサイズを４分の１の大きさにしている場合、画像再構築部６が、図１３に示すように、逆プーリング層の逆プーリング処理を実施することで、入力特徴量のサイズを４倍にしている。
　図１３は、逆プーリング層における逆プーリング処理を示す説明図である。Specifically, as shown in FIG. 11, when the featureamount extraction unit 5 performs pooling processing of the pooling layer to reduce the size of the input feature amount to a quarter size, As shown in FIG. 13, theconstruction unit 6 performs the inverse pooling process of the inverse pooling layer, thereby quadrupling the size of the input feature amount.
FIG. 13 is an explanatory diagram illustrating reverse pooling processing in the reverse pooling layer.

　画像再構築部６が実施する逆プーリング層の逆プーリング処理において、逆プーリング層と対応するプーリング層から出力された位置情報を利用するに際し、逆プーリング層と対応するプーリング層の出力特徴量のサイズと、当該逆プーリング層の入力特徴量のサイズとが一致している。また、逆プーリング層と対応するプーリング層の入力特徴量のサイズと当該逆プーリング層の出力特徴量のサイズとが一致している。
　図１３に示す逆プーリング処理では、（２×２×Ｋ）の入力特徴量を（４×４×Ｋ）の出力特徴量に変換する例を示している。
　また、図１３に示す逆プーリング処理では、対応するプーリング層から取得した位置情報を入力し、（４×４×Ｋ）の出力特徴量のうち、位置情報が示す最大値の位置の特徴量に、入力特徴量の値を挿入し、位置情報が示す最大値の位置以外の位置の特徴量に、ゼロを挿入している。In the reverse pooling process of the reverse pooling layer performed by theimage reconstruction unit 6, when using the positional information output from the pooling layer corresponding to the reverse pooling layer, the size of the output feature amount of the pooling layer corresponding to the reverse pooling layer And the size of the input feature amount of the inverse pooling layer match. In addition, the size of the input feature amount of the pooling layer corresponding to the reverse pooling layer and the size of the output feature amount of the reverse pooling layer match.
The reverse pooling process shown in FIG. 13 shows an example in which (2 × 2 × K) input feature values are converted to (4 × 4 × K) output feature values.
In the reverse pooling process shown in FIG. 13, the positional information acquired from the corresponding pooling layer is input, and among the output feature values of (4 × 4 × K), the maximum feature value indicated by the position information is used. The value of the input feature amount is inserted, and zero is inserted into the feature amount at a position other than the position of the maximum value indicated by the position information.

　例えば、入力特徴量ｘ（０，０，０）は、（４×４×Ｋ）の出力特徴量において、Ａ方向で左から２番目及びＢ方向で上から２番目の位置に挿入されている。
　また、入力特徴量ｘ（０，１，０）は、（４×４×Ｋ）の出力特徴量において、Ａ方向で左から３番目及びＢ方向で上から１番目の位置に挿入されている。
　また、入力特徴量ｘ（１，０，０）は、（４×４×Ｋ）の出力特徴量において、Ａ方向で左から２番目及びＢ方向で上から３番目の位置に挿入されている。
　入力特徴量ｘ（１，１，０）は、（４×４×Ｋ）の出力特徴量において、Ａ方向で左から３番目及びＢ方向で上から４番目の位置に挿入されている。
　（４×４×Ｋ）の出力特徴量の他の位置には、ゼロが挿入されている。For example, the input feature quantity x (0, 0, 0) is inserted at the second position from the left in the A direction and the second position from the top in the B direction in the output feature quantity of (4 × 4 × K). .
Further, the input feature quantity x (0, 1, 0) is inserted at the third position from the left in the A direction and the first position from the top in the B direction in the output feature quantity of (4 × 4 × K). .
The input feature quantity x (1, 0, 0) is inserted at the second position from the left in the A direction and the third position from the top in the B direction in the output feature quantity of (4 × 4 × K). .
The input feature quantity x (1, 1, 0) is inserted at the third position from the left in the A direction and the fourth position from the top in the B direction in the output feature quantity of (4 × 4 × K).
Zeros are inserted at other positions of the output feature amount of (4 × 4 × K).

　パラメータ更新部７は、画像再構築部６が有している第２のニューラルネットワークから出力された再構築画像と、二値画像変換部３から出力された二値画像との差分を算出する。
　パラメータ更新部７は、算出した差分が最小になるように、特徴量抽出部５が有している第１のニューラルネットワークのパラメータ及び画像再構築部６が有している第２のニューラルネットワークのパラメータのそれぞれを更新する。
　即ち、パラメータ更新部７は、算出した差分が最小になるように、第１のニューラルネットワークにおけるカーネルの重み値を示すパラメータｗ（ｂ１，ｂ２，ｂ３）及び第２のニューラルネットワークにおけるカーネルの重み値を示すパラメータｗ（ｂ１，ｂ２，ｂ３）のそれぞれを更新する。
　パラメータ更新部７により算出される再構築画像と二値画像との差分としては、例えば、再構築画像と二値画像との平均２乗誤差（ＭＳＥ：Ｍｅａｎ　Ｓｑｕａｒｅ　Ｅｒｒｏｒ）でもよいし、再構築画像と二値画像とのクロスエントロピーでもよい。
　また、パラメータ更新部７が、差分が最小になるように、パラメータを更新する最適化アルゴリズムとして、例えば、確率的勾配降下法などを用いることができる。The parameter update unit 7 calculates a difference between the reconstructed image output from the second neural network included in theimage reconstructing unit 6 and the binary image output from the binaryimage conversion unit 3.
The parameter updating unit 7 is configured so that the parameter of the first neural network that the featureamount extraction unit 5 has and the second neural network that theimage reconstruction unit 6 has so that the calculated difference is minimized. Update each of the parameters.
That is, the parameter updating unit 7 sets the parameter w (b1, b2, b3) indicating the kernel weight value in the first neural network and the kernel weight value in the second neural network so that the calculated difference is minimized. Each of the parameters w (b1, b2, b3) indicating is updated.
The difference between the reconstructed image and the binary image calculated by the parameter updating unit 7 may be, for example, a mean square error (MSE: Mean Square Error) between the reconstructed image and the binary image, or the reconstructed image. And a cross-entropy of a binary image.
Further, for example, a stochastic gradient descent method or the like can be used as an optimization algorithm in which the parameter updating unit 7 updates the parameters so that the difference is minimized.

　パラメータ記憶部８は、パラメータ更新部７により更新された第１のニューラルネットワークのパラメータとして、パラメータ更新部７により更新された第１のニューラルネットワークにおけるカーネルの重み値を示すパラメータｗ（ｂ１，ｂ２，ｂ３）を記憶する。
　また、パラメータ記憶部８は、パラメータ更新部７により更新された第２のニューラルネットワークのパラメータとして、パラメータ更新部７により更新された第２のニューラルネットワークにおけるカーネルの重み値を示すパラメータｗ（ｂ１，ｂ２，ｂ３）を記憶する。The parameter storage unit 8 is a parameter w (b1, b2, b2) indicating kernel weight values in the first neural network updated by the parameter updating unit 7 as parameters of the first neural network updated by the parameter updating unit 7. b3) is stored.
The parameter storage unit 8 also includes a parameter w (b1, b1) indicating a kernel weight value in the second neural network updated by the parameter update unit 7 as a parameter of the second neural network updated by the parameter update unit 7. b2, b3) are stored.

　次に、図４の画像認識装置の動作について説明する。
　第１の特徴量検出部３４は、登録画像記憶部３１に記憶されている登録画像を入力して、登録画像の特徴量を出力するとともに、認識対象画像記憶部３２に記憶されている認識対象画像を入力して、認識対象画像の特徴量を出力する第１のニューラルネットワークを有している。
　第１の特徴量検出部３４が有している第１のニューラルネットワークは、図１の機械学習装置の特徴量抽出部５が有している第１のニューラルネットワークと同じニューラルネットワークである。
　したがって、第１の特徴量検出部３４が有している第１のニューラルネットワークにおけるカーネルの重み値を示すパラメータｗ（ｂ１，ｂ２，ｂ３）は、再構築画像と二値画像との差分が最小になるように、図１の機械学習装置のパラメータ更新部７によって最適化されている。Next, the operation of the image recognition apparatus in FIG. 4 will be described.
The first featureamount detection unit 34 inputs the registered image stored in the registeredimage storage unit 31, outputs the feature amount of the registered image, and recognizes the recognition target stored in the recognition targetimage storage unit 32. A first neural network that inputs an image and outputs a feature amount of the recognition target image is included.
The first neural network included in the first featurequantity detection unit 34 is the same neural network as the first neural network included in the featurequantity extraction unit 5 of the machine learning device in FIG.
Therefore, the parameter w (b1, b2, b3) indicating the kernel weight value in the first neural network included in the first featurequantity detection unit 34 has the smallest difference between the reconstructed image and the binary image. 1 is optimized by the parameter updating unit 7 of the machine learning device of FIG.

　画像再生成部３５は、第１の特徴量検出部３４が有している第１のニューラルネットワークから出力された登録画像の特徴量を入力して、登録画像を再構築した画像である再構築登録画像を出力するとともに、第１の特徴量検出部３４が有している第１のニューラルネットワークから出力された認識対象画像の特徴量を入力して、認識対象画像を再構築した画像である再構築認識画像を出力する第２のニューラルネットワークを有している。
　画像再生成部３５が有している第２のニューラルネットワークは、図１の機械学習装置の画像再構築部６が有している第２のニューラルネットワークと同じニューラルネットワークである。
　したがって、画像再生成部３５が有している第２のニューラルネットワークにおけるカーネルの重み値を示すパラメータｗ（ｂ１，ｂ２，ｂ３）は、再構築画像と二値画像との差分が最小になるように、図１の機械学習装置のパラメータ更新部７によって最適化されている。Theimage regeneration unit 35 receives the feature amount of the registered image output from the first neural network included in the first featureamount detection unit 34, and is a reconstructed image that is an image obtained by reconstructing the registered image. This is an image in which a registered image is output and the feature quantity of the recognition target image output from the first neural network included in the first featurequantity detection unit 34 is input to reconstruct the recognition target image. A second neural network for outputting the reconstructed recognition image is provided.
The second neural network included in theimage regeneration unit 35 is the same neural network as the second neural network included in theimage reconstruction unit 6 of the machine learning device in FIG.
Therefore, the parameter w (b1, b2, b3) indicating the kernel weight value in the second neural network possessed by theimage regeneration unit 35 is such that the difference between the reconstructed image and the binary image is minimized. In addition, the optimization is performed by the parameter updating unit 7 of the machine learning device of FIG.

　第２の特徴量検出部３６は、画像再生成部３５が有している第２のニューラルネットワークから出力された再構築登録画像を入力して、再構築登録画像の特徴量を出力するとともに、画像再生成部３５が有している第２のニューラルネットワークから出力された再構築認識画像を入力して、再構築認識画像の特徴量を出力する第１のニューラルネットワークを有している。
　第２の特徴量検出部３６が有している第１のニューラルネットワークは、図１の機械学習装置の特徴量抽出部５が有している第１のニューラルネットワークと同じニューラルネットワークである。
　したがって、第２の特徴量検出部３６が有している第１のニューラルネットワークにおけるカーネルの重み値を示すパラメータｗ（ｂ１，ｂ２，ｂ３）は、再構築画像と二値画像との差分が最小になるように、図１の機械学習装置のパラメータ更新部７によって最適化されている。The second featureamount detection unit 36 receives the reconstruction registration image output from the second neural network included in theimage regeneration unit 35, outputs the feature amount of the reconstruction registration image, Theimage regeneration unit 35 includes a first neural network that inputs the reconstruction recognition image output from the second neural network included in theimage regeneration unit 35 and outputs the feature amount of the reconstruction recognition image.
The first neural network included in the second featureamount detection unit 36 is the same neural network as the first neural network included in the featureamount extraction unit 5 of the machine learning device in FIG.
Accordingly, the parameter w (b1, b2, b3) indicating the kernel weight value in the first neural network possessed by the second featurequantity detection unit 36 has the smallest difference between the reconstructed image and the binary image. 1 is optimized by the parameter updating unit 7 of the machine learning device of FIG.

　なお、第２の特徴量検出部３６が有している第１のニューラルネットワークに含まれているプーリング層は、位置情報を出力する必要がない。
　図１の機械学習装置の特徴量抽出部５が有している第１のニューラルネットワーク及び画像再構築部６が有している第２のニューラルネットワークのそれぞれがＣＮＮである場合、第１の特徴量検出部３４が有している第１のニューラルネットワーク及び第２の特徴量検出部３６が有している第１のニューラルネットワークは、自由パラメータとして、畳み込み層のカーネルだけを持っている。このため、カーネルのサイズが同じであれば、パラメータ更新部７により更新されたパラメータを学習済みのパラメータとして利用できるため、図１の機械学習装置における各々の畳み込み層の特徴量マップと、図４の画像認識装置における各々の畳み込み層の特徴量マップとのサイズが異なっていてもよい。Note that the pooling layer included in the first neural network included in the second featurequantity detection unit 36 does not need to output position information.
When each of the first neural network included in the featureamount extraction unit 5 and the second neural network included in theimage reconstruction unit 6 of the machine learning device in FIG. 1 is a CNN, the first feature The first neural network included in thequantity detection unit 34 and the first neural network included in the second featurequantity detection unit 36 have only a convolution layer kernel as a free parameter. For this reason, if the kernel sizes are the same, the parameter updated by the parameter update unit 7 can be used as a learned parameter. Therefore, the feature amount map of each convolution layer in the machine learning device of FIG. The size of each convolutional layer in the image recognition apparatus may be different from the size map.

　登録画像記憶部３１は、１つ以上の書類画像を登録画像として記憶している。
　この登録画像は、図１の機械学習装置の学習画像記憶部１に記憶されている書類画像と同じ書類画像であってもよいし、図１の機械学習装置の学習画像記憶部１に記憶されている書類画像と異なる書類画像であってもよい。
　認識対象画像記憶部３２は、認識対象の書類画像である認識対象画像を記憶している。
　特徴量検出部３３は、登録画像記憶部３１に記憶されている登録画像の特徴量を特徴量記憶部３７に登録する登録処理と、認識対象画像記憶部３２に記憶されている認識対象画像と類似している登録画像を検索する検索処理を可能にするために、認識対象画像の特徴量を抽出する前処理とを実施する。The registeredimage storage unit 31 stores one or more document images as registered images.
This registered image may be the same document image as the document image stored in the learningimage storage unit 1 of the machine learning device in FIG. 1, or may be stored in the learningimage storage unit 1 of the machine learning device in FIG. The document image may be different from the existing document image.
The recognition targetimage storage unit 32 stores a recognition target image that is a document image to be recognized.
The featureamount detection unit 33 includes a registration process for registering the feature amount of the registered image stored in the registeredimage storage unit 31 in the featureamount storage unit 37, and a recognition target image stored in the recognition targetimage storage unit 32. In order to enable search processing for searching for similar registered images, pre-processing for extracting feature amounts of recognition target images is performed.

　最初に、特徴量検出部３３の登録処理の動作について説明する。
　特徴量検出部３３の第１の特徴量検出部３４は、登録画像記憶部３１に記憶されている１つ以上の登録画像の中から、１つの登録画像を順番に入力する。
　第１の特徴量検出部３４が有している第１のニューラルネットワークは、１つの登録画像を入力すると、登録画像の特徴量を出力する。
　第１の特徴量検出部３４は、登録画像の特徴量を特徴量記憶部３７に格納するとともに、登録画像の特徴量を画像再生成部３５に出力する。First, the registration processing operation of the featureamount detection unit 33 will be described.
The first featureamount detection unit 34 of the featureamount detection unit 33 inputs one registered image in order from one or more registered images stored in the registeredimage storage unit 31.
When the first neural network included in the first featurequantity detection unit 34 receives one registered image, the first neural network outputs the feature quantity of the registered image.
The first featureamount detection unit 34 stores the feature amount of the registered image in the featureamount storage unit 37 and outputs the feature amount of the registered image to theimage regeneration unit 35.

　特徴量検出部３３の画像再生成部３５は、第１の特徴量検出部３４から出力された登録画像の特徴量を入力する。
　画像再生成部３５が有している第２のニューラルネットワークは、登録画像の特徴量を入力すると、登録画像を再構築した画像である再構築登録画像を出力する。
　画像再生成部３５は、再構築登録画像を第２の特徴量検出部３６及び画像検索部３８に出力する。
　画像検索部３８の画像記憶部３８ａは、画像再生成部３５から出力された再構築登録画像を記憶する。
　なお、画像再生成部３５から出力される再構築登録画像は、登録画像の二値画像に相当する画像ではあるが、登録画像の特徴量から再構築した画像であるため、登録画像の二値画像と完全に一致しているとは限らない。Theimage regeneration unit 35 of the featureamount detection unit 33 inputs the feature amount of the registered image output from the first featureamount detection unit 34.
When the second neural network included in theimage regeneration unit 35 receives the feature amount of the registered image, the second neural network outputs a reconstructed registered image that is an image obtained by reconstructing the registered image.
Theimage regeneration unit 35 outputs the reconstructed registration image to the second featureamount detection unit 36 and theimage search unit 38.
The image storage unit 38 a of theimage search unit 38 stores the reconstructed registered image output from theimage regeneration unit 35.
Note that the reconstructed registered image output from theimage regenerating unit 35 is an image corresponding to the binary image of the registered image, but is an image reconstructed from the feature amount of the registered image. It does not necessarily match the image completely.

　特徴量検出部３３の第２の特徴量検出部３６は、画像再生成部３５から出力された再構築登録画像を入力する。
　第２の特徴量検出部３６が有している第１のニューラルネットワークは、再構築登録画像を入力すると、再構築登録画像の特徴量を出力する。
　第２の特徴量検出部３６は、再構築登録画像の特徴量を特徴量記憶部３７に格納する。
　登録画像記憶部３１に記憶されている登録画像の個数がＮ個であれば、特徴量記憶部３７には、第１の特徴量検出部３４から出力されたＮ個の登録画像の特徴量と、第２の特徴量検出部３６から出力されたＮ個の再構築登録画像の特徴量が記憶される。
　第２の特徴量検出部３６から出力された再構築登録画像の特徴量は、画像再生成部３５により再構築された画像である再構築登録画像から抽出された特徴量であるため、第１の特徴量検出部３４が有している第１のニューラルネットワークから出力された登録画像の特徴量よりも、多くの外乱の影響が除去されている。The second featurequantity detection unit 36 of the featurequantity detection unit 33 receives the reconstructed registration image output from theimage regeneration unit 35.
When the first neural network included in the second featureamount detection unit 36 inputs the reconstructed registered image, the first neural network outputs the feature amount of the reconstructed registered image.
The second featurequantity detection unit 36 stores the feature quantity of the reconstructed registration image in the featurequantity storage unit 37.
If the number of registered images stored in the registeredimage storage unit 31 is N, the featureamount storage unit 37 stores the feature amounts of the N registered images output from the first featureamount detection unit 34. The feature amounts of the N reconstructed registration images output from the second featureamount detection unit 36 are stored.
Since the feature amount of the reconstructed registered image output from the second featureamount detecting unit 36 is a feature amount extracted from the reconstructed registered image that is an image reconstructed by theimage regenerating unit 35, the first feature amount is extracted. The influence of disturbance is removed more than the feature amount of the registered image output from the first neural network included in the featureamount detection unit 34.

　次に、特徴量検出部３３による検索処理の前処理について説明する。
　特徴量検出部３３の第１の特徴量検出部３４は、認識対象画像記憶部３２に記憶されている認識対象の書類画像である認識対象画像を入力する。
　第１の特徴量検出部３４が有している第１のニューラルネットワークは、認識対象画像を入力すると、認識対象画像の特徴量を出力する
　第１の特徴量検出部３４は、認識対象画像の特徴量を画像再生成部３５及び画像検索部３８のそれぞれに出力する。Next, preprocessing of search processing by the featureamount detection unit 33 will be described.
The first featureamount detection unit 34 of the featureamount detection unit 33 inputs a recognition target image that is a document image to be recognized that is stored in the recognition targetimage storage unit 32.
When the recognition target image is input, the first neural network included in the first featureamount detection unit 34 outputs the feature amount of the recognition target image. The first featureamount detection unit 34 outputs the recognition target image. The feature amount is output to each of theimage regeneration unit 35 and theimage search unit 38.

　特徴量検出部３３が有している画像再生成部３５は、第１の特徴量検出部３４から出力された認識対象画像の特徴量を入力する。
　画像再生成部３５の第２のニューラルネットワークは、認識対象画像の特徴量を入力すると、認識対象画像を再構築した画像である再構築認識画像を出力する。
　画像再生成部３５は、再構築認識画像を第２の特徴量検出部３６に出力する。Theimage regeneration unit 35 included in the featureamount detection unit 33 inputs the feature amount of the recognition target image output from the first featureamount detection unit 34.
When the second neural network of theimage regeneration unit 35 receives the feature amount of the recognition target image, the second neural network outputs a reconstructed recognition image that is an image obtained by reconstructing the recognition target image.
Theimage regeneration unit 35 outputs the reconstructed recognition image to the second featureamount detection unit 36.

　特徴量検出部３３の第２の特徴量検出部３６は、画像再生成部３５から出力された再構築認識画像を入力する。
　第２の特徴量検出部３６が有している第１のニューラルネットワークは、再構築認識画像を入力すると、再構築認識画像の特徴量を出力する。
　第２の特徴量検出部３６は、再構築認識画像の特徴量を画像検索部３８に出力する。The second featureamount detection unit 36 of the featureamount detection unit 33 receives the reconstructed recognition image output from theimage regeneration unit 35.
When the first neural network included in the second featurequantity detection unit 36 receives the reconstruction recognition image, the first neural network outputs the feature quantity of the reconstruction recognition image.
The second featureamount detection unit 36 outputs the feature amount of the reconstructed recognition image to theimage search unit 38.

　登録画像記憶部３１に記憶されている１つ以上の登録画像と、認識対象画像記憶部３２に記憶されている認識対象画像とが、同じ環境下又は類似している環境下で取得された画像である場合、登録画像と認識対象画像とが受けている外乱の影響はほんとんど同じである。
　このため、画像検索部３８が、認識対象画像と類似している登録画像を検索する際、第１の特徴量検出部３４から出力された登録画像の特徴量と、第１の特徴量検出部３４から出力された認識対象画像の特徴量とを比較すれば十分である。したがって、多くの外乱の影響が除去されている第２の特徴量検出部３６から出力された再構築登録画像の特徴量と、多くの外乱の影響が除去されている第２の特徴量検出部３６から出力された再構築認識画像の特徴量とを比較する必要性が低い。An image acquired in the same environment or an environment in which one or more registered images stored in the registeredimage storage unit 31 and the recognition target image stored in the recognition targetimage storage unit 32 are the same or similar. In this case, the influence of disturbance on the registered image and the recognition target image is almost the same.
For this reason, when theimage search unit 38 searches for a registered image similar to the recognition target image, the feature amount of the registered image output from the first featureamount detection unit 34 and the first feature amount detection unit It is sufficient to compare the feature quantity of the recognition target image output from 34. Therefore, the feature quantity of the reconstructed registered image output from the second featurequantity detection unit 36 from which the influence of many disturbances has been removed, and the second feature quantity detection unit from which the influence of many disturbances has been removed. The necessity to compare with the feature amount of the reconstructed recognition image output from 36 is low.

　登録画像記憶部３１に記憶されている１つ以上の登録画像と、認識対象画像記憶部３２に記憶されている認識対象画像とが、異なる環境下で取得された画像である場合、登録画像と認識対象画像とが受けている外乱の影響が異なる。
　このため、画像検索部３８が、認識対象画像と類似している登録画像を検索する際、第１の特徴量検出部３４から出力された登録画像の特徴量と、第１の特徴量検出部３４から出力された認識対象画像の特徴量とを比較するだけでは不十分である。したがって、多くの外乱の影響が除去されている第２の特徴量検出部３６から出力された再構築登録画像の特徴量と、多くの外乱の影響が除去されている第２の特徴量検出部３６から出力された再構築認識画像の特徴量とを比較する必要性が高い。When one or more registered images stored in the registeredimage storage unit 31 and the recognition target image stored in the recognition targetimage storage unit 32 are images acquired in different environments, The influence of disturbance on the recognition target image is different.
For this reason, when theimage search unit 38 searches for a registered image similar to the recognition target image, the feature amount of the registered image output from the first featureamount detection unit 34 and the first feature amount detection unit It is not sufficient to simply compare the feature quantity of the recognition target image output from 34. Therefore, the feature quantity of the reconstructed registered image output from the second featurequantity detection unit 36 from which the influence of many disturbances has been removed, and the second feature quantity detection unit from which the influence of many disturbances has been removed. It is highly necessary to compare the feature amount of the reconstructed recognition image output from 36.

　この実施の形態１では、画像検索部３８による比較対象の特徴量が、第１の特徴量検出部３４から出力される登録画像の特徴量と認識対象画像の特徴量とにするのか、第２の特徴量検出部３６から出力される再構築登録画像の特徴量と再構築認識画像の特徴量とするのかは、事前にユーザによって設定されるものとする。
　以下、画像検索部３８による比較対象の特徴量が、第１の特徴量検出部３４から出力される登録画像の特徴量と認識対象画像の特徴量とする設定を「設定Ａ」と称する。
　画像検索部３８による比較対象の特徴量が、第２の特徴量検出部３６から出力される再構築登録画像の特徴量と再構築認識画像の特徴量とする設定を「設定Ｂ」と称する。In the first embodiment, whether the feature quantity to be compared by theimage search unit 38 is the feature quantity of the registered image output from the first featurequantity detection unit 34 and the feature quantity of the recognition target image. It is assumed that the feature amount of the reconstructed registered image and the feature amount of the reconstructed recognition image output from the featureamount detecting unit 36 is set in advance by the user.
Hereinafter, the setting in which the feature quantity to be compared by theimage search unit 38 is the feature quantity of the registered image and the feature quantity of the recognition target image output from the first featurequantity detection unit 34 is referred to as “setting A”.
A setting in which the feature quantity to be compared by theimage search unit 38 is the feature quantity of the reconstructed registered image and the feature quantity of the reconstructed recognition image output from the second featurequantity detection unit 36 is referred to as “setting B”.

　画像検索部３８は、設定Ａの場合、特徴量記憶部３７により記憶されている１つ以上の登録画像の特徴量のうち、第１の特徴量検出部３４から出力された１つ以上の登録画像の特徴量と、第１の特徴量検出部３４から出力された認識対象画像の特徴量との類似度を算出する。
　特徴量の類似度を算出するアルゴリズムは、特に限定するものではないが、例えば、コサイン類似度（Ｃｏｓｉｎｅ　Ｓｉｍｉｌａｒｉｔｙ）を使用することができる。
　画像検索部３８は、第１の特徴量検出部３４から出力された１つ以上の登録画像の特徴量と、第１の特徴量検出部３４から出力された認識対象画像の特徴量との類似度を算出すると、登録画像記憶部３１により記憶されている１つ以上の登録画像の中で、算出した類似度が最も高い登録画像を特定する。
　画像検索部３８は、特定した登録画像を、認識対象画像と類似している登録画像の検索結果として出力する。
　この場合、画像検索部３８が、認識対象画像と類似している登録画像を検索する際、画像再生成部３５及び第２の特徴量検出部３６が処理を実施する必要がないため、登録画像の検索結果が得られるまでの時間を短縮することができる。In the case of setting A, theimage search unit 38 outputs one or more registrations output from the first featureamount detection unit 34 among the feature amounts of one or more registered images stored in the featureamount storage unit 37. The similarity between the feature quantity of the image and the feature quantity of the recognition target image output from the first featurequantity detection unit 34 is calculated.
The algorithm for calculating the similarity of the feature quantity is not particularly limited, and for example, cosine similarity can be used.
Theimage search unit 38 resembles the feature amount of one or more registered images output from the first featureamount detection unit 34 and the feature amount of the recognition target image output from the first featureamount detection unit 34. When the degree is calculated, a registered image with the highest calculated similarity is specified among one or more registered images stored in the registeredimage storage unit 31.
Theimage search unit 38 outputs the specified registered image as a search result of registered images similar to the recognition target image.
In this case, when theimage search unit 38 searches for a registered image similar to the recognition target image, it is not necessary for theimage regeneration unit 35 and the second featureamount detection unit 36 to perform processing. The time until the search result is obtained can be shortened.

　画像検索部３８は、設定Ｂの場合、特徴量記憶部３７により記憶されている１つ以上の登録画像の特徴量のうち、第２の特徴量検出部３６から出力された１つ以上の再構築登録画像の特徴量と、第２の特徴量検出部３６から出力された再構築認識画像の特徴量との類似度を算出する。
　画像検索部３８は、第２の特徴量検出部３６から出力された１つ以上の再構築登録画像の特徴量と、第２の特徴量検出部３６から出力された再構築認識画像の特徴量との類似度を算出すると、画像記憶部３８ａにより記憶されている１つ以上の再構築登録画像の中で、算出した類似度が最も高い再構築登録画像を特定する。
　画像検索部３８は、特定した再構築登録画像に対応する登録画像を、認識対象画像と類似している登録画像の検索結果として出力する。
　この場合、画像検索部３８が、認識対象画像と類似している登録画像を検索する際、画像再生成部３５及び第２の特徴量検出部３６が前処理を実施する必要があるため、設定Ａの場合よりも、登録画像の検索結果が得られるまでの時間が長くなるが、登録画像と認識対象画像が取得された環境が異なる場合でも、認識対象画像と類似している登録画像の検索精度の劣化を抑えることができる。In the case of setting B, theimage search unit 38 selects one or more re-outputs output from the second featureamount detection unit 36 among the feature amounts of one or more registered images stored in the featureamount storage unit 37. The similarity between the feature quantity of the construction registration image and the feature quantity of the reconstructed recognition image output from the second featurequantity detection unit 36 is calculated.
Theimage search unit 38 includes the feature amount of one or more reconstructed registration images output from the second featureamount detection unit 36 and the feature amount of the reconstruction recognition image output from the second featureamount detection unit 36. When the similarity is calculated, the reconstructed registered image having the highest calculated similarity is specified among one or more reconstructed registered images stored in the image storage unit 38a.
Theimage search unit 38 outputs a registered image corresponding to the identified reconstructed registered image as a search result of registered images similar to the recognition target image.
In this case, when theimage search unit 38 searches for a registered image similar to the recognition target image, theimage regeneration unit 35 and the second featureamount detection unit 36 need to perform preprocessing. Although it takes longer to obtain a registered image search result than in the case of A, even if the registration image and the environment in which the recognition target image is acquired are different, it is possible to search for a registered image that is similar to the recognition target image. Degradation of accuracy can be suppressed.

　ここでは、設定Ｂの場合、画像検索部３８が、第２の特徴量検出部３６から出力された１つ以上の再構築登録画像の特徴量と、第２の特徴量検出部３６から出力された再構築認識画像の特徴量との類似度を算出する例を示しているが、これに限るものではなく、例えば、以下のようにして、類似度を算出する方法が考えられる。
　画像検索部３８は、第１の特徴量検出部３４から出力された１つ以上の登録画像の特徴量と、第１の特徴量検出部３４から出力された認識対象画像の特徴量との類似度（以下、類似度Ｒ１と称する）を算出する。
　また、画像検索部３８は、第２の特徴量検出部３６から出力された１つ以上の再構築登録画像の特徴量と、第２の特徴量検出部３６から出力された再構築認識画像の特徴量との類似度（以下、類似度Ｒ２と称する）を算出する。
　そして、画像検索部３８は、最終的な類似度Ｒとして、類似度Ｒ１と類似度Ｒ２の平均値、あるいは、類似度Ｒ１と類似度Ｒ２の重み付け加算値などを算出する。
　画像検索部３８は、最終的な類似度Ｒを算出すると、１つ以上の登録画像の中で、算出した類似度Ｒが最も高い登録画像を特定する。
　画像検索部３８は、特定した登録画像を、認識対象画像と類似している登録画像の検索結果として出力する。Here, in the case of setting B, theimage search unit 38 outputs the feature amount of one or more reconstructed registration images output from the second featureamount detection unit 36 and the second featureamount detection unit 36. In this example, the similarity with the feature amount of the reconstructed recognition image is calculated. However, the present invention is not limited to this. For example, a method of calculating the similarity as follows can be considered.
Theimage search unit 38 resembles the feature amount of one or more registered images output from the first featureamount detection unit 34 and the feature amount of the recognition target image output from the first featureamount detection unit 34. The degree (hereinafter referred to as similarity R1) is calculated.
Theimage search unit 38 also includes the feature quantities of one or more reconstructed registration images output from the second featurequantity detection unit 36 and the reconstruction recognition image output from the second featurequantity detection unit 36. A similarity with the feature amount (hereinafter referred to as similarity R2) is calculated.
Then, theimage search unit 38 calculates an average value of the similarity R1 and the similarity R2 or a weighted addition value of the similarity R1 and the similarity R2 as the final similarity R.
When the final similarity R is calculated, theimage search unit 38 specifies a registered image having the highest calculated similarity R among one or more registered images.
Theimage search unit 38 outputs the specified registered image as a search result of registered images similar to the recognition target image.

　この実施の形態１では、画像検索部３８が、登録画像記憶部３１に記憶されている登録画像毎に、当該登録画像の特徴量と認識対象画像の特徴量との類似度を算出する例を示している。
　同じ種類の登録画像（以下、同種登録画像と称する）が複数存在しており、複数の同種登録画像が登録画像記憶部３１に記憶されている場合、画像検索部３８が、特徴量記憶部３７により記憶されている複数の同種登録画像と、認識対象画像の特徴量との類似度をそれぞれ算出する。
　そして、画像検索部３８が、同種登録画像の特徴量と認識対象画像の特徴量との類似度として、それぞれ算出した類似度の平均値を算出するようにしてもよい。
　この場合、登録画像記憶部３１に記憶されている登録画像の個数がＮ個であっても、登録画像記憶部３１に記憶されている登録画像の種類がＭ（Ｎ≧Ｍ）であれば、画像検索部３８は、Ｍ種類の同種登録画像の中から、認識対象画像と類似している同種登録画像を検索するようになる。In the first embodiment, theimage search unit 38 calculates, for each registered image stored in the registeredimage storage unit 31, the similarity between the feature amount of the registered image and the feature amount of the recognition target image. Show.
When there are a plurality of registered images of the same type (hereinafter referred to as “same type registered images”) and a plurality of same type registered images are stored in the registeredimage storage unit 31, theimage search unit 38 performs the featureamount storage unit 37. The degree of similarity between the plurality of same-type registered images stored in the above and the feature amount of the recognition target image is calculated.
Then, theimage search unit 38 may calculate an average value of the calculated similarities as the similarity between the feature amount of the same type registered image and the feature amount of the recognition target image.
In this case, even if the number of registered images stored in the registeredimage storage unit 31 is N, if the type of registered image stored in the registeredimage storage unit 31 is M (N ≧ M), Theimage search unit 38 searches for the same type registered image similar to the recognition target image from among the M types of same type registered images.

　以上で明らかなように、この実施の形態１によれば、学習画像を二値画像に変換する二値画像変換部３と、学習画像を入力して、学習画像の特徴量を出力する第１のニューラルネットワークを有する特徴量抽出部５と、第１のニューラルネットワークから出力された特徴量を入力して、再構築画像を出力する第２のニューラルネットワークを有する画像再構築部６とを設け、パラメータ更新部７が、第２のニューラルネットワークから出力された再構築画像と、二値画像変換部３により変換された二値画像との差分に従って第１のニューラルネットワークのパラメータ及び第２のニューラルネットワークのパラメータのそれぞれを更新するように構成したので、教師データを用いることなく、学習画像を入力して、学習画像の特徴量を出力する第１のニューラルネットワークのパラメータを更新することができる効果を奏する。As is apparent from the above, according to the first embodiment, the binaryimage conversion unit 3 that converts the learning image into a binary image, and the first that inputs the learning image and outputs the feature amount of the learning image. A featurequantity extraction unit 5 having the above neural network, and animage reconstruction unit 6 having a second neural network that inputs the feature quantity output from the first neural network and outputs a reconstructed image, The parameter updating unit 7 determines the parameters of the first neural network and the second neural network according to the difference between the reconstructed image output from the second neural network and the binary image converted by the binaryimage converting unit 3. Since each parameter is updated, the learning image is input and the feature value of the learning image is output without using teacher data. That offers an advantage of being able to update the parameters of the first neural network.

　また、この実施の形態１によれば、登録画像が与えられると、登録画像の特徴量を出力し、認識対象画像が与えられると、認識対象画像の特徴量を出力するニューラルネットワークを有する特徴量検出部３３と、特徴量検出部３３が有しているニューラルネットワークから出力された登録画像の特徴量を記憶する特徴量記憶部３７と、特徴量記憶部３７により記憶されている１つ以上の登録画像の特徴量と、特徴量検出部３３が有しているニューラルネットワークから出力された認識対象画像の特徴量とを比較して、１つ以上の登録画像の中から、認識対象画像と類似している登録画像を検索する画像検索部３８とを備え、特徴量検出部３３が有しているニューラルネットワークのパラメータが機械学習装置によって更新されているように構成したので、機械学習装置によりパラメータが更新されたニューラルネットワークを用いて、認識対象画像と類似している登録画像を検索することができる効果を奏する。
　これにより、例えば、ユーザは、画像認識装置により検索された登録画像の種類を確認することで、認識対象画像の種類を把握することができるようになる。Further, according to the first embodiment, when a registered image is given, the feature amount of the registered image is output, and when the recognition target image is given, the feature amount having a neural network that outputs the feature amount of the recognition target image. Adetection unit 33, a featureamount storage unit 37 that stores the feature amount of the registered image output from the neural network included in the featureamount detection unit 33, and one or more stored in the featureamount storage unit 37 The feature amount of the registered image is compared with the feature amount of the recognition target image output from the neural network included in the featureamount detection unit 33, and similar to the recognition target image from one or more registered images. Animage search unit 38 for searching for registered images, and the neural network parameters of the featureamount detection unit 33 are updated by the machine learning device. Since the, using a neural network the parameters have been updated by the machine learning device, an effect which can be retrieved registered image that is similar to the recognition target image.
Thereby, for example, the user can grasp the type of the recognition target image by confirming the type of the registered image searched by the image recognition apparatus.

　この実施の形態１では、図４の画像認識装置の登録画像記憶部３１に記憶される登録画像が、図１の機械学習装置の学習画像記憶部１に記憶されている書類画像と同じ画像であってもよいし、図１の機械学習装置の学習画像記憶部１に記憶されている書類画像と異なる画像であってもよい旨を上述している。
　例えば、学習画像記憶部１に記憶される書類画像と、登録画像及び認識対象画像とを取得する環境が類似している場合、あるいは、書類のジャンルが、書類画像、登録画像及び認識対象画像の間で類似している場合、登録画像及び認識対象画像が、書類画像と異なる画像であっても、認識対象画像と類似している登録画像を検索することができる。
　即ち、図１の機械学習装置が、事前に書類画像と同じ登録画像及び認識対象画像を学習していない場合でも、認識対象画像と類似している登録画像を検索することができる。
　なお、取得する環境には、画像を撮影している環境のほか、画像取得機材の違いも含まれる。
　書類のジャンルが類似する態様として、例えば、異なる銀行の申請書又は異なる行政機関の用紙などが考えられる。In the first embodiment, the registered image stored in the registeredimage storage unit 31 of the image recognition device of FIG. 4 is the same image as the document image stored in the learningimage storage unit 1 of the machine learning device of FIG. It has been described above that the image may be different from the document image stored in the learningimage storage unit 1 of the machine learning device of FIG.
For example, when the document image stored in the learningimage storage unit 1 is similar to the environment for acquiring the registered image and the recognition target image, or the document genre is the document image, the registered image, and the recognition target image. If the registered image and the recognition target image are different from the document image, a registered image similar to the recognition target image can be searched.
That is, even when the machine learning apparatus of FIG. 1 does not learn the same registered image and recognition target image as the document image in advance, it is possible to search for a registered image similar to the recognition target image.
Note that the acquisition environment includes not only the environment in which images are taken but also differences in image acquisition equipment.
As an aspect in which the genre of the documents is similar, for example, an application form of a different bank or a form of a different administrative institution can be considered.

実施の形態２．
　上記実施の形態１では、特徴量抽出部５が有している第１のニューラルネットワーク及び画像再構築部６が有している第２のニューラルネットワークのパラメータの初期状態については、特に言及していない。
　この実施の形態２では、特徴量抽出部５が有している第１のニューラルネットワークは、何らかの学習データに基づいて事前にパラメータが学習されているニューラルネットワークであるものとする。
　また、画像再構築部６が有している第２のニューラルネットワークについても、何らかの学習データに基づいて事前にパラメータが学習されているニューラルネットワークであるものとする。Embodiment 2. FIG.
In the first embodiment, the initial state of the parameters of the first neural network included in the featureamount extraction unit 5 and the second neural network included in theimage reconstruction unit 6 is particularly referred to. Absent.
In the second embodiment, the first neural network included in the featurequantity extraction unit 5 is a neural network in which parameters are learned in advance based on some learning data.
The second neural network included in theimage reconstruction unit 6 is also a neural network in which parameters are learned in advance based on some learning data.

　また、図１の機械学習装置の学習画像記憶部１には、書類画像として認識対象画像が記憶されており、認識対象画像に基づいて、上記実施の形態１と同様に、パラメータ更新部７によって、第１のニューラルネットワークのパラメータ及び第２のニューラルネットワークのパラメータのそれぞれが更新されているものとする。
　この場合、上記実施の形態１よりも学習時間が増加してしまうが、認識対象画像と類似している登録画像を、上記実施の形態１よりも正確に検索することができるようになる。Further, the learningimage storage unit 1 of the machine learning apparatus in FIG. 1 stores a recognition target image as a document image. Based on the recognition target image, the parameter update unit 7 performs the same as in the first embodiment. It is assumed that the parameters of the first neural network and the parameters of the second neural network are updated.
In this case, although the learning time is increased as compared with the first embodiment, a registered image similar to the recognition target image can be searched more accurately than the first embodiment.

　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .

　この発明は、書類画像を入力して、書類画像の特徴量を出力するニューラルネットワークのパラメータを更新する機械学習装置に適している。
　また、この発明は、認識対象画像と類似している登録画像を検索する画像認識装置に適している。The present invention is suitable for a machine learning apparatus that inputs a document image and updates a parameter of a neural network that outputs a feature amount of the document image.
The present invention is also suitable for an image recognition apparatus that searches for registered images that are similar to the recognition target image.

　１　学習画像記憶部、２　サンプリング部、３　二値画像変換部、４　画像生成部、５　特徴量抽出部、６　画像再構築部、７　パラメータ更新部、８　パラメータ記憶部、１１　学習画像記憶回路、１２　サンプリング回路、１３　二値画像変換回路、１４　画像生成回路、１５　特徴量抽出回路、１６　画像再構築回路、１７　パラメータ更新回路、１８　パラメータ記憶回路、２１　メモリ、２２　ストレージ、２３　プロセッサ、２４　画像入力器、２５　結果出力器、３１　登録画像記憶部、３２　認識対象画像記憶部、３３　特徴量検出部、３４　第１の特徴量検出部、３５　画像再生成部、３６　第２の特徴量検出部、３７　特徴量記憶部、３８　画像検索部、３８ａ　画像記憶部、４１　登録画像記憶回路、４２　認識対象画像記憶回路、４３　特徴量検出回路、４４　特徴量記憶回路、４５　画像検索回路、５１　メモリ、５２　ストレージ、５３　プロセッサ、５４　画像入力器、５５　結果出力器。1 learning image storage unit, 2 sampling unit, 3 binary image conversion unit, 4 image generation unit, 5 feature quantity extraction unit, 6 image reconstruction unit, 7 parameter update unit, 8 parameter storage unit, 11 learning image storage circuit, 12 sampling circuit, 13 binary image conversion circuit, 14 image generation circuit, 15 feature extraction circuit, 16 image reconstruction circuit, 17 parameter update circuit, 18 parameter storage circuit, 21 memory, 22 storage, 23 processor, 24image input 25, result output unit, 31 registered image storage unit, 32 recognition target image storage unit, 33 feature quantity detection unit, 34 first feature quantity detection unit, 35 image regeneration unit, 36 second feature quantity detection unit, 37 feature quantity storage unit, 38 image search unit, 38a image storage unit, 41 registered image storage circuit, 42 recognition pair An image storage circuit, 43 feature amount detecting circuit, 44 feature amount storage circuit, 45 an image retrieval circuit, 51 a memory, 52 storage, 53 processor, 54 an image input unit, 55 result output unit.

Claims (15)

Translated fromJapanese

　学習対象の画像である学習画像を二値画像に変換する二値画像変換部と、
　前記学習画像を入力して、前記学習画像の特徴量を出力する第１のニューラルネットワークを有する特徴量抽出部と、
　前記第１のニューラルネットワークから出力された特徴量を入力して、前記学習画像を二値画像として再構築した画像である再構築画像を出力する第２のニューラルネットワークを有する画像再構築部と、
　前記第２のニューラルネットワークから出力された再構築画像と、前記二値画像変換部により変換された二値画像との差分に従って前記第１のニューラルネットワークのパラメータ及び前記第２のニューラルネットワークのパラメータのそれぞれを更新するパラメータ更新部と
　を備えた機械学習装置。A binary image conversion unit that converts a learning image, which is an image to be learned, into a binary image;
A feature quantity extraction unit having a first neural network that inputs the learning image and outputs the feature quantity of the learning image;
An image reconstruction unit having a second neural network that inputs a feature amount output from the first neural network and outputs a reconstructed image that is an image reconstructed from the learning image as a binary image;
According to the difference between the reconstructed image output from the second neural network and the binary image converted by the binary image converter, the parameters of the first neural network and the parameters of the second neural network A machine learning device comprising: a parameter updating unit for updating each.　複数の学習画像の中から、いずれか１つの学習画像を順番に選択し、前記選択した学習画像を前記二値画像変換部及び前記特徴量抽出部のそれぞれに出力するサンプリング部を備えたことを特徴とする請求項１記載の機械学習装置。A sampling unit that sequentially selects any one of the plurality of learning images and outputs the selected learning image to each of the binary image conversion unit and the feature amount extraction unit; The machine learning device according to claim 1, wherein:　前記サンプリング部は、前記選択した学習画像の画像サイズを変更するとともに、前記選択した学習画像を回転させる画像処理を実施し、画像処理後の学習画像の中から、一部の領域を抽出し、前記抽出した一部の領域を学習画像として、前記二値画像変換部及び前記特徴量抽出部のそれぞれに出力することを特徴とする請求項２記載の機械学習装置。The sampling unit changes the image size of the selected learning image, performs image processing for rotating the selected learning image, extracts a partial region from the learning image after image processing, The machine learning device according to claim 2, wherein the extracted part of the region is output as a learning image to each of the binary image conversion unit and the feature amount extraction unit.　学習対象の画像である学習画像の画素値を調整して、外乱の影響を受けている学習画像を生成し、前記生成した学習画像を前記特徴量抽出部に出力する画像生成部を備えたことを特徴とする請求項１記載の機械学習装置。An image generation unit that adjusts the pixel value of a learning image that is a learning target image, generates a learning image that is affected by a disturbance, and outputs the generated learning image to the feature amount extraction unit. The machine learning device according to claim 1.　前記特徴量抽出部は、前記第１のニューラルネットワークとして、畳み込みニューラルネットワークであるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔ）を有し、
　前記画像再構築部は、前記第２のニューラルネットワークとして、畳み込みニューラルネットワークであるＣＮＮを有していることを特徴とする請求項１記載の機械学習装置。The feature quantity extraction unit has a CNN (Convolutional Neural Net) which is a convolutional neural network as the first neural network,
The machine learning device according to claim 1, wherein the image reconstruction unit includes a CNN that is a convolutional neural network as the second neural network.　前記第１のニューラルネットワークは、前記学習画像の特徴量の畳み込みを行う畳み込み層を含んでおり、
　前記畳み込み層の入力特徴量マップと、前記畳み込み層の出力特徴量マップとが同じサイズであることを特徴とする請求項５記載の機械学習装置。The first neural network includes a convolution layer for performing convolution of the feature amount of the learning image,
6. The machine learning device according to claim 5, wherein the input feature value map of the convolution layer and the output feature value map of the convolution layer have the same size.　前記第１のニューラルネットワークは、前記入力特徴量マップの一部の領域である局所領域毎に、当該局所領域に含まれている特徴量の中で、最大の特徴量を抽出して、前記抽出した特徴量を出力するとともに、前記抽出した特徴量が存在している学習画像内の位置を示す位置情報を出力するプーリング層を含んでいることを特徴とする請求項６記載の機械学習装置。The first neural network extracts, for each local region that is a partial region of the input feature amount map, a maximum feature amount among the feature amounts included in the local region, and extracts the extracted feature amount The machine learning apparatus according to claim 6, further comprising: a pooling layer that outputs the position information indicating the position in the learning image in which the extracted feature value exists while outputting the extracted feature value.　前記第２のニューラルネットワークは、前記プーリング層から出力された特徴量及び位置情報を入力して、前記再構築画像を再構築する逆プーリング層を含んでいることを特徴とする請求項７記載の機械学習装置。The said 2nd neural network contains the reverse pooling layer which inputs the feature-value and position information which were output from the said pooling layer, and reconstructs the said reconstructed image, It is characterized by the above-mentioned. Machine learning device.　学習対象の画像である登録画像が与えられると、前記登録画像の特徴量を出力し、認識対象の学習画像である認識対象画像が与えられると、前記認識対象画像の特徴量を出力するニューラルネットワークを有する特徴量検出部と、
　前記ニューラルネットワークから出力された登録画像の特徴量を記憶する特徴量記憶部と、
　前記特徴量記憶部により記憶されている１つ以上の登録画像の特徴量と、前記ニューラルネットワークから出力された認識対象画像の特徴量とを比較して、前記１つ以上の登録画像の中から、前記認識対象画像と類似している登録画像を検索する画像検索部とを備え、
　前記特徴量検出部が有しているニューラルネットワークのパラメータが機械学習装置によって更新されていることを特徴とする画像認識装置。A neural network that outputs a feature amount of the registered image when a registered image that is a learning target image is given, and outputs a feature amount of the recognition target image when a recognition target image that is a recognition target learning image is given A feature amount detection unit having
A feature amount storage unit for storing a feature amount of a registered image output from the neural network;
The feature quantity of the one or more registered images stored in the feature quantity storage unit is compared with the feature quantity of the recognition target image output from the neural network, and the feature quantity is stored in the one or more registered images. An image search unit for searching for a registered image similar to the recognition target image,
An image recognition device, wherein a parameter of a neural network included in the feature amount detection unit is updated by a machine learning device.　前記機械学習装置は、
　学習対象の画像である学習画像を二値画像に変換する二値画像変換部と、
　前記学習画像を入力して、前記学習画像の特徴量を出力する第１のニューラルネットワークを有する特徴量抽出部と、
　前記第１のニューラルネットワークから出力された特徴量を入力して、前記学習画像を二値画像として再構築した画像である再構築画像を出力する第２のニューラルネットワークを有する画像再構築部と、
　前記第２のニューラルネットワークから出力された再構築画像と、前記二値画像変換部により変換された二値画像との差分に従って前記第１のニューラルネットワークのパラメータ及び前記第２のニューラルネットワークのパラメータのそれぞれを更新するパラメータ更新部とを備えており、
　前記特徴量検出部が有しているニューラルネットワークは、前記パラメータ更新部によりパラメータが更新された前記第１及び第２のニューラルネットワークであることを特徴とする請求項９記載の画像認識装置。The machine learning device includes:
A binary image conversion unit that converts a learning image, which is an image to be learned, into a binary image;
A feature quantity extraction unit having a first neural network that inputs the learning image and outputs the feature quantity of the learning image;
An image reconstruction unit having a second neural network that inputs a feature amount output from the first neural network and outputs a reconstructed image that is an image reconstructed from the learning image as a binary image;
According to the difference between the reconstructed image output from the second neural network and the binary image converted by the binary image converter, the parameters of the first neural network and the parameters of the second neural network And a parameter update unit for updating each,
10. The image recognition apparatus according to claim 9, wherein the neural network included in the feature amount detection unit is the first and second neural networks whose parameters are updated by the parameter update unit.　前記特徴量検出部は、
　前記登録画像を入力して、前記登録画像の特徴量を出力するとともに、前記認識対象画像を入力して、前記認識対象画像の特徴量を出力するニューラルネットワークとして、前記パラメータ更新部によりパラメータが更新された前記第１のニューラルネットワークを有する第１の特徴量検出部と、
　前記第１の特徴量検出部が有している第１のニューラルネットワークから出力された登録画像の特徴量を入力して、前記登録画像を再構築した画像である再構築登録画像を出力するとともに、前記第１の特徴量検出部が有している第１のニューラルネットワークから出力された認識対象画像の特徴量を入力して、前記認識対象画像を再構築した画像である再構築認識画像を出力するニューラルネットワークとして、前記パラメータ更新部によりパラメータが更新された前記第２のニューラルネットワークを有する画像再生成部と、
　前記画像再生成部が有している第２のニューラルネットワークから出力された再構築登録画像を入力して、前記再構築登録画像の特徴量を出力するとともに、前記画像再生成部が有している第２のニューラルネットワークから出力された再構築認識画像を入力して、前記再構築認識画像の特徴量を出力するニューラルネットワークとして、前記パラメータ更新部によりパラメータが更新された前記第１のニューラルネットワークを有する第２の特徴量検出部とを備えており、
　前記特徴量記憶部は、前記特徴量検出部が有しているニューラルネットワークから出力された登録画像の特徴量として、前記第１の特徴量検出部が有している第１のニューラルネットワークから出力された登録画像の特徴量及び前記第２の特徴量検出部が有している第１のニューラルネットワークから出力された再構築登録画像の特徴量のそれぞれを記憶することを特徴とする請求項１０記載の画像認識装置。The feature amount detection unit includes:
The parameter update unit updates the parameters as a neural network that inputs the registered image and outputs the feature amount of the registered image, and inputs the recognition target image and outputs the feature amount of the recognition target image. A first feature amount detection unit having the first neural network,
The feature amount of the registered image output from the first neural network included in the first feature amount detection unit is input, and a reconstructed registered image that is an image obtained by reconstructing the registered image is output. A reconstructed recognition image that is an image obtained by reconstructing the recognition target image by inputting the feature amount of the recognition target image output from the first neural network included in the first feature amount detection unit. As an output neural network, an image regeneration unit having the second neural network whose parameters are updated by the parameter update unit;
The reconstructed registered image output from the second neural network included in the image regenerating unit is input, the feature amount of the reconstructed registered image is output, and the image regenerating unit includes The first neural network whose parameters are updated by the parameter update unit as a neural network that inputs the reconstructed recognition image output from the second neural network and outputs the feature quantity of the reconstructed recognition image And a second feature amount detection unit having
The feature quantity storage unit outputs from the first neural network included in the first feature quantity detection unit as a feature quantity of a registered image output from the neural network included in the feature quantity detection unit. 11. The stored registered image feature amount and the feature amount of the reconstructed registered image output from the first neural network included in the second feature amount detection unit are stored. The image recognition apparatus described.　前記画像検索部は、前記特徴量記憶部により記憶されている１つ以上の登録画像の特徴量のうち、前記第１の特徴量検出部が有している第１のニューラルネットワークから出力された１つ以上の登録画像の特徴量と、前記第１の特徴量検出部が有している第１のニューラルネットワークから出力された認識対象画像の特徴量とを比較して、１つ以上の登録画像の中から、前記認識対象画像と類似している登録画像を検索し、あるいは、前記特徴量記憶部により記憶されている１つ以上の登録画像の特徴量のうち、前記第２の特徴量検出部が有している第１のニューラルネットワークから出力された１つ以上の再構築登録画像の特徴量と、前記第２の特徴量検出部が有している第１のニューラルネットワークから出力された再構築認識画像の特徴量とを比較して、１つ以上の再構築登録画像の中から、前記再構築認識画像と類似している再構築登録画像を検索することを特徴とする請求項１１記載の画像認識装置。The image search unit is output from a first neural network included in the first feature quantity detection unit among the feature quantities of one or more registered images stored in the feature quantity storage unit. Comparing the feature quantity of one or more registered images with the feature quantity of the recognition target image output from the first neural network included in the first feature quantity detection unit, one or more registrations A registered image similar to the recognition target image is searched from images, or the second feature amount among the feature amounts of one or more registered images stored in the feature amount storage unit. Feature values of one or more reconstructed registered images output from the first neural network that the detection unit has, and output from the first neural network that the second feature value detection unit has Reconstructed recognition image The image recognition apparatus according to claim 11, wherein a reconstructed registered image similar to the reconstructed recognized image is searched from one or more reconstructed registered images by comparing the collected amount. .　前記画像検索部は、前記特徴量記憶部により記憶されている１つ以上の登録画像の特徴量と、前記ニューラルネットワークから出力された認識対象画像の特徴量との類似度をそれぞれ算出し、それぞれ算出した類似度に基づいて、前記１つ以上の登録画像の中から、前記認識対象画像と類似している登録画像を検索することを特徴とする請求項９記載の画像認識装置。The image search unit calculates the similarity between the feature amount of one or more registered images stored in the feature amount storage unit and the feature amount of the recognition target image output from the neural network, The image recognition apparatus according to claim 9, wherein a registered image similar to the recognition target image is searched from the one or more registered images based on the calculated similarity.　前記特徴量記憶部には、同じ種類の登録画像である同種登録画像が複数記憶されており、
　前記画像検索部は、前記特徴量記憶部により記憶されている複数の同種登録画像と、前記ニューラルネットワークから出力された認識対象画像の特徴量との類似度をそれぞれ算出し、前記複数の同種登録画像を１つの登録画像とみなし、前記１つの登録画像の特徴量と前記認識対象画像の特徴量との類似度として、それぞれ算出した類似度の平均値を算出することを特徴とする請求項１３記載の画像認識装置。In the feature amount storage unit, a plurality of same-type registered images that are registered images of the same type are stored,
The image search unit calculates the similarity between the plurality of same type registration images stored in the feature amount storage unit and the feature amount of the recognition target image output from the neural network, and the plurality of same type registrations. The image is regarded as one registered image, and an average value of the calculated similarities is calculated as the similarity between the feature amount of the one registered image and the feature amount of the recognition target image. The image recognition apparatus described.　前記学習画像として、前記認識対象画像が、前記二値画像変換部及び前記特徴量抽出部に与えられることを特徴とする請求項１０記載の画像認識装置。11. The image recognition apparatus according to claim 10, wherein the recognition target image is given to the binary image conversion unit and the feature amount extraction unit as the learning image.

Images