WO2024142882A1

Movatterモバイル変換

Info

Publication number: WO2024142882A1
Application number: PCT/JP2023/044221
Authority: WO
Inventors: 諒川合
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2022-12-26
Filing date: 2023-12-11
Publication date: 2024-07-04
Anticipated expiration: 2025-06-26
Also published as: JPWO2024142882A1

Abstract

The present invention provides a processing device comprising: an acquisition unit that acquires a search query; a search unit that matches the search query with a plurality of sample images and searches for a sample image that matches the search query; a registration unit that registers the matching results in a matching history indicating one or a plurality of sample images matched in each matching; and an aggregation output unit that generates and outputs aggregation information regarding the matching results for a selected sample image among the plurality of sample images on the basis of the matching history.

Description

Translated fromJapanese

処理装置、処理方法、及び記録媒体Processing device, processing method, and recording medium

　本発明は、処理装置、処理方法、及びプログラムに関する。The present invention relates to a processing device, a processing method, and a program.

　本発明に関連する技術が、特許文献１及び２に開示されている。特許文献１及び２に開示の技術は、各種姿勢の人物を示す画像を格納したデータベースを作成する。そして、当該技術は、ユーザが指定した検索クエリにマッチングする画像を当該データベースの中から検索し、出力する。Technologies related to the present invention are disclosed inPatent Documents 1 and 2. The technologies disclosed inPatent Documents 1 and 2 create a database that stores images of people in various poses. The technologies then search the database for images that match a search query specified by the user and output the images.

国際公開第２０２１／０８４６７７号公報International Publication No. 2021/084677特開２０１９－０９１１３８号公報JP 2019-091138 A

　検索クエリにマッチングする画像をデータベースの中から検索し、出力する技術においては、データベースにどのような画像を登録しておくかが重要となる。In technology that searches a database for images that match a search query and outputs them, it is important to consider what images to register in the database.

　多数かつ多様な画像をデータベースに登録しておくことで、検索クエリにマッチングする画像を検索できる確率が高くなる。例えば、様々な姿勢（例：座った姿勢、立った姿勢等）の人物の画像をデータベースに登録しておくことで、検索クエリにマッチングする画像を検索できる確率が高くなる。また、ある種の画像（例：座った姿勢の画像）を１枚だけデータベースに登録するのでなく、バリエーションの複数の画像を多数登録することで、検索クエリにマッチングする画像を検索できる確率が高くなる。By registering a large number of diverse images in the database, the probability of being able to search for images that match the search query increases. For example, by registering images of people in various poses (e.g., sitting, standing, etc.) in the database, the probability of being able to search for images that match the search query increases. Also, rather than registering only one image of a certain type (e.g., an image of a person in a sitting pose) in the database, registering multiple images with multiple variations increases the probability of being able to search for images that match the search query.

　一方で、データベースに登録する画像の数が増えるほど、画像の記憶に要する記憶容量が大きくなる。結果、コストやデータ管理に要する労力等の負担が大きくなる。On the other hand, the more images you register in the database, the more memory capacity you need to store the images. As a result, the cost and effort required for data management become a big burden.

　このような点等を考慮しながら、データベースに登録する画像群を最適化する必要がある。最適化は、例えば余分な画像をデータベースから削除したり、不足している画像をデータベースに追加登録したりする作業である。Taking these points into consideration, it is necessary to optimize the set of images to be registered in the database. Optimization involves, for example, deleting redundant images from the database and adding missing images to the database.

　しかし、データベースにはある程度の数の画像が登録される。このため、登録されている画像群の全体像を把握し、どの画像が余分な存在なのか、またどのような画像が不足しているのか等を特定するのは容易でない。そこで、データベースに登録されている画像群の最適化を支援する技術が求められている。However, a certain number of images are registered in a database. For this reason, it is not easy to grasp the overall picture of the registered images and identify which images are redundant and which images are missing. Therefore, there is a demand for technology that can help optimize the images registered in a database.

　特許文献１及び２に開示の技術はいずれも、検索クエリにマッチングする画像をデータベースの中から検索し、出力する技術である。特許文献１及び２はいずれも、データベースに登録されている画像群の最適化を支援することはできない。The technologies disclosed inPatent Documents 1 and 2 are both technologies that search a database for images that match a search query and output them. NeitherPatent Document 1 nor 2 can assist in optimizing the group of images registered in the database.

　本発明の目的の一例は、上述した問題を鑑み、検索クエリにマッチングする画像をデータベースの中から検索し、出力する技術において、データベースに登録されている画像群の最適化を支援するという課題を解決する処理装置、処理方法、及びプログラムを提供することにある。In view of the above-mentioned problems, one example of the objective of the present invention is to provide a processing device, processing method, and program that solve the problem of supporting the optimization of a group of images registered in a database in a technology that searches a database for images that match a search query and outputs the images.

　本発明の一態様によれば、
　検索クエリを取得する取得手段と、
　前記検索クエリと複数のサンプル画像とを照合し、前記検索クエリとマッチングする前記サンプル画像を検索する検索手段と、
　各回の前記照合でマッチングした１つ又は複数の前記サンプル画像を示す照合履歴に、前記照合の結果を登録する登録手段と、
　複数の前記サンプル画像の中の選択サンプル画像についての前記照合の結果に関する集計情報を前記照合履歴に基づき生成し、出力する集計出力手段と
を有する処理装置が提供される。According to one aspect of the present invention,
An acquisition means for acquiring a search query;
a search means for matching the search query with a plurality of sample images to search for the sample images that match the search query;
a registration means for registering a result of the matching in a matching history indicating one or more of the sample images matched in each matching;
and a compilation output means for generating compilation information on the result of the matching for a selected sample image from among the plurality of sample images based on the matching history and outputting the compilation information.

　本発明の一態様によれば、
　１つ以上のコンピュータが、
　　検索クエリを取得し、
　　前記検索クエリと複数のサンプル画像とを照合し、前記検索クエリとマッチングする前記サンプル画像を検索し、
　　各回の前記照合でマッチングした１つ又は複数の前記サンプル画像を示す照合履歴に、前記照合の結果を登録し、
　　複数の前記サンプル画像の中の選択サンプル画像についての前記照合の結果に関する集計情報を前記照合履歴に基づき生成し、出力する処理方法が提供される。According to one aspect of the present invention,
One or more computers
Get the search query,
Matching the search query against a plurality of sample images to search for sample images that match the search query;
registering the result of the matching in a matching history indicating one or more of the sample images matched in each matching;
A processing method is provided for generating and outputting summary information regarding the results of the matching for selected sample images from among the plurality of sample images based on the matching history.

　本発明の一態様によれば、
　コンピュータを、
　　検索クエリを取得する取得手段、
　　前記検索クエリと複数のサンプル画像とを照合し、前記検索クエリとマッチングする前記サンプル画像を検索する検索手段、
　　各回の前記照合でマッチングした１つ又は複数の前記サンプル画像を示す照合履歴に、前記照合の結果を登録する登録手段、
　　複数の前記サンプル画像の中の選択サンプル画像についての前記照合の結果に関する集計情報を前記照合履歴に基づき生成し、出力する集計出力手段、
として機能させるプログラムが提供される。According to one aspect of the present invention,
Computer,
A means for obtaining a search query;
a search means for matching the search query with a plurality of sample images and searching for the sample images that match the search query;
a registration means for registering a result of the matching in a matching history indicating one or more of the sample images matched in each matching;
a compilation output means for generating compilation information on the result of the matching for a selected sample image from among the plurality of sample images based on the matching history, and outputting the compilation information;
A program is provided to function as a

　本発明の一態様によれば、検索クエリにマッチングする画像をデータベースの中から検索し、出力する技術において、データベースに登録されている画像群の最適化を支援するという課題を解決する処理装置、処理方法、及びプログラムが実現される。According to one aspect of the present invention, a processing device, processing method, and program are realized that solve the problem of supporting the optimization of a group of images registered in a database in a technology for searching a database for images that match a search query and outputting the images.

　上述した目的及びその他の目的、特徴及び利点は、以下に述べる公的な実施の形態、及びそれに付随する以下の図面によってさらに明らかになる。The above-mentioned objects, as well as other objects, features and advantages, will become more apparent from the following exemplary embodiments and accompanying drawings.

処理装置の機能ブロック図の一例を示す図である。FIG. 2 is a diagram illustrating an example of a functional block diagram of a processing device.処理装置のハードウエア構成の一例を示す図である。FIG. 2 illustrates an example of a hardware configuration of a processing device.処理装置が生成する照合履歴の一例を模式的に示す図である。FIG. 10 is a diagram illustrating an example of a matching history generated by the processing device.処理装置が生成する集計情報の一例を模式的に示す図である。FIG. 10 is a diagram illustrating an example of tally information generated by the processing device.処理装置の処理の流れの一例を示すフローチャートである。11 is a flowchart showing an example of a processing flow of the processing device.処理装置の処理の流れの他の一例を示すフローチャートである。13 is a flowchart showing another example of the processing flow of the processing device.処理装置が生成する照合履歴の他の一例を模式的に示す図である。FIG. 10 is a diagram illustrating another example of a collation history generated by the processing device.処理装置が出力する情報の一例を模式的に示す図である。FIG. 10 is a diagram illustrating an example of information output by the processing device.処理装置が出力する情報の他の一例を模式的に示す図である。FIG. 10 is a diagram illustrating another example of information output by the processing device.処理装置が出力する情報の他の一例を模式的に示す図である。FIG. 10 is a diagram illustrating another example of information output by the processing device.処理装置が出力する情報の他の一例を模式的に示す図である。FIG. 10 is a diagram illustrating another example of information output by the processing device.処理装置が出力する情報の他の一例を模式的に示す図である。FIG. 10 is a diagram illustrating another example of information output by the processing device.

　以下、本発明の実施の形態について、図面を用いて説明する。なお、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。Below, an embodiment of the present invention will be described with reference to the drawings. Note that in all drawings, similar components are given similar reference numerals and descriptions will be omitted where appropriate.

＜第１の実施形態＞
　図１は、第１の実施形態に係る処理装置１０の概要を示す機能ブロック図である。処理装置１０は、取得部１１と、検索部１２と、登録部１３と、集計出力部１４とを有する。First Embodiment
1 is a functional block diagram showing an overview of aprocessing device 10 according to the first embodiment. Theprocessing device 10 includes anacquisition unit 11, asearch unit 12, aregistration unit 13, and atally output unit 14.

　取得部１１は、検索クエリを取得する。検索部１２は、検索クエリと複数のサンプル画像とを照合し、検索クエリとマッチングするサンプル画像を検索する。登録部１３は、各回の照合でマッチングした１つ又は複数のサンプル画像を示す照合履歴に、照合の結果を登録する。集計出力部１４は、複数のサンプル画像の中の選択サンプル画像についての照合の結果に関する集計情報を照合履歴に基づき生成し、出力する。Theacquisition unit 11 acquires a search query. Thesearch unit 12 matches the search query with a plurality of sample images and searches for sample images that match the search query. Theregistration unit 13 registers the results of the matching in a matching history that indicates one or more sample images that match in each matching. Thesummary output unit 14 generates and outputs summary information regarding the results of matching for a selected sample image from among the plurality of sample images based on the matching history.

　このように、処理装置１０は、検索クエリにマッチングするサンプル画像をデータベースの中から検索する検索処理を行う。そして、処理装置１０は、各回の検索処理における検索クエリとサンプル画像の照合の結果を、照合履歴として登録する。処理装置１０は。この照合履歴を用いて、照合の結果に関する集計情報をサンプル画像毎に生成し、出力する。集計情報は、例えば過去の検索処理でマッチングした回数等を示す。ユーザは、このような集計情報に基づき、どの画像が余分な存在なのか、またどのような画像が不足しているのか等を特定することができる。In this way, theprocessing device 10 performs a search process to search the database for sample images that match the search query. Theprocessing device 10 then registers the results of matching the search query and sample images in each search process as a matching history. Theprocessing device 10 uses this matching history to generate and output aggregated information regarding the matching results for each sample image. The aggregated information indicates, for example, the number of times matching occurred in past search processes. Based on such aggregated information, the user can identify which images are redundant, what images are missing, etc.

　このように、本実施形態の処理装置１０によれば、検索クエリにマッチングする画像をデータベースの中から検索し、出力する技術において、データベースに登録されている画像群の最適化を支援するという課題が解決される。In this way, theprocessing device 10 of this embodiment solves the problem of supporting the optimization of images registered in a database in a technology that searches a database for images that match a search query and outputs the images.

＜第２の実施形態＞
「概要」
　本実施形態の処理装置１０は、第１の実施形態の処理装置１０を具体化したものである。本実施形態では、処理装置１０の構成が具体化される。また、本実施形態では、第１の実施形態で述べた「集計情報」が具体化される。Second Embodiment
"overview"
Theprocessing device 10 of the present embodiment is a specific embodiment of theprocessing device 10 of the first embodiment. In the present embodiment, the configuration of theprocessing device 10 is specific. In addition, in the present embodiment, the "aggregated information" described in the first embodiment is specific.

「ハードウエア構成」
　次に、処理装置１０のハードウエア構成の一例を説明する。処理装置１０の各機能部は、ハードウエアとソフトウエアの任意の組合せによって実現される。その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。ソフトウエアは、予め装置を出荷する段階から格納されているプログラムや、ＣＤ（Compact Disc）等の記録媒体やインターネット上のサーバ等からダウンロードされたプログラム等を含む。"Hardware Configuration"
Next, an example of the hardware configuration of theprocessing device 10 will be described. Each functional unit of theprocessing device 10 is realized by any combination of hardware and software. Those skilled in the art will understand that there are various variations in the realization method and device. The software includes programs that are stored in the device before it is shipped, and programs downloaded from recording media such as CDs (Compact Discs) or servers on the Internet.

　図２は、処理装置１０のハードウエア構成を例示するブロック図である。図２に示すように、処理装置１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置１０は周辺回路４Ａを有さなくてもよい。なお、処理装置１０は物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記ハードウエア構成を備えることができる。FIG. 2 is a block diagram illustrating an example of the hardware configuration of theprocessing device 10. As shown in FIG. 2, theprocessing device 10 has aprocessor 1A, amemory 2A, an input/output interface 3A, aperipheral circuit 4A, and abus 5A. Theperipheral circuit 4A includes various modules. Theprocessing device 10 does not have to have theperipheral circuit 4A. Theprocessing device 10 may be composed of multiple devices that are physically and/or logically separated. In this case, each of the multiple devices can have the above hardware configuration.

　バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）等の演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイス等を含む。また、入出力インターフェイス３Ａはインターネット等の通信ネットワークに接続するためのインターフェイスを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。Thebus 5A is a data transmission path for theprocessor 1A,memory 2A,peripheral circuit 4A, and input/output interface 3A to send and receive data to each other. Theprocessor 1A is an arithmetic processing device such as a CPU or a GPU (Graphics Processing Unit). Thememory 2A is a memory such as a RAM (Random Access Memory) or a ROM (Read Only Memory). The input/output interface 3A includes interfaces for acquiring information from an input device, an external device, an external server, an external sensor, a camera, etc., and interfaces for outputting information to an output device, an external device, an external server, etc. The input/output interface 3A also includes an interface for connecting to a communication network such as the Internet. Examples of input devices include a keyboard, a mouse, a microphone, a physical button, a touch panel, etc. Examples of output devices include a display, a speaker, a printer, a mailer, etc. Theprocessor 1A can issue commands to each module and perform calculations based on the results of those calculations.

「機能構成」
　次に、本実施形態の処理装置１０の機能構成を詳細に説明する。図１に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、検索部１２と、登録部１３と、集計出力部１４とを有する。"Function Configuration"
Next, a detailed description will be given of the functional configuration of theprocessing device 10 of this embodiment. Fig. 1 shows an example of a functional block diagram of theprocessing device 10. As shown in the figure, theprocessing device 10 has anacquisition unit 11, asearch unit 12, aregistration unit 13, and atally output unit 14.

　取得部１１は、検索クエリを取得する。検索クエリは、例えばクエリ画像である。クエリ画像は、静止画像であってもよいし、動画像であってもよい。その他、検索クエリは、テキスト等でクエリ画像の特徴を示したデータであってもよい。クエリ画像の特徴は、クエリ画像に写る対象物の特徴である。クエリ画像に写る対象物は、人物、その他の動物、建築物、自然物、人工物等であるが、これらに限定されない。クエリ画像に写る対象物の特徴は、顔の特徴、身体の特徴、服の特徴、持ち物の特徴、姿勢の特徴、歩容の特徴、動きの特徴、移動軌跡、大きさ、位置、色、形状、特徴点の情報等であるが、これらに限定されない。Theacquisition unit 11 acquires a search query. The search query is, for example, a query image. The query image may be a still image or a moving image. Alternatively, the search query may be data indicating the features of the query image in text or the like. The features of the query image are the features of an object appearing in the query image. The objects appearing in the query image include, but are not limited to, people, other animals, buildings, natural objects, man-made objects, etc. The features of an object appearing in the query image include, but are not limited to, facial features, body features, clothing features, possessions, posture features, gait features, movement features, movement trajectories, size, position, color, shape, feature point information, etc.

　ここで、取得部１１が検索クエリを取得する手段の一例を説明する。例えば、ユーザが、処理装置１０の入力装置を介して検索クエリを入力してもよい。そして、取得部１１は、入力された検索クエリを取得してもよい。その他、処理装置１０はサーバであってもよい。そして、取得部１１は、クライアント端末から送信されてきた検索クエリを取得してもよい。その他、監視カメラが生成した画像が処理装置１０に入力されてもよい。そして、取得部１１は、監視カメラが生成した画像を、検索クエリとして取得してもよい。なお、取得部１１が検索クエリを取得する手段は、ここで示した例に限定されない。Here, an example of the means by which theacquisition unit 11 acquires a search query will be described. For example, a user may input a search query via an input device of theprocessing device 10. Then, theacquisition unit 11 may acquire the input search query. Alternatively, theprocessing device 10 may be a server. Then, theacquisition unit 11 may acquire a search query transmitted from a client terminal. Alternatively, an image generated by a surveillance camera may be input to theprocessing device 10. Then, theacquisition unit 11 may acquire the image generated by the surveillance camera as a search query. Note that the means by which theacquisition unit 11 acquires a search query is not limited to the example shown here.

　検索部１２は、取得部１１が取得した検索クエリとマッチングするサンプル画像を検索する。Thesearch unit 12 searches for sample images that match the search query acquired by theacquisition unit 11.

　予め、検索の目的に応じた複数のサンプル画像が記憶装置に記憶されている。例えば、検索の目的が「検索クエリで示される姿勢の人物が写る画像の検索」である場合、様々な姿勢の人物のサンプル画像が記憶装置に記憶される。また、検索の目的が「画像の撮影位置の特定」である場合、様々な位置で撮影されたサンプル画像が記憶装置に記憶される。なお、処理装置１０が上記記憶装置を備えてもよい。その他、処理装置１０と通信可能に構成された外部装置が、上記記憶装置を備えてもよい。Multiple sample images according to the purpose of the search are stored in advance in the storage device. For example, if the purpose of the search is to "search for images showing people in the poses indicated in the search query," sample images of people in various poses are stored in the storage device. Also, if the purpose of the search is to "identify the shooting position of an image," sample images taken in various positions are stored in the storage device. Note that theprocessing device 10 may be equipped with the above-mentioned storage device. Alternatively, an external device configured to be able to communicate with theprocessing device 10 may be equipped with the above-mentioned storage device.

　検索部１２は、取得部１１が取得した検索クエリと、複数のサンプル画像各々とを照合し、類似度を算出する。そして、検索部１２は、算出した類似度に基づき、検索クエリとマッチングするサンプル画像を特定する。検索クエリとマッチングする条件は、「類似度が基準値以上」である。なお、照合及び類似度の算出は、従来のあらゆる技術を用いて実現される。例えば、特許文献１に記載の技術を利用することができる。Thesearch unit 12 compares the search query acquired by theacquisition unit 11 with each of the multiple sample images and calculates the similarity. Thesearch unit 12 then identifies a sample image that matches the search query based on the calculated similarity. The condition for matching with the search query is that the "similarity is equal to or greater than a reference value." The comparison and calculation of the similarity can be achieved using any conventional technology. For example, the technology described inPatent Document 1 can be used.

　登録部１３は、各回の照合でマッチングした１つ又は複数のサンプル画像を示す照合履歴に、検索部１２による照合の結果を登録する。Theregistration unit 13 registers the results of matching by thesearch unit 12 in a matching history that indicates one or more sample images that were matched in each matching round.

　図３に、照合履歴の一例を模式的に示す。図示する照合履歴は、照合番号と、マッチングしたサンプル画像とを紐付けている。Figure 3 shows a schematic example of a matching history. The illustrated matching history links matching numbers with matching sample images.

　「照合番号」は、これまでに行われた複数回の照合を互いに識別する情報である。The "matching number" is information that distinguishes between multiple matches that have been performed.

　「マッチングしたサンプル画像」の欄には、各回の照合で検索クエリとマッチングしたサンプル画像の識別情報が登録される。The "Matched sample image" column registers the identification information of the sample image that matched the search query in each comparison.

　上述の通り、検索クエリとマッチングする条件は、「類似度が基準値以上」である。このため、図３に示すように、各回の照合で複数のサンプル画像が同時にマッチングする場合がある。As mentioned above, the condition for matching with a search query is that the degree of similarity must be equal to or greater than a certain threshold. For this reason, as shown in Figure 3, multiple sample images may be matched simultaneously in each comparison.

　図１に戻り、集計出力部１４は、複数のサンプル画像の中の選択サンプル画像についての照合の結果に関する集計情報を照合履歴に基づき生成し、出力する。Returning to FIG. 1, thetally output unit 14 generates and outputs tally information regarding the results of matching for a selected sample image from among multiple sample images based on the matching history.

　選択サンプル画像は、複数のサンプル画像の中から選択された少なくとも１つのサンプル画像である。ユーザが、当該選択を行ってもよい。その他、集計出力部１４が、予め定められた任意のルールで、当該選択を行ってもよい。以下の実施形態で、ユーザが当該選択を行う例を詳細に説明する。The selected sample image is at least one sample image selected from a plurality of sample images. The user may make the selection. Alternatively, thetally output unit 14 may make the selection according to any predetermined rule. In the following embodiment, an example in which the user makes the selection will be described in detail.

　選択サンプル画像に関する集計情報は、以下の情報の中の少なくとも１つを示す。
・マッチングした回数
・マッチング率
・同時にマッチングした他のサンプル画像の数の統計値
・同時にマッチングしたことがある他のサンプル画像
・同時にマッチングしたことがある他のサンプル画像各々と同時にマッチングした回数
・同時にマッチングしたことがある他のサンプル画像の中の同時にマッチングした回数が所定条件を満たすサンプル画像
・同時にマッチングしたことがある他のサンプル画像との類似度The summary information about the selected sample images indicates at least one of the following information:
- Number of matches - Matching rate - Statistics on the number of other sample images that have been matched at the same time - Other sample images that have been matched at the same time - Number of matches with each other sample image that has been matched at the same time - Sample images whose number of matches with other sample images that have been matched at the same time meets a specified condition - Similarity with other sample images that have been matched at the same time

　「マッチングした回数」は、図３に示す照合履歴で示される複数回の照合において、検索クエリとマッチングした回数である。マッチングした回数は、例えば、図３に示す照合履歴の「マッチングしたサンプル画像」の欄において、選択サンプル画像の識別情報が登録されている回数をカウントすることで算出される。The "number of matches" is the number of times the search query was matched during multiple matches shown in the matching history shown in Figure 3. The number of matches is calculated, for example, by counting the number of times the identification information of the selected sample image is registered in the "matched sample image" column of the matching history shown in Figure 3.

　「マッチング率」は、上述したマッチングした回数を、図３に示す照合履歴で示される照合の合計回数で割ることで算出される。The "matching rate" is calculated by dividing the number of matches mentioned above by the total number of matches shown in the matching history shown in Figure 3.

　「同時にマッチングした他のサンプル画像の数の統計値」は、選択サンプル画像がマッチングした時に同時にマッチングしていた他のサンプル画像の数の統計値である。統計値は、平均値、最大値、最小値、中央値、最頻値等である。上述の通り、検索クエリとマッチングする条件は、「類似度が基準値以上」である。このため、図３に示すように、各回の照合で複数のサンプル画像が同時にマッチングする場合がある。"Statistics for the number of other sample images that were matched at the same time" is a statistical value for the number of other sample images that were matched at the same time as the selected sample image was matched. The statistical values are the average, maximum, minimum, median, mode, etc. As mentioned above, the condition for matching with a search query is "similarity equal to or greater than a reference value." For this reason, as shown in Figure 3, multiple sample images may be matched at the same time in each comparison.

　「同時にマッチングしたことがある他のサンプル画像」は、選択サンプル画像と同時にマッチングしたことがあるサンプル画像である。"Other sample images that have been matched at the same time" are sample images that have been matched at the same time as the selected sample image.

　「同時にマッチングしたことがある他のサンプル画像各々と同時にマッチングした回数」は、選択サンプル画像と同時にマッチングしたことがあるサンプル画像毎に、選択サンプル画像と同時にマッチングした回数を示す。"Number of times it has been matched simultaneously with each other sample image that has been matched simultaneously" indicates the number of times it has been matched simultaneously with the selected sample image for each sample image that has been matched simultaneously with the selected sample image.

　「同時にマッチングしたことがある他のサンプル画像の中の同時にマッチングした回数が所定条件を満たすサンプル画像」は、選択サンプル画像と同時にマッチングした回数が所定条件を満たすサンプル画像である。所定条件は、例えば所定回数以上である。その他、選択サンプル画像と同時にマッチングした回数が多い順に他のサンプル画像をランク付けしてもよい。そして、当該ランクにおける上位所定割合以内、上位所定数以内、又は基準順位以内を、所定条件としてもよい。"A sample image among other sample images that have been matched simultaneously, the number of times that it has been matched simultaneously satisfies a specified condition" is a sample image whose number of times that it has been matched simultaneously with the selected sample image satisfies a specified condition. The specified condition is, for example, a specified number of times or more. Alternatively, the other sample images may be ranked in order of the number of times that it has been matched simultaneously with the selected sample image. The specified condition may then be within a specified percentage of the top rank, within a specified number of the top ranks, or within a reference ranking.

　「同時にマッチングしたことがある他のサンプル画像との類似度」は、選択サンプル画像と同時にマッチングしたことがある他のサンプル画像各々と、選択サンプル画像との類似度である。２つの画像間の類似度の算出は、従来のあらゆる技術を用いて実現される。"Similarity with other sample images that have been matched at the same time" refers to the similarity between the selected sample image and each of the other sample images that have been matched at the same time with the selected sample image. The calculation of the similarity between two images can be achieved using any conventional technology.

　集計出力部１４は、図３に示すような照合履歴に基づき、上述のような選択サンプル画像に関する集計情報を生成する。そして、集計出力部１４は、生成した選択サンプル画像に関する集計情報を出力する。例えば、集計出力部１４は、ディスプレイ、投影装置、プリンター等の出力装置を介して集計情報を出力してもよい。その他、処理装置１０はサーバであってもよい。そして、集計出力部１４は、クライアント端末に集計情報を送信してもよい。この場合、クライアント端末の出力装置が集計情報を出力する。Thetally output unit 14 generates tally information regarding the selected sample images as described above based on the matching history as shown in FIG. 3. Thetally output unit 14 then outputs the tally information regarding the selected sample images that it has generated. For example, thetally output unit 14 may output the tally information via an output device such as a display, a projection device, or a printer. Alternatively, theprocessing device 10 may be a server. Thetally output unit 14 may then transmit the tally information to a client terminal. In this case, the output device of the client terminal outputs the tally information.

　なお、集計出力部１４は、複数のサンプル画像の中から選択サンプル画像が選択される毎に、選択サンプル画像に関する集計情報を生成し、出力してもよい。その他、集計出力部１４は、予め、図４に示すように、最新の照合履歴に基づき、複数のサンプル画像各々の集計情報を生成しておいてもよい。そして、集計出力部１４は、複数のサンプル画像の中から選択サンプル画像が選択されると、複数のサンプル画像各々の集計情報の中から選択サンプル画像の集計情報を取り出し、出力してもよい。Thetally output unit 14 may generate and output tally information regarding the selected sample image each time the selected sample image is selected from the multiple sample images. Alternatively, thetally output unit 14 may generate tally information for each of the multiple sample images in advance based on the latest matching history, as shown in FIG. 4. Then, when the selected sample image is selected from the multiple sample images, thetally output unit 14 may extract and output the tally information for the selected sample image from the tally information for each of the multiple sample images.

　次に、図５及び図６のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。Next, an example of the processing flow of theprocessing device 10 will be described using the flowcharts in Figures 5 and 6.

　まず、図５のフローチャートを用いて、図３に示すような照合履歴を生成する処理の流れの一例を説明する。First, an example of the process flow for generating a matching history as shown in FIG. 3 will be described using the flowchart in FIG. 5.

　処理装置１０は、検索クエリを取得すると（Ｓ１０）、検索クエリと複数のサンプル画像とを照合し、検索クエリとマッチングするサンプル画像を検索する（Ｓ１１）。次いで、処理装置１０は、マッチングしたサンプル画像を示す検索結果を出力する（Ｓ１２）。また、処理装置１０は、各回の照合でマッチングした１つ又は複数のサンプル画像を示す照合履歴に、Ｓ１１の照合の結果を登録する（Ｓ１３）。なお、Ｓ１２とＳ１３の処理順は、図５の例に限定されない。Ｓ１２の前にＳ１３を行ってもよいし、Ｓ１２とＳ１３を並行して行ってもよい。When theprocessing device 10 acquires a search query (S10), it compares the search query with a plurality of sample images and searches for sample images that match the search query (S11). Next, theprocessing device 10 outputs a search result indicating the matched sample images (S12). Theprocessing device 10 also registers the result of the comparison in S11 in a comparison history indicating one or more sample images that matched in each comparison (S13). Note that the order of processing S12 and S13 is not limited to the example in FIG. 5. S13 may be performed before S12, or S12 and S13 may be performed in parallel.

　次に、図６のフローチャートを用いて、選択サンプル画像の集計情報を出力する処理の流れの一例を説明する。Next, an example of the process flow for outputting aggregate information for selected sample images will be described using the flowchart in Figure 6.

　処理装置１０は、複数のサンプル画像の中から少なくとも１つのサンプル画像を選択する（Ｓ２０）。例えば、処理装置１０は、ユーザ入力に基づき当該選択を行ってもよい。その他、処理装置１０は、予め定められた任意のルールで、複数のサンプル画像の中から少なくとも１つのサンプル画像を選択してもよい。Theprocessing device 10 selects at least one sample image from the multiple sample images (S20). For example, theprocessing device 10 may make the selection based on user input. Alternatively, theprocessing device 10 may select at least one sample image from the multiple sample images according to any predetermined rule.

　次いで、処理装置１０は、選択したサンプル画像の集計情報を出力する（Ｓ２１）。Then, theprocessing device 10 outputs the summary information of the selected sample images (S21).

＜作用効果＞
　本実施形態の処理装置１０は、検索クエリと複数のサンプル画像とを照合し、検索クエリとマッチングするサンプル画像を検索する。そして、処理装置１０は、各回の照合でマッチングした１つ又は複数のサンプル画像を示す照合履歴を生成する。処理装置１０は、この照合履歴に基づき、選択サンプル画像についての照合の結果に関する集計情報を生成し、出力する。<Action and effect>
Theprocessing device 10 of this embodiment compares a search query with a plurality of sample images and searches for sample images that match the search query. Theprocessing device 10 then generates a comparison history indicating one or more sample images that match in each comparison. Theprocessing device 10 generates and outputs summary information regarding the results of the comparison of the selected sample images based on the comparison history.

　ユーザは、出力された集計情報に基づき、選択サンプル画像のこれまでの照合の結果の概要を把握することができる。そして、ユーザは、把握した内容に基づき、選択サンプル画像をサンプル画像として残すか、それとも削除するか等を判断できる。また、ユーザは、把握した内容に基づき、選択サンプル画像のバリエーションの画像を残すか、削除するか、それとも追加するか等を判断できる。The user can grasp an overview of the results of matching the selected sample image so far based on the output summary information. Then, based on what he/she has grasped, the user can decide whether to keep the selected sample image as a sample image or delete it. Also, based on what he/she has grasped, the user can decide whether to keep, delete, or add a variation image of the selected sample image.

　選択サンプル画像のバリエーションの画像は、選択サンプル画像と同種の画像である。例えば、選択サンプル画像が座った姿勢の人物を含む画像である場合、選択サンプル画像のバリエーションの画像も座った姿勢の人物を含む画像である。選択サンプル画像と、選択サンプル画像のバリエーションの画像は、互いに完全には一致せず、少なくとも１つの特性が互いに異なる。特性は、例えば、人物の性別、年齢層、撮影時間帯、撮影場所、座り方、人物の向き等であるが、これらに限定されない。An image of a variation of a selected sample image is an image of the same type as the selected sample image. For example, if the selected sample image is an image containing a person in a sitting position, the image of the variation of the selected sample image is also an image containing a person in a sitting position. The selected sample image and the image of the variation of the selected sample image do not completely match each other, and differ from each other in at least one characteristic. Examples of characteristics include, but are not limited to, the gender, age group, time of day, place of shooting, sitting position, and direction of the person.

　また、本実施形態の処理装置１０は、特徴的な集計情報を生成し、出力することができる。In addition, theprocessing device 10 of this embodiment can generate and output characteristic aggregate information.

　選択サンプル画像の集計情報は、例えばマッチングした回数を示す。マッチングした回数が多い場合、その選択サンプル画像は、重要度が高いと考えることができる。そして、マッチングした回数が少ない場合、その選択サンプル画像は、重要度が低いと考えることができる。また、マッチングした回数が少ない場合、その選択サンプル画像は、サンプル画像群の中で外れ値となっており、誤検出の原因になる可能性がある。そこで、マッチングした回数が閾値以下の場合、その選択サンプル画像をサンプル画像の中から削除してもよい。The aggregate information for the selected sample image indicates, for example, the number of matches. If the number of matches is high, the selected sample image can be considered to be of high importance. If the number of matches is low, the selected sample image can be considered to be of low importance. Also, if the number of matches is low, the selected sample image is an outlier in the group of sample images and may cause false detection. Therefore, if the number of matches is below a threshold, the selected sample image may be deleted from the sample images.

　また、選択サンプル画像の集計情報は、例えばマッチング率を示す。マッチング率が高い場合、その選択サンプル画像は、重要度が高いと考えることができる。そして、マッチング率が低い場合、その選択サンプル画像は、重要度が低いと考えることができる。また、マッチング率が低い場合、その選択サンプル画像は、サンプル画像群の中で外れ値となっており、誤検出の原因になる可能性がある。そこで、マッチング率が閾値以下の場合、その選択サンプル画像をサンプル画像の中から削除してもよい。The aggregated information of the selected sample images indicates, for example, the matching rate. If the matching rate is high, the selected sample image can be considered to have high importance. If the matching rate is low, the selected sample image can be considered to have low importance. If the matching rate is low, the selected sample image is an outlier among the sample images, and may cause erroneous detection. Therefore, if the matching rate is below a threshold, the selected sample image may be deleted from the sample images.

　また、選択サンプル画像の集計情報は、例えば同時にマッチングした他のサンプル画像の数の統計値を示す。同時にマッチングした他のサンプル画像の数が多い場合、その選択サンプル画像のバリエーションの画像は十分登録されていると考えることができる。一方で、同時にマッチングした他のサンプル画像の数が多過ぎる場合、その選択サンプル画像のバリエーションの画像が不要に多く登録されていると考えることができる。この場合、その選択サンプル画像及びその選択サンプル画像のバリエーションの画像の中のいくつかを、サンプル画像の中から削除してもよい。The aggregate information for the selected sample image also indicates, for example, a statistical value for the number of other sample images that were matched at the same time. If there are a large number of other sample images that were matched at the same time, it can be considered that there are sufficient variation images of the selected sample image registered. On the other hand, if there are too many other sample images that were matched at the same time, it can be considered that there are an unnecessarily large number of variation images of the selected sample image registered. In this case, the selected sample image and some of the variation images of the selected sample image may be deleted from the sample images.

　また、同時にマッチングした他のサンプル画像の数が少ない場合、その選択サンプル画像のバリエーションの画像が不十分であると考えることができる。そこで、その選択サンプル画像のバリエーションの画像を追加登録してもよい。その他、同時にマッチングした他のサンプル画像の数が少ない場合、その選択サンプル画像はサンプル画像群の中で外れ値となっており、誤検出の原因になる可能性がある。そこで、同時にマッチングした他のサンプル画像の数が少ない場合、その選択サンプル画像をサンプル画像の中から削除してもよい。In addition, if the number of other sample images matched at the same time is small, it can be assumed that the variation images of the selected sample image are insufficient. Therefore, an additional variation image of the selected sample image may be registered. In addition, if the number of other sample images matched at the same time is small, the selected sample image may be an outlier in the group of sample images, which may cause a false detection. Therefore, if the number of other sample images matched at the same time is small, the selected sample image may be deleted from the sample images.

　また、選択サンプル画像の集計情報は、例えば同時にマッチングしたことがある他のサンプル画像を示す。同時にマッチングしたことがある他のサンプル画像を閲覧することで、選択サンプル画像のバリエーションの画像を把握することができる。そして、選択サンプル画像のバリエーションの画像が多過ぎる場合には、その選択サンプル画像及びその選択サンプル画像と同時にマッチングしたことがある他のサンプル画像の中のいくつかを、サンプル画像の中から削除してもよい。In addition, the aggregate information for the selected sample image indicates, for example, other sample images that have been matched at the same time. By viewing the other sample images that have been matched at the same time, it is possible to grasp the image variations of the selected sample image. Furthermore, if there are too many image variations of the selected sample image, the selected sample image and some of the other sample images that have been matched at the same time with the selected sample image may be deleted from the sample images.

　また、選択サンプル画像の集計情報は、例えば同時にマッチングしたことがある他のサンプル画像各々と同時にマッチングした回数を示す。当該回数が極端に多い場合、他のサンプル画像と選択サンプル画像との類似度が高すぎ、サンプル画像に両方登録されているのは冗長な状態であると考えることができる。そのため、例えば、当該回数が閾値以上の他のサンプル画像及び選択サンプル画像のいずれかを、サンプル画像の中から削除してもよい。The aggregate information for the selected sample image also indicates, for example, the number of times it has been matched simultaneously with each of the other sample images with which it has been matched. If the number of times is extremely high, it can be considered that the similarity between the other sample images and the selected sample image is too high, and that having both registered as sample images is redundant. Therefore, for example, either the other sample images or the selected sample image with the number of times equal to or exceeding a threshold value may be deleted from the sample images.

　また、選択サンプル画像の集計情報は、同時にマッチングしたことがある他のサンプル画像の中の同時にマッチングした回数が所定条件を満たすサンプル画像を示すことができる。所定条件は、上述した通り、所定回数以上、上位所定割合以内、上位所定数以内、基準順位以内等である。同時にマッチングした回数が極端に多い場合、他のサンプル画像と選択サンプル画像との類似度が高すぎ、サンプル画像に両方登録されているのは冗長な状態であると考えることができる。そのため、例えば、所定条件を満たす他のサンプル画像及び選択サンプル画像のいずれかを、サンプル画像の中から削除してもよい。The aggregated information of the selected sample image can also show sample images that, among other sample images that have been matched simultaneously, have a number of simultaneous matches that meet a specified condition. As described above, the specified conditions are more than a specified number of times, within a specified top percentage, within a specified top number, within a reference rank, etc. If the number of simultaneous matches is extremely high, it can be considered that the similarity between the other sample images and the selected sample image is too high, and that having both registered as sample images is redundant. Therefore, for example, either the other sample images or the selected sample image that meet the specified condition may be deleted from the sample images.

　また、選択サンプル画像の集計情報は、同時にマッチングしたことがある他のサンプル画像との類似度を示す。例えば、類似度が閾値以上の他のサンプル画像及び選択サンプル画像のいずれかを、サンプル画像の中から削除してもよい。In addition, the aggregated information of the selected sample image indicates the degree of similarity with other sample images that have been matched at the same time. For example, either the selected sample image or other sample images whose degree of similarity is equal to or exceeds a threshold may be deleted from the sample images.

＜第３の実施形態＞
　本実施形態の処理装置１０は、第２の実施形態で説明した集計情報と異なる集計情報を生成する機能を有する。以下、詳細に説明する。Third Embodiment
Theprocessing device 10 of this embodiment has a function of generating tally information different from the tally information described in the second embodiment, which will be described in detail below.

　検索部１２は、検索クエリとの類似度が基準値以上のサンプル画像を、検索クエリとマッチングするサンプル画像として検索する。そして、検索部１２は、検索クエリとマッチングしたサンプル画像に対して、検索クエリとの類似度の高い順に順位を付ける。Thesearch unit 12 searches for sample images whose similarity to the search query is equal to or greater than a reference value as sample images that match the search query. Thesearch unit 12 then ranks the sample images that match the search query in order of their similarity to the search query.

　登録部１３は、各回の照合でマッチングした１つ又は複数のサンプル画像を示す照合履歴に、上記順位をさらに登録する。Theregistration unit 13 further registers the above ranking in the matching history, which indicates one or more sample images that were matched in each matching round.

　図７に、本実施形態の登録部１３により生成される照合履歴の一例を模式的に示す。図示する照合履歴は、第２の実施形態で説明した図３の照合履歴と同様に、照合番号と、マッチングしたサンプル画像とを紐付けている。FIG. 7 shows a schematic example of a matching history generated by theregistration unit 13 of this embodiment. The illustrated matching history links the matching number with the matching sample image, similar to the matching history of FIG. 3 described in the second embodiment.

　「照合番号」の欄には、第２の実施形態で説明した図３の照合履歴と同様の内容が登録される。The "verification number" field will contain the same information as the verification history shown in FIG. 3 described in the second embodiment.

　「マッチングしたサンプル画像」の欄には、各回の照合で検索クエリとマッチングしたサンプル画像の識別情報が登録される。そして、図示するカッコ数字が、検索クエリとマッチングしたサンプル画像に対して、検索クエリとの類似度の高い順に付けられた順位を示す。The "Matched sample image" column registers the identification information of the sample image that matched the search query in each comparison. The numbers in parentheses shown in the figure indicate the ranking of the sample images that matched the search query, in order of their similarity to the search query.

　集計出力部１４は、選択サンプル画像に関する集計情報を生成し、出力する。Thesummary output unit 14 generates and outputs summary information regarding the selected sample images.

　選択サンプル画像に関する集計情報は、第２の実施形態で説明した情報に加えて、又は代えて、以下の情報の中の少なくとも１つを示す。
・マッチングした時の順位の統計値
・同時にマッチングしたことがある他のサンプル画像各々の同時にマッチングした時の順位の統計値
・マッチングした時の順位と同時にマッチングしたことがある他のサンプル画像各々の同時にマッチングした時の順位との順位差の統計値
・同時にマッチングしたことがある他のサンプル画像と選択サンプル画像の順位のペアの履歴The summary information regarding the selected sample images indicates at least one of the following pieces of information in addition to or instead of the information described in the second embodiment:
- Statistics of the ranking when matching was performed - Statistics of the ranking when matching was performed for each of the other sample images that were matched at the same time - Statistics of the difference between the ranking when matching and the ranking when matching was performed for each of the other sample images that were matched at the same time - History of the ranking pairs of the selected sample image and other sample images that were matched at the same time

　「マッチングした時の順位の統計値」は、選択サンプル画像がマッチングした時の選択サンプル画像の順位の統計値である。順位は、上述した検索クエリとの類似度の高い順に付けられた順位である。統計値は、平均値、最大値、最小値、中央値、最頻値等である。"Ranking statistics when matching occurs" are the ranking statistics of the selected sample image when it matches. The ranking is determined in order of similarity to the search query described above. The statistical values are the average, maximum, minimum, median, mode, etc.

　「同時にマッチングしたことがある他のサンプル画像各々の同時にマッチングした時の順位の統計値」は、選択サンプル画像と同時にマッチングしたことがある他のサンプル画像毎に算出される値である。当該値は、選択サンプル画像と同時にマッチングした時の順位の統計値である。順位は、上述した検索クエリとの類似度の高い順に付けられた順位である。統計値は、平均値、最大値、最小値、中央値、最頻値等である。"The statistical value of the ranking of each of the other sample images that have been matched at the same time" is a value calculated for each of the other sample images that have been matched at the same time with the selected sample image. This value is the statistical value of the ranking when matched at the same time with the selected sample image. The ranking is determined in order of the degree of similarity to the search query described above. The statistical value is the average, maximum, minimum, median, mode, etc.

　「マッチングした時の順位と同時にマッチングしたことがある他のサンプル画像各々の同時にマッチングした時の順位との順位差の統計値」は、選択サンプル画像と同時にマッチングしたことがある他のサンプル画像毎に算出される値である。順位差は、同時にマッチングした時の互いの順位の差である。The "statistical value of the ranking difference between the ranking at the time of matching and the ranking of each other sample image that has been matched at the same time" is a value calculated for each other sample image that has been matched at the same time with the selected sample image. The ranking difference is the difference between the rankings of each other when they were matched at the same time.

　すなわち、順位差は、同時にマッチングした時の選択サンプル画像の順位から他のサンプル画像の順位を引いた値である。例えば、同時にマッチングした時の選択サンプル画像の順位が２位であり、他のサンプル画像の順位が４位である場合、順位差は「－２」である。In other words, the ranking difference is the ranking of the selected sample image minus the ranking of the other sample image when they are matched simultaneously. For example, if the ranking of the selected sample image when they are matched simultaneously is second and the ranking of the other sample image is fourth, the ranking difference is "-2."

　なお、順位差は、同時にマッチングした時の他のサンプル画像の順位から選択サンプル画像の順位を引いた値であってもよい。例えば、同時にマッチングした時の選択サンプル画像の順位が２位であり、他のサンプル画像の順位が４位である場合、順位差は「２」である。The ranking difference may be a value obtained by subtracting the ranking of the selected sample image from the ranking of the other sample image when matched simultaneously. For example, if the ranking of the selected sample image when matched simultaneously is second and the ranking of the other sample image is fourth, the ranking difference is "2".

　その他、順位差は、同時にマッチングした時の選択サンプル画像の順位と他のサンプル画像の順位の差の絶対値であってもよい。例えば、同時にマッチングした時の選択サンプル画像の順位が２位であり、他のサンプル画像の順位が４位である場合、順位差は「２」である。In addition, the ranking difference may be the absolute value of the difference between the ranking of the selected sample image and the ranking of another sample image when matched simultaneously. For example, if the ranking of the selected sample image when matched simultaneously is second and the ranking of the other sample image is fourth, the ranking difference is "2".

　順位は、上述した検索クエリとの類似度の高い順に付けられた順位である。統計値は、平均値、最大値、最小値、中央値、最頻値等である。The ranking is based on the degree of similarity to the search query described above. The statistical values are the average, maximum, minimum, median, mode, etc.

　「同時にマッチングしたことがある他のサンプル画像と選択サンプル画像の順位のペアの履歴」は、同時にマッチングした時の他のサンプル画像の順位と選択サンプル画像の順位のペアの履歴を示す。順位は、上述した検索クエリとの類似度の高い順に付けられた順位である。"History of pairs of rankings of other sample images and the selected sample image that have been matched at the same time" shows the history of pairs of rankings of other sample images and the selected sample image when they were matched at the same time. The rankings are determined in order of similarity to the search query described above.

　本実施形態の処理装置１０のその他の構成は、第1及び第２の実施形態の処理装置１０の構成と同様である。The rest of the configuration of theprocessing device 10 of this embodiment is similar to the configuration of theprocessing device 10 of the first and second embodiments.

　本実施形態の処理装置１０によれば、第１及び第２の実施形態の処理装置１０と同様の作用効果が実現される。Theprocessing device 10 of this embodiment achieves the same effects as theprocessing device 10 of the first and second embodiments.

　選択サンプル画像の集計情報は、例えばマッチングした時の順位の統計値を示す。また、選択サンプル画像の集計情報は、例えば同時にマッチングしたことがある他のサンプル画像各々の同時にマッチングした時の順位の統計値を示す。また、選択サンプル画像の集計情報は、マッチングした時の順位と同時にマッチングしたことがある他のサンプル画像各々の同時にマッチングした時の順位との順位差の統計値を示す。また、選択サンプル画像の集計情報は、同時にマッチングしたことがある他のサンプル画像と選択サンプル画像の順位のペアの履歴を示す。The aggregated information for the selected sample image indicates, for example, the statistical value of the ranking when matched. Also, the aggregated information for the selected sample image indicates, for example, the statistical value of the ranking when each of the other sample images that have been matched at the same time were matched at the same time. Also, the aggregated information for the selected sample image indicates the statistical value of the difference in ranking between the ranking when matched and the ranking when each of the other sample images that have been matched at the same time were matched at the same time. Also, the aggregated information for the selected sample image indicates the history of pairs of rankings of the selected sample image and other sample images that have been matched at the same time.

　マッチングした時の順位が高いほど、バリエーションの画像群の中でより重要度が高いと考えることができる。そして、マッチングした時の順位が低いほど、バリエーションの画像群の中でより重要度が低いと考えることができる。そこで、バリエーションの画像群の中でマッチングした時の順位が相対的に低いサンプル画像を、サンプル画像の中から削除してもよい。The higher the ranking when matching, the more important it can be considered to be in the group of variation images. And the lower the ranking when matching, the less important it can be considered to be in the group of variation images. Therefore, sample images that have a relatively low ranking when matching in the group of variation images may be deleted from the sample images.

＜第４の実施形態＞
　本実施形態の処理装置１０は、選択サンプル画像の集計情報の出力方法が具体化される。以下、詳細に説明する。Fourth Embodiment
Theprocessing device 10 of this embodiment embodies a method for outputting the summary information of the selected sample images, which will be described in detail below.

　集計出力部１４は、複数のサンプル画像各々の特徴量を取得する。各サンプル画像の特徴量は、複数次元のベクトルで示される。例えば、各サンプル画像の特徴量は、３次元以上のベクトルで示される。Thesummary output unit 14 acquires the feature quantities of each of the multiple sample images. The feature quantities of each sample image are represented by multi-dimensional vectors. For example, the feature quantities of each sample image are represented by vectors of three or more dimensions.

　そして、集計出力部１４は、複数次元のベクトルで示されるサンプル画像各々の特徴量を次元削減する。例えば、集計出力部１４は、３次元以上のベクトルで示されるサンプル画像各々の特徴量を、２次元のベクトルに次元削減する。次元削減の手段は特段制限されず、例えばｔ－ＳＮＥ（t-Distributed Stochastic Neighbor Embedding）等の手法を採用することができる。Then, theaggregation output unit 14 reduces the dimension of the feature quantities of each sample image represented by a multi-dimensional vector. For example, theaggregation output unit 14 reduces the dimension of the feature quantities of each sample image represented by a three- or higher-dimensional vector into a two-dimensional vector. There are no particular limitations on the means of dimensional reduction, and a method such as t-SNE (t-Distributed Stochastic Neighbor Embedding) can be adopted.

　そして、集計出力部１４は、削減後の次元のグラフ上に複数のサンプル画像をプロットした分布情報を生成して出力する。図８に分布情報の一例を示す。図示する例では、２次元のグラフ上に複数のサンプル画像をプロットしている。なお、図では一部のサンプル画像のみ画像の内容を示し、その他のサンプル画像については模式的に画像の輪郭のみを示している。実際は、全てのサンプル画像において、画像の内容を示すことができる。他の例として、サンプル画像に代えて、丸や星等のマークをグラフ上にプロットしてもよい。Then, the tallying and outputtingunit 14 generates and outputs distribution information in which multiple sample images are plotted on a graph of the reduced dimensions. An example of distribution information is shown in FIG. 8. In the illustrated example, multiple sample images are plotted on a two-dimensional graph. Note that in the figure, the image contents are shown only in some of the sample images, and for the other sample images, only the image outlines are shown diagrammatically. In reality, the image contents can be shown in all of the sample images. As another example, instead of sample images, marks such as circles and stars may be plotted on the graph.

　集計出力部１４は、このようなグラフ上で、選択サンプル画像を選択する入力を受付けることができる。そして、集計出力部１４は、当該入力に応じて、図９に示すように、選択された選択サンプル画像の集計情報を出力することができる。図９では、吹き出しを用いて、選択された選択サンプル画像が示されている。また、その吹き出しを用いて、選択サンプル画像の集計情報が示されている。Thetally output unit 14 can receive input for selecting a selected sample image on such a graph. Then, in response to the input, thetally output unit 14 can output tally information for the selected selected sample image, as shown in FIG. 9. In FIG. 9, the selected selected sample image is shown using a speech bubble. The tally information for the selected sample image is also shown using the speech bubble.

　図示する選択サンプル画像の集計情報は、マッチング率を示す。また、図示する選択サンプル画像の集計情報は、同時にマッチングした他のサンプル画像の数の平均値を示す（図示する「平均同時マッチ数」）。また、図示する選択サンプル画像の集計情報は、同時にマッチングした回数が所定条件（上位４つ以内）を満たすサンプル画像を示す（図中、吹き出し内の４つのサンプル画像）。また、図示する選択サンプル画像の集計情報は、同時にマッチングしたことがある他のサンプル画像各々と同時にマッチングした回数を示す（図中、吹き出し内の４つのサンプル画像の横の数値）。なお、図示する選択サンプル画像の集計情報は一例である。集計出力部１４は、第２及び第３の実施形態で説明したその他の集計情報を示してもよい。The illustrated aggregate information of the selected sample image indicates the matching rate. The illustrated aggregate information of the selected sample image indicates the average number of other sample images that were matched simultaneously (the "average number of simultaneous matches" shown in the figure). The illustrated aggregate information of the selected sample image indicates the sample images whose number of simultaneous matches meets a predetermined condition (within the top four) (the four sample images in the speech bubble in the figure). The illustrated aggregate information of the selected sample image indicates the number of simultaneous matches with each of the other sample images that have been matched simultaneously (the numbers next to the four sample images in the speech bubble in the figure). Note that the illustrated aggregate information of the selected sample image is just an example. Theaggregate output unit 14 may display other aggregate information as described in the second and third embodiments.

　ところで、図９に示すような複数のサンプル画像の中から１つずつ選択して集計情報を確認するのは多大な労力を要する。そこで、集計出力部１４は、図９に示すようにグラフ上にプロットされたサンプル画像の内、所定の強調条件を満たすサンプル画像を強調表示してもよい。ユーザは、強調表示されたサンプル画像を優先的に選択し、集計情報を確認することができる。However, it takes a lot of work to select one by one from among the multiple sample images as shown in FIG. 9 and check the aggregated information. Therefore, theaggregate output unit 14 may highlight sample images that satisfy a predetermined emphasis condition among the sample images plotted on the graph as shown in FIG. 9. The user can select the highlighted sample images preferentially and check the aggregated information.

　強調表示の手法は特段制限されない。例えば、強調表示するサンプル画像のみを枠で囲んでもよい。その他、強調表示するサンプル画像のみを点滅させてもよい。その他、強調表示するサンプル画像を他のサンプル画像よりも大きく表示してもよい。There are no particular limitations on the method of highlighting. For example, only the sample image to be highlighted may be surrounded by a frame. Alternatively, only the sample image to be highlighted may be made to blink. Alternatively, the sample image to be highlighted may be displayed larger than the other sample images.

　強調条件は、集計情報で示される所定項目の値を用いて定義される。強調条件は、例えば、「マッチング数がＭ回以下」、「マッチング率がＮ以下」等が例示される。なお、強調条件は、集計情報で示される複数の項目の値を用いて定義されてもよい。このような強調条件は、例えば、「マッチング数がＭ回以下、かつ、同時にマッチングした他のサンプル画像の数の平均値がＰ以下」等である。The emphasis conditions are defined using the values of specific items shown in the aggregate information. Examples of emphasis conditions include "the number of matches is M or less" and "the matching rate is N or less." The emphasis conditions may be defined using the values of multiple items shown in the aggregate information. An example of such an emphasis condition is "the number of matches is M or less, and the average number of other sample images matched simultaneously is P or less."

　強調条件は、予め設定されていてもよい。その他、ユーザが強調条件を設定できてもよい。すなわち、集計出力部１４は、ユーザ入力に基づき、強調条件を設定してもよい。The emphasis conditions may be set in advance. Alternatively, the user may be able to set the emphasis conditions. In other words, thetally output unit 14 may set the emphasis conditions based on user input.

　本実施形態の処理装置１０のその他の構成は、第1乃至第３の実施形態の処理装置１０の構成と同様である。The rest of the configuration of theprocessing device 10 of this embodiment is the same as the configuration of theprocessing device 10 of the first to third embodiments.

　本実施形態の処理装置１０によれば、第１乃至第３の実施形態の処理装置１０と同様の作用効果が実現される。Theprocessing device 10 of this embodiment achieves the same effects as theprocessing device 10 of the first to third embodiments.

　また、本実施形態の処理装置１０は、図８及び図９に示すような特徴的な手法で、選択サンプル画像の集計情報を出力することができる。具体的には、処理装置１０は、複数次元のベクトルで示されるサンプル画像各々の特徴量を次元削減した後、削減後の次元のグラフ上に複数のサンプル画像をプロットした分布情報を生成して出力することができる。Theprocessing device 10 of this embodiment can also output aggregate information of selected sample images using a characteristic method as shown in Figures 8 and 9. Specifically, theprocessing device 10 can reduce the dimensions of the features of each sample image represented by a multi-dimensional vector, and then generate and output distribution information in which multiple sample images are plotted on a graph of the reduced dimensions.

　多次元のグラフ上に複数のサンプル画像をプロットした分布情報の場合、ユーザは、複数のサンプル画像の分布状況を把握し難くなる。次元削減し、削減後の次元のグラフ上に複数のサンプル画像をプロットした分布情報の場合、ユーザは、複数のサンプル画像の分布状況を容易に把握できる。When the distribution information is created by plotting multiple sample images on a multidimensional graph, it is difficult for users to understand the distribution status of the multiple sample images. When the distribution information is created by reducing the dimensions and plotting multiple sample images on a graph of the reduced dimensions, users can easily understand the distribution status of the multiple sample images.

　しかし、削減後の次元のグラフ上に複数のサンプル画像をプロットした分布情報の場合、複数のサンプル画像の分布状況の概要を把握できるものの、正確に詳細を把握することはできない。例えば、グラフ上では複数のサンプル画像の互いの距離が近く見えても、実際にはあまり近くないという状況が発生し得る。However, when it comes to distribution information in which multiple sample images are plotted on a graph of the reduced dimensions, it is possible to grasp the general distribution of the multiple sample images, but it is not possible to grasp the details accurately. For example, even if multiple sample images appear to be close to each other on the graph, they may not actually be that close.

　そこで、本実施形態の処理装置１０は、図９に示すように、グラフ上にプロットされたサンプル画像の中から選択された選択サンプル画像の集計情報を、表示する。ユーザは、グラフで示される分布状況と、選択したサンプル画像の集計情報に基づき、各種判断を行うことができる。Theprocessing device 10 of this embodiment therefore displays summary information of selected sample images selected from the sample images plotted on a graph, as shown in FIG. 9. The user can make various decisions based on the distribution situation shown in the graph and the summary information of the selected sample images.

＜第５の実施形態＞
　本実施形態の処理装置１０は、第４の実施形態と異なる手法で、選択サンプル画像の集計情報を出力する。以下、詳細に説明する。Fifth embodiment
Theprocessing device 10 of this embodiment outputs the compilation information of the selected sample images in a manner different from that of the fourth embodiment, which will be described in detail below.

　集計出力部１４は、複数のサンプル画像を、集計情報で示される所定項目の値に基づきランク表示する。そして、集計出力部１４は、ランク表示された複数のサンプル画像の中から、選択サンプル画像を選択する入力を受付ける。そして、集計出力部１４は、選択された選択サンプル画像に関する集計情報を出力する。Thetally output unit 14 ranks the multiple sample images based on the values of specific items indicated in the tally information. Thetally output unit 14 then accepts an input to select a selected sample image from the multiple sample images displayed in rank. Thetally output unit 14 then outputs tally information related to the selected selected sample image.

　図１０に一例を示す。図１０では、マッチング率の高い順に複数のサンプル画像がランク表示されている。なお、その他の項目の値に基づきランク表示されてもよい。また、ユーザが、順位付けに利用する項目を指定できてもよい。An example is shown in FIG. 10. In FIG. 10, a number of sample images are displayed in rank order according to the highest matching rate. Note that the images may also be displayed in rank order based on the values of other items. Furthermore, the user may be able to specify the items to be used for ranking.

　ところで、図１０に示すようなランク表示において、集計情報で示される全ての項目の値を同時に表示してしまうと、情報過多となり、内容を把握し難くなる。そこで、図１０に示す例では、集計情報で示される複数の項目の中の第１の項目の値が、ランク表示において表示されている。そして、１つのサンプル画像（選択サンプル画像）の選択に応じて、集計情報で示される複数の項目の中の第２の項目の値が表示されるようになっている。However, if the values of all items shown in the aggregate information were displayed simultaneously in a rank display such as that shown in Figure 10, there would be too much information, making it difficult to understand the content. Therefore, in the example shown in Figure 10, the value of the first item among the multiple items shown in the aggregate information is displayed in the rank display. Then, in response to the selection of one sample image (selected sample image), the value of the second item among the multiple items shown in the aggregate information is displayed.

　すなわち、図１０に示す例では、集計出力部１４は、ランク表示において、複数のサンプル画像各々に紐付けて、集計情報で示される第１の項目の値を表示している。図１０では、マッチング率及び平均同時マッチ数が第１の項目となっている。なお、第１の項目は当該例に限定されない。In other words, in the example shown in FIG. 10, thetally output unit 14 displays the value of the first item indicated in the tally information in the rank display, linked to each of the multiple sample images. In FIG. 10, the matching rate and the average number of simultaneous matches are the first items. Note that the first item is not limited to this example.

　そして、図１０に示す例では、集計出力部１４は、ユーザの選択に応じて、集計情報で示される第２の項目の値を表示するよう構成されている。図１０では、「同時にマッチングしたことがある他のサンプル画像の中の同時にマッチングした回数が所定条件（上位所定数以内）を満たすサンプル画像」（図中、「同時検出上位」）が第２の項目となっている。なお、第２の項目は当該例に限定されない。In the example shown in FIG. 10, thetally output unit 14 is configured to display the value of the second item shown in the tally information in response to a user selection. In FIG. 10, the second item is "a sample image whose number of simultaneous matches among other sample images that have been matched simultaneously satisfies a predetermined condition (within a top predetermined number)" ("Top simultaneous detections" in the figure). Note that the second item is not limited to this example.

　図１０では、「同時検出上位」のボタンの操作により、１つのサンプル画像が選択サンプル画像として選択される。「同時検出上位」のボタンが操作されると、図１１に示すように、選択サンプル画像と同時にマッチングしたことがある他のサンプル画像の中の同時にマッチングした回数が所定条件（上位所定数以内）を満たすサンプル画像」が出力される。In FIG. 10, one sample image is selected as the selected sample image by operating the "Top simultaneous detection" button. When the "Top simultaneous detection" button is operated, as shown in FIG. 11, "sample images whose number of simultaneous matches meets a specified condition (within a top specified number) among other sample images that have been matched simultaneously with the selected sample image are output."

　また、図１０に示す例では、「分布」のボタンの操作により、第４の実施形態で説明した「複数次元のベクトルで示されるサンプル画像各々の特徴量を次元削減した後、削減後の次元のグラフ上に複数のサンプル画像をプロットした分布情報」が出力される。図１２に出力される分布情報の一例を示す。図示する例では、選択サンプル画像と、選択サンプル画像と同時にマッチングし易いサンプル画像と、その他のサンプル画像とを分けて表示している。In the example shown in FIG. 10, by operating the "Distribution" button, "distribution information in which the feature quantities of each sample image represented by a multi-dimensional vector are reduced in dimension, and then multiple sample images are plotted on a graph of the reduced dimensions," as described in the fourth embodiment, is output. An example of the distribution information that is output is shown in FIG. 12. In the example shown, the selected sample image, sample images that are likely to match simultaneously with the selected sample image, and other sample images are displayed separately.

　なお、集計出力部１４は、図１０に示すようなランク表示においても、第４の実施形態で説明した強調表示を行ってもよい。強調表示の手法は、第４の実施形態で説明したものと同様である。Thetally output unit 14 may also perform the highlighting described in the fourth embodiment in the rank display as shown in FIG. 10. The highlighting method is the same as that described in the fourth embodiment.

　また、本実施形態の処理装置１０は、図１０乃至図１２に示すような特徴的な手法で、選択サンプル画像の集計情報を出力することができる。具体的には、処理装置１０は、複数のサンプル画像を、集計情報で示される所定項目の値に基づきランク表示することができる。そして、処理装置１０は、ランク表示された複数のサンプル画像の中から選択された選択サンプル画像に関する集計情報を出力することができる。ユーザは、出力された情報に基づき、複数のサンプル画像の全体像や、各サンプル画像の詳細を把握することができる。Theprocessing device 10 of this embodiment can also output aggregate information for selected sample images using a characteristic method as shown in Figs. 10 to 12. Specifically, theprocessing device 10 can rank-display a plurality of sample images based on the values of a predetermined item indicated in the aggregate information. Theprocessing device 10 can then output aggregate information for a selected sample image selected from the plurality of sample images whose ranks are displayed. Based on the output information, the user can grasp the overall picture of the plurality of sample images and the details of each sample image.

＜変形例＞
　処理装置１０は、記憶装置に記憶されたサンプル画像の中から、ユーザが指定したサンプル画像を削除する機能を備えてもよい。例えば、図９に示すように選択サンプル画像に紐付けて表示される情報（吹き出し）において、選択サンプル画像を削除するボタンが表示されてもよい。そして、処理装置１０は、当該ボタンの操作に応じて、選択サンプル画像を記憶装置に記憶されたサンプル画像の中から削除してもよい。<Modification>
Theprocessing device 10 may have a function of deleting a sample image designated by a user from among the sample images stored in the storage device. For example, as shown in Fig. 9, a button for deleting the selected sample image may be displayed in information (a speech bubble) associated with the selected sample image. Then, theprocessing device 10 may delete the selected sample image from among the sample images stored in the storage device in response to an operation of the button.

　また、処理装置１０は、図１０に示すようなランク表示において、各サンプル画像に紐付けて、各サンプル画像を削除するボタンを表示してもよい。そして、処理装置１０は、当該ボタンの操作に応じて、選択されたサンプル画像を記憶装置に記憶されたサンプル画像の中から削除してもよい。Theprocessing device 10 may also display a button for deleting each sample image in association with each sample image in the rank display as shown in FIG. 10. Then, theprocessing device 10 may delete the selected sample image from among the sample images stored in the storage device in response to the operation of the button.

　また、処理装置１０は、複数のサンプル画像をまとめて指定し、削除する機能を備えてもよい。例えば、処理装置１０は、図８、図９、図１２に示すような分布情報において、グラフ上のエリアを指定するユーザ入力を受付けてもよい。そして、処理装置１０は、その後のユーザからの削除指示に応じて、指定されたエリア内に存在する１つ又は複数のサンプル画像を、記憶装置に記憶されたサンプル画像の中から削除してもよい。Theprocessing device 10 may also have a function for designating and deleting multiple sample images collectively. For example, theprocessing device 10 may accept a user input that designates an area on a graph in distribution information such as that shown in Figures 8, 9, and 12. Then, in response to a subsequent deletion instruction from the user, theprocessing device 10 may delete one or more sample images that exist within the designated area from among the sample images stored in the storage device.

　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。上述した実施形態の構成は、互いに組み合わせたり、一部の構成を他の構成に入れ替えたりしてもよい。また、上述した実施形態の構成は、趣旨を逸脱しない範囲内において種々の変更を加えてもよい。また、上述した各実施形態や変形例に開示される構成や処理を互いに組み合わせてもよい。The above describes the embodiments of the present invention with reference to the drawings, but these are merely examples of the present invention, and various configurations other than those described above can also be adopted. The configurations of the above-mentioned embodiments may be combined with each other, or some of the configurations may be replaced with other configurations. Furthermore, the configurations of the above-mentioned embodiments may be modified in various ways without departing from the spirit of the invention. Furthermore, the configurations and processes disclosed in each of the above-mentioned embodiments and modified examples may be combined with each other.

　また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されている。しかし、各実施の形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施の形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施の形態は、内容が相反しない範囲で組み合わせることができる。In addition, in the multiple flow charts used in the above explanation, multiple steps (processing) are described in order. However, the order of execution of the steps in each embodiment is not limited to the order described. In each embodiment, the order of the steps shown in the figures can be changed to the extent that does not cause any problems in terms of content. In addition, the above-mentioned embodiments can be combined to the extent that the content is not contradictory.

　上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．　検索クエリを取得する取得手段と、
　前記検索クエリと複数のサンプル画像とを照合し、前記検索クエリとマッチングする前記サンプル画像を検索する検索手段と、
　各回の前記照合でマッチングした１つ又は複数の前記サンプル画像を示す照合履歴に、前記照合の結果を登録する登録手段と、
　複数の前記サンプル画像の中の選択サンプル画像についての前記照合の結果に関する集計情報を前記照合履歴に基づき生成し、出力する集計出力手段と
を有する処理装置。
２．　前記検索手段は、
　　前記検索クエリとの類似度が基準値以上の前記サンプル画像を、前記検索クエリとマッチングする前記サンプル画像として検索し、
　前記選択サンプル画像に関する前記集計情報は、
　　マッチングした回数、マッチング率、同時にマッチングした他の前記サンプル画像の数の統計値、同時にマッチングしたことがある他の前記サンプル画像、同時にマッチングしたことがある他の前記サンプル画像各々と同時にマッチングした回数、同時にマッチングしたことがある他の前記サンプル画像の中の同時にマッチングした回数が所定条件を満たす前記サンプル画像、及び同時にマッチングしたことがある他の前記サンプル画像との類似度、の中の少なくとも１つを示す１に記載の処理装置。
３．　前記検索手段は、
　　前記検索クエリとの類似度が基準値以上の前記サンプル画像を、前記検索クエリとマッチングする前記サンプル画像として検索し、前記検索クエリとマッチングした前記サンプル画像に対して前記類似度の高い順に順位を付け、
　前記選択サンプル画像に関する前記集計情報は、
　　マッチングした時の前記順位の統計値、同時にマッチングしたことがある他の前記サンプル画像各々の同時にマッチングした時の前記順位の統計値、マッチングした時の前記順位と同時にマッチングしたことがある他の前記サンプル画像各々の同時にマッチングした時の前記順位との順位差の統計値、及び同時にマッチングしたことがある他の前記サンプル画像と前記選択サンプル画像の前記順位のペアの履歴、の中の少なくとも１つを示す１又は２に記載の処理装置。
４．　前記集計出力手段は、
　　複数次元のベクトルで示される前記サンプル画像各々の特徴量を次元削減した後、削減後の次元のグラフ上に複数の前記サンプル画像をプロットした分布情報を生成して出力し、
　　前記グラフ上で、前記選択サンプル画像を選択する入力を受付け、
　　選択された前記選択サンプル画像に関する前記集計情報を出力する１から３のいずれかに記載の処理装置。
５．　前記集計出力手段は、
　　前記グラフ上にプロットされた前記サンプル画像の内、前記集計情報で示される所定項目の値が強調条件を満たす前記サンプル画像を強調表示する４に記載の処理装置。
６．　前記集計出力手段は、
　　ユーザ入力に基づき、前記強調条件を設定する５に記載の処理装置。
７．　前記集計出力手段は、
　　複数の前記サンプル画像を、前記集計情報で示される所定項目の値に基づきランク表示し、
　　前記ランク表示された複数の前記サンプル画像の中から、前記選択サンプル画像を選択する入力を受付け、
　　選択された前記選択サンプル画像に関する前記集計情報を出力する１から６のいずれかに記載の処理装置。
８．　前記集計出力手段は、
　　前記ランク表示において、複数の前記サンプル画像各々に紐付けて、前記集計情報で示される第１の項目の値を表示し、
　　選択された前記選択サンプル画像に関する前記集計情報として、前記集計情報で示される第２の項目の値を表示する７に記載の処理装置。
９．　１つ以上のコンピュータが、
　　検索クエリを取得し、
　　前記検索クエリと複数のサンプル画像とを照合し、前記検索クエリとマッチングする前記サンプル画像を検索し、
　　各回の前記照合でマッチングした１つ又は複数の前記サンプル画像を示す照合履歴に、前記照合の結果を登録し、
　　複数の前記サンプル画像の中の選択サンプル画像についての前記照合の結果に関する集計情報を前記照合履歴に基づき生成し、出力する処理方法。
１０．　コンピュータを、
　　検索クエリを取得する取得手段、
　　前記検索クエリと複数のサンプル画像とを照合し、前記検索クエリとマッチングする前記サンプル画像を検索する検索手段、
　　各回の前記照合でマッチングした１つ又は複数の前記サンプル画像を示す照合履歴に、前記照合の結果を登録する登録手段、
　　複数の前記サンプル画像の中の選択サンプル画像についての前記照合の結果に関する集計情報を前記照合履歴に基づき生成し、出力する集計出力手段、
として機能させるプログラム。A part or all of the above-described embodiments can be described as, but is not limited to, the following supplementary notes.
1. An acquisition means for acquiring a search query;
a search means for matching the search query with a plurality of sample images to search for the sample images that match the search query;
a registration means for registering a result of the matching in a matching history indicating one or more of the sample images matched in each matching;
a compilation output means for generating compilation information on the result of the matching for a selected sample image from among the plurality of sample images based on the matching history, and outputting the compilation information.
2. The search means
searching for the sample images whose similarity to the search query is equal to or greater than a reference value as the sample images matching the search query;
The aggregate information regarding the selected sample images is
The processing device described in 1 indicates at least one of the following: the number of matches, the matching rate, a statistical value of the number of other sample images matched simultaneously, other sample images that have been matched simultaneously, the number of times each of the other sample images that have been matched simultaneously, the sample image whose number of simultaneous matches among the other sample images that have been matched simultaneously satisfies a predetermined condition, and the similarity with the other sample images that have been matched simultaneously.
3. The search means
searching for the sample images whose similarity to the search query is equal to or greater than a reference value as the sample images matching the search query, and ranking the sample images matching the search query in order of similarity;
The aggregate information regarding the selected sample images is
A processing device as described in 1 or 2, which indicates at least one of the following: a statistical value of the ranking at the time of matching, a statistical value of the ranking of each of the other sample images that have been matched at the same time when matched simultaneously, a statistical value of the ranking difference between the ranking at the time of matching and the ranking of each of the other sample images that have been matched at the same time when matched simultaneously, and a history of the ranking pairs of other sample images that have been matched at the same time and the selected sample image.
4. The tally output means is
After reducing the dimension of the feature amount of each of the sample images represented by a multi-dimensional vector, a distribution information is generated by plotting the plurality of sample images on a graph of the reduced dimension, and the distribution information is output;
Accepting an input for selecting the selected sample image on the graph;
4. The processing device according toclaim 1, further comprising: a processor for outputting the summary information relating to the selected sample image.
5. The tally output means is
5. The processing device according to 4, wherein, of the sample images plotted on the graph, those sample images for which the value of a predetermined item indicated by the summary information satisfies an emphasis condition are highlighted.
6. The tally output means is
6. The processing device according toclaim 5, wherein the emphasis conditions are set based on a user input.
7. The tally output means is
displaying the plurality of sample images in rank order based on the values of the predetermined items indicated by the tabulation information;
receiving an input for selecting the selected sample image from among the plurality of sample images displayed in the rank order;
7. The processing device according toclaim 1, further comprising: a processor for outputting the summary information relating to the selected sample image.
8. The tally output means is
In the rank display, a value of a first item indicated by the tabulation information is displayed in association with each of the plurality of sample images;
8. The processing device according toclaim 7, wherein a value of a second item indicated in the summary information is displayed as the summary information relating to the selected sample image.
9. One or more computers:
Get the search query,
Matching the search query against a plurality of sample images to search for sample images that match the search query;
registering the result of the matching in a matching history indicating one or more of the sample images matched in each matching;
A processing method for generating and outputting summary information on the results of the matching for a selected sample image from among the plurality of sample images based on the matching history.
10. The computer
A means for obtaining a search query;
a search means for matching the search query with a plurality of sample images and searching for the sample images that match the search query;
a registration means for registering a result of the matching in a matching history indicating one or more of the sample images matched in each matching;
a compilation output means for generating compilation information on the result of the matching for a selected sample image from among the plurality of sample images based on the matching history, and outputting the compilation information;
A program that functions as a

　この出願は、２０２２年１２月２６日に出願された日本出願特願２０２２－２０７９２６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。This application claims priority based on Japanese Patent Application No. 2022-207926, filed on December 26, 2022, the entire disclosure of which is incorporated herein by reference.

　１０　　処理装置
　１１　　取得部
　１２　　検索部
　１３　　登録部
　１４　　集計出力部
　１Ａ　　プロセッサ
　２Ａ　　メモリ
　３Ａ　　入出力Ｉ／Ｆ
　４Ａ　　周辺回路
　５Ａ　　バスREFERENCE SIGNSLIST 10Processing device 11Acquisition unit 12Search unit 13Registration unit 14Tabulation outputunit 1A Processor 2A Memory 3A Input/output I/F
4APeripheral circuit 5A Bus