JP7654421B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、画像の分類技術に関する。

情報処理システムにおいては、データベース内の画像を同一オブジェクトのクラスタにまとめておき、クエリ画像と同一のクラスタを選択することでユーザーに検索結果を表示する。

特開２０１０－２５０６３３号公報

特許文献１では、階層的クラスタリング手法によって生成したクラスタの中から画像の属性情報を利用してクラスタを選択する技術が開示されている。しかしながら、従来の階層的クラスタリング手法で生成されたクラスタは一般的にクラスタ内のデータ数とクラスタ内のデータのノイズ混入率はトレードオフであることが知られている。本発明はこのような問題点に鑑みなされたものであり、複数のデータを分類したクラスタに含まれるノイズを低減することを目的とする。

本発明は、複数のデータのうち、第１の閾値よりも類似度の大きいデータの集合である第１のクラスタを取得するクラスタ取得手段と、前記複数のデータのうち前記第１のクラスタに含まれない特定のデータとの類似度が、前記第１の閾値とは異なる第２の閾値よりも大きいデータが、前記第１のクラスタ内に所定の数よりも多く存在する場合に、前記特定のデータを前記第１のクラスタに追加することを決定する決定手段と、を有することを特徴とする。

本発明によれば、複数のデータを分類したクラスタに含まれるノイズを低減できる。

情報処理装置のハードウェア構成の一例を示すブロック図。情報処理装置の機能構成例を示すブロック図。情報処理装置が処理するデータのデータフローを示すブロック図。情報処理装置が実行する処理を説明するフローチャート。特徴空間を説明する図。情報処理システムのハードウェア構成の一例を示す図。情報処理システムの機能構成例を示すブロック図。情報処理装置が処理するデータの情報処理装置のデータフローを示すブロック図。情報処理装置が実行する処理を説明するフローチャート。画像抽出システムのハードウェア構成の一例を示す図。情報処理システムの機能構成例を示すブロック図。情報処理装置のデータフローを示すブロック図。情報処理装置が実行する処理を説明するフローチャート。登録顔画像３０２の各顔特徴量間のコサイン類似度を説明する図。登録顔画像３０２の各顔画像の人物対応表の一例を示すテーブル。

以下、本発明の実施形態について図面に基づいて説明する。

（実施形態１）
単連結法などに代表される、データやクラスタを融合していく過程を樹形図で表現できる従来の階層的クラスタリング手法で生成されたクラスタは一般的にクラスタ内のデータ数とクラスタ内のデータのノイズ混入率はトレードオフである。例えばクラスタの平均特徴量間の類似度が一定の閾値を越えた場合にクラスタ同士を結合させる場合、閾値を高く設定すると結合されるクラスタは同一クラスで統一されるが、本来同一クラスとして結合されるべき一部のクラスタ結合されない状況が発生する。逆に閾値を低く設定すると同一クラスのクラスタは全て結合されるが、同一クラスではないクラスタも結合してしまう。図１は、本実施形態に係る情報処理システムのハードウェア構成の一例を示す図である。情報処理システムは、情報処理装置１００を用いて、クエリとして指定された人物の検索を行う。

ＣＰＵ１０１は、情報処理装置１００全体を制御するＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔである。ＲＯＭ１０２は、変更を必要としないプログラムやパラメータを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙである。ＲＡＭ１０３は、外部装置などから供給されるプログラムやデータを一時記憶するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙである。外部記憶装置１０４は、情報処理装置１００に固定して設置されたハードディスクやメモリカードなどの記憶装置である。なお、外部記憶装置１０４は、情報処理装置１００から着脱可能なフレキシブルディスク（ＦＤ）やＣｏｍｐａｃｔ Ｄｉｓｃ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含んでもよい。なお、後述する情報処理装置１００の機能や処理は、ＣＰＵ１０１がＲＯＭ１０２や外部記憶装置１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

入力Ｉ／Ｆ１０５は、ユーザーの操作を受け、データを入力するポインティングデバイスやキーボードなどの入力部１０９とのインターフェースである。出力デバイスＩ／Ｆ１０６は、情報処理装置１００の保持するデータや供給されたデータを表示するためのモニタ（表示装置）１１０とのインターフェースである。なお、データの出力方法はモニタ等の表示装置に限らず、音声を出力するスピーカー等の出力装置であってもよい。システムバス１０８は、１０１～１０７の各ユニットを通信可能に接続する伝送路である。

図２は、本実施形態に係る情報処理装置１００の機能構成例を示すブロック図である。情報処理装置１００は、画像取得部２０１、特徴抽出部２０２、クラスタ取得部２０３、選択部２０４、画像決定部２０５から成り、ＲＯＭ１０２に格納される。ＲＯＭ１０２の有する各機能部については後述する。

図３は本実施形態に係る情報処理装置が行う情報処理のデータフローの一例を示すブロック図である。なお、本実施形態は外部記憶装置１０４内に登録された複数の顔画像から検索したい人物の顔画像をクエリとして検索する情報処理装置について言及する。本実施形態に係る検索処理においては、画像取得部２０１が、外部記憶装置１０４から検索対象となる複数の登録顔画像３０２を取得する。さらに、特徴抽出部２０２が、複数の登録顔画像３０２の特徴量である複数の登録顔特徴量３０３を算出する。特徴量の算出は画像の色ヒストグラムでもよいし、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｔｒａｌ Ｎｅｔｗｏｒｋ）等の深層学習手法によって算出する方法を用いてもよい。

そして、クラスタ取得部２０３は登録顔特徴量３０３を用いた階層的クラスタリング手法で登録顔画像３０２をクラスタリングする。なお、本実施形態におけるクラスタリングに使用する類似度はコサイン類似度を用いるが、特徴量間のユークリッド距離などでもよい。クラスタリング手法に関してはクラスタ同士の要素間で最大のコサイン類似度が閾値ＴＨ１（第１の閾値）以上の場合にクラスタを結合する単連結法を用いる。実施するクラスタリング手法は階層的クラスタリングであればどの手法でもよい。また、本実施形態における閾値ＴＨ１は０．８とする。

次に、クラスタリング選択部２０４は、画像情報取得部２０４ａと類似クラスタ算出部２０４ｂをもち、クラスタ取得部２０３で生成されたクラスタから特定のクラスタを１つ選択する。まず画像情報取得部２０４ａが、入力部１０９にてユーザーが指定したクエリ顔画像３０１を入力Ｉ／Ｆ１０５を介して取得し、クエリ顔画像３０１の特徴量であるクエリ顔特徴量３０４を算出する。なおこの際、特徴量の算出は特徴量抽出部２０２と同様の方法を用いる。次に、類似クラスタ算出部２０４ｂがクエリ顔特徴量３０４を用いてクエリ顔画像３０１と同一人物の顔画像をもつクラスタを決定する。本実施形態では各クラスタ内の登録顔特徴量を平均した平均特徴量とクエリ顔特徴量３０４のコサイン類似度を計算し、閾値ＴＨ２以上（第３の閾値）の値かつ最大のコサイン類似度を持つクラスタを選択する。この手法もコサイン類似度に限らず両特徴量のユークリッド距離などを用いても構わない。なお、本実施形態における閾値ＴＨ２は０．８とする。

画像決定部２０５では、選択部２０４で選択された選択クラスタ３０５に顔画像を追加する。追加する顔画像は選択クラスタ３０５に含まれる顔画像以外の登録顔画像であり、選択クラスタ３０５内の登録顔特徴量と選択クラスタ３０５に含まれる画像以外の登録顔特徴量のコサイン類似度で追加する画像を決定する。本実施形態では、選択クラスタ３０５内の３つ以上の登録顔特徴量とのコサイン類似度が閾値ＴＨ３以上の関係にある登録顔特徴量を持つ登録顔画像を選択クラスタ３０５に追加する。本実施形態における閾値ＴＨ３は０．５とする。具体的な説明は図５を用いて後述する。画像決定部２０５によって画像を追加された選択クラスタ３０５は検索結果３０６として出力Ｉ／Ｆ１０６を介してモニタ１０に出力される。

＜画像決定部２０５の説明＞
画像決定部２０５の処理内容を、図５を用いて具体的に説明する。５１０は登録顔特徴量３０３を特徴空間に配置した図である。点線で囲われた範囲に含まれるデータ群３０５は選択部２０４で選択したクラスタであり、選択クラスタ３０５は顔画像３０５ａ、３０５ｂ、３０５ｃ、３０５ｄ、３０５ｅ、３０５ｆを含む。５０１、５０２、５０３、５０４、５０５、５０６は選択クラスタ３０５以外の顔画像である。選択クラスタ３０５内の画像の特徴量同士の組み合わせは必ずいずれかでコサイン類似度が閾値ＴＨ１（０．８）以上になっており、選択クラスタ３０５内の画像とそれ以外の画像の特徴量のコサイン類似度が閾値ＴＨ１（０．８）以上になる組み合わせは存在しない。図１２に登録顔画像３０２の顔特徴量間のコサイン類似度の値を示す。

画像決定部２０５では、取得したクラスタに対して、複数のデータから追加するデータ（顔画像）を決定する。すなわち、選択クラスタ３０５に、選択クラスタ３０５以外に含まれる顔画像を追加するか否かを決定する処理を行う。具体的には選択クラスタ３０５内の所定数以上（例えば３つ以上）の顔画像の特徴量とのコサイン類似度が（第２の）閾値ＴＨ３（０．５）以上の関係にある特徴量を持つ顔画像を選択クラスタ３０５に追加することを決定する。例えば顔画像５０１は顔画像３０５ｃ、３０５ｄ、３０５ｅ、３０５ｆの４つの画像の特徴量とコサイン類似度が閾値ＴＨ３（０．５）以上であるため、顔画像５０１は選択クラスタ３０５に追加される。同様に、顔画像５０２、５０３も選択クラスタ３０５に追加されるが、残りの顔画像５０４、５０５、５０６は、選択クラスタ３０５内の３つ以上の画像の特徴量とコサイン類似度が閾値ＴＨ３（０．５）以上ではないため、選択クラスタ３０５に追加されない。

図１４は登録顔画像３０２に対応する人物の表である。図１４によれば、画像決定部２０５によって人物Ａの顔画像を一つのクラスタにまとめることができている。従来の階層的クラスタリングによるクラスタだけでは今回の結果は得られない。例えば、単連結法によって顔画像３０５ａ～ｆ、５０１～５０３を一つのクラスタにまとめようとすると、閾値ＴＨ１を０．６５まで下げる必要がある。しかし、この場合、顔画像５０３と顔画像５０４のコサイン類似度が０．６５であるため、クラスタに人物Ｂである顔画像５０４も統合されてしまう。さらに、顔画像５０４と顔画像５０５のコサイン類似度が０．８１であるため、クラスタは最終的に顔画像５０５も統合し、人物Ａと人物Ｂを含んだクラスタが生成されてしまう。

本手法は、最初に同一人物であるクラスタを生成し、その中から所望のクラスタを選択した上で、その選択したクラスタに対して同一人物と思われる顔画像を追加することでクラスタ内のノイズを抑えながらデータ数を増やすことを可能としている。また、特徴量間の類似度が閾値ＴＨ１よりも低いが同一人物である顔画像は、複数の同一人物顔画像に対してやや低めの類似度をもつ性質があり、これを利用することで精度の高いデータの追加が可能となっている。本実施形態では低めの類似度を閾値ＴＨ３の０．５とし、結合する画像数の閾値を３とした。なお、結合する画像数の閾値は固定値に限るものではなく、例えばクラスタ内のデータ数に応じて変化させても良い。

以下、情報処理装置１００が行う検索処理について、フローチャートに従って説明する。なお、本実施形態において記述されるフローチャートの各に対応する処理は、ＣＰＵを用いてソフトウェアで実現されてもよいし、電子回路などのハードウェアで実現されるようにしてもよい。

図４は、本実施形態に係る情報処理装置１００が行う検索処理の一例を示したフローチャートである。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。

まず、Ｓ４０１で、画像取得部２０１が、外部記憶装置１０４から登録顔画像（複数のデータ）を取得する。Ｓ４０２では、特徴抽出部２０２が、登録顔画像３０２の特徴量である登録顔特徴量３０３を取得する。なお、特徴量はデータの種類によって異なり、例えば、画像である場合は画像特徴、音声データである場合は音声特徴である。Ｓ４０３では、クラスタ取得部２０３が、登録顔特徴量３０３を用いて登録顔画像３０２のクラスタリングを行い、複数のクラスタを取得する。ここにおけるクラスタリングは、取得した登録顔画像３０２のうち類似度が第１の閾値ＴＨ１より大きい組み合わせを同一のクラスタに分類する。この処理によって少なくとも１つ以上のクラスタを取得する。

Ｓ４０４では、選択部２０４内の画像情報取得部２０４ａが、ユーザーが入力したクエリ顔画像３０１を入力部１０９から入力Ｉ／Ｆ１０５を介して取得して、Ｓ４０５でクエリ顔特徴量３０４を取得する。ここでは、登録顔画像のうちユーザーによって選択されたクエリ顔画像（クエリデータ）を注目データとして取得する。

Ｓ４０６では、選択部２０４内の類似クラスタ算出部２０４ｂが、Ｓ４０３で取得したクラスタ毎の平均特徴量に基づいて、クエリ顔特徴量３０４とのコサイン類似度が閾値ＴＨ２以上のクラスタが存在するか否かを判定する。なお、ここでは、各クラスタの平均値を有するデータを取得してもよく、各クラスタの平均的または代表的なデータとして代表データと呼ぶ。閾値を超えるクラスタが存在する場合、Ｓ４０７に進む。クエリ顔特徴量３０４とのコサイン類似度が閾値ＴＨ２以上のクラスタが存在しない場合、追加する画像はないと判定し、Ｓ４１０に進む。

Ｓ４０７では、選択部２０４が、クラスタの平均特徴量とクエリ顔特徴量３０４とのコサイン類似度が最大のクラスタを選択する。

Ｓ４０８では、Ｓ４０７で選択した選択クラスタ３０５内の３つ以上の画像の特徴量とのコサイン類似度が閾値ＴＨ３（第２の閾値）以上になる特徴量を持つ顔画像が存在するか否かを判定する。選択クラスタ３０５内の３つ以上の画像の特徴量とのコサイン類似度が閾値ＴＨ３以上になる特徴量を持つ顔画像が存在する場合、Ｓ４０９に進む。選択クラスタ３０５内の３つ以上の画像の特徴量とのコサイン類似度が閾値ＴＨ３以上の特徴量を持つ顔画像が存在しない場合、追加する画像はないと判定し、Ｓ４１０に進む。Ｓ４０９では、選択クラスタ３０５内の３つ以上の画像の特徴量とのコサイン類似度が閾値ＴＨ３以上になる特徴量を持つ顔画像を選択クラスタ３０５に追加する画像として決定する。

Ｓ４１０では、Ｓ４０８もしくはＳ４０９で取得したクラスタの顔画像を検索の結果として表示する。Ｓ４０６で、クラスタの平均特徴量とクエリ顔特徴量のコサイン類似度が閾値ＴＨ２以上になるクラスタが存在しなかった場合、Ｓ４１０では「検索結果なし」という結果を表示する。

以上のように、本実施形態の情報処理装置によると、検索結果の画像数を増やしつつ、検索結果のノイズを抑えることが可能になる。

（実施形態２）
本実施形態では、実施形態１に対してより多くの画像を取得する方法について記載する。

実施形態１の画像決定部２０５では選択クラスタ３０５に対して選択クラスタ３０５以外の画像を追加したが、本実施形態では選択クラスタ３０５に対して選択クラスタ３０５以外のクラスタを追加する。クラスタ取得部２０３における閾値ＴＨ１が高い値（例えば０．８）に設定されている場合、生成されるクラスタ内の顔画像は全て同一人物である可能性が高い。そのため、選択クラスタ３０５に追加するデータはクラスタ状であってもよい。その際、選択クラスタ３０５以外の残クラスタ内のいずれかの顔画像の特徴量が、選択クラスタ３０５内の３つ以上の顔画像の特徴量と閾値ＴＨ３以上のコサイン類似度の関係にある場合、その残クラスタを選択クラスタ３０５に追加する。この方法によると、残クラスタ内の画像のいずれかで選択クラスタ３０５に顔画像を追加する条件を満たせば、該当する残クラスタの全ての顔画像を選択クラスタ３０５に追加できるため、より多くの画像をクラスタに追加することができる。

なお、クラスタ間の連結の方法は今回の手法に限定するものではない。例えば残クラスタの所定数の顔画像の特徴量が、選択クラスタ３０５内の複数の顔画像の特徴量と閾値ＴＨ３以上のコサイン類似度を持つ場合にその残クラスタを選択クラスタ３０５に追加してもよい。また、残クラスタの平均特徴量が選択クラスタ３０５内の３つ以上の顔画像の特徴量と閾値ＴＨ３以上のコサイン類似度を持つ場合にその残クラスタを選択クラスタ３０５に追加するなどしてもよい。

（実施形態３）
本実施形態では、クラスタの選択工程において、ユーザーが指定した画像を含むクラスタを選択する方法について記載する。本実施形態は例えば、複数のカメラ内の人物の移動経路を追跡する画像検索ないし追尾システムなどに有効となる。ユーザーは、撮像画像から、検索対象または追尾対象とする人物の画像（クエリデータ）を、表示装置等のＵＩを介して選択する。選択された人物画像を選択人物画像７０４と呼ぶ。

図６は、本実施形態に係る情報処理システムのハードウェア構成の一例を示す図である。ここでは実施形態１のハードウェア構成との差分のみ言及する。通信Ｉ／Ｆ６０１は、インターネットなどのネットワーク６０２に接続する。撮像装置６０３は、監視カメラなどの映像の撮像装置であり、ネットワーク６０２を介して情報処理装置１００に接続されている。システムバス１０８は、１０１～１０６および６０１の各ユニットを通信可能に接続する伝送路である。

図７は、本実施形態における情報処理システムの機能構成例を示すブロック図である。情報処理装置１００は、実施形態１と同様の機能構成を有する。撮像装置６０３は、機能構成として、撮像部７００、画像抽出部７０１を有する。撮像部７００は、レンズ等の光学系とＣＭＯＳ等の撮像センサから成り、画像を撮像する。画像抽出部７０１は、撮像画像から特定物体（ここでは人物）の部分画像を抽出する。なお、これらの構成は情報処理装置１００が有していてもよい。また、撮像装置６０３が、特徴抽出部２０２といった機能を有していてもよい。本実施形態における情報処理システムは、情報処理装置１００を用いて、撮像装置６０３から取得される画像内で、ユーザーが指定した人物の検索を行う。

図８は本実施形態に係る情報処理装置が行う情報処理のデータフローの一例を示すブロック図である。なお、本実施形態は外部記憶装置１０４内に記録された撮像装置６０３の撮影画像から検索したい人物画像をクエリとして画像を検索する情報処理装置について言及する。

撮像装置６０３はネットワーク６０２と通信Ｉ／Ｆ６０１を介して撮影画像を画像抽出部７０１に入力する。ここでは、撮像装置６０３は、特定のエリアを撮像した時系列画像（映像）をリアルタイムに情報処理装置に出力できるものとする。

画像抽出部７０１は撮影画像内に写っている人物部分を抽出する。抽出した人物部分画像７０２を外部記憶装置１０４に記録する。人物部分の切り出しはＣＮＮを用いて人物を矩形で検出し、検出部分を抽出する方法をとる。なお、部分画像は矩形に限らず多角形、円上でも構わない。また、人物の検出はＣＮＮに限定しなくてもよく、例えばＨＯＧ特徴量でＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）といった機械学習アルゴリズムを利用した検出方法などでもよい。また、テンプレートマッチングを使って人物のテンプレートと一致度が高い部分領域を抽出してもよい。情報処理装置１００における画像取得部２０１は撮像装置６０３によって抽出された人物部分画像７０３を取得する。特徴抽出部２０２は人物部分画像７０２の特徴量である人物特徴量７０３を算出する。特徴量の算出手法は実施形態１と同様の手法を用いる。クラスタ取得部２０３は人物特徴量を階層的クラスタリング手法でクラスタリングを実施する。本実施形態においては実施形態１と同様の手法を用いる。

選択部７０５は、画像情報取得部７０５ａと選択部７０５ｂを持ち、クラスタ取得部２０３で生成されたクラスタから特定のクラスタを１つ選択する。画像情報取得部７０５ａは入力部１０９から入力Ｉ／Ｆ１０５を介して、外部記憶装置１０４に記録されている人物部分画像７０２からユーザーが指定した検索したい人物画像である選択人物画像７０４（クエリデータ）を取得する。選択部７０５ｂは、クラスタ取得部２０３で取得したクラスタの中から、選択人物画像７０４（クエリデータ）に対応する人物の画像を含むクラスタを選択する。

画像決定部２０５は、選択部７０５で選択された選択クラスタ７０６に、撮像画像のうち所定の条件を満たす人物画像を追加する。所定の条件は、画像の追加方法は実施形態１と同様、（第２の）閾値ＴＨ３を用いた方法とする。画像決定部２０５によって画像を追加されたクラスタの画像は検索結果７０７として出力Ｉ／Ｆ１０６を介してモニタ１０に出力される。

図９は、本実施形態に係る情報処理装置１００が行う検索処理の一例を示したフローチャートである。まず、Ｓ８０１で、画像抽出部７０１で取得した人物部分画像７０２を、外部記憶装置１０４から画像取得部２０１によって取得する。

Ｓ８０２では、特徴抽出部２０２によって人物部分画像７０２の特徴量である人物特徴量７０３を取得する。Ｓ８０３では、クラスタ取得部２０３によって人物特徴量７０３のクラスタリングを行い、複数のクラスタを取得する。Ｓ８０４では、選択部７０５内の画像情報取得部７０５ａが、外部記憶装置１０４からユーザーが選択した人物画像である選択人物画像７０４を、入力部１０９から入力Ｉ／Ｆ１０５を介して取得する。

Ｓ８０５では、選択部７０５内の選択部７０５ｂが、Ｓ８０４で取得した選択人物画像７０４と同じ画像を含むクラスタを選択する。

Ｓ８０６では、Ｓ８０５で選択した選択クラスタ７０６内の３つ以上（所定の数）の画像の特徴量とのコサイン類似度が閾値ＴＨ３以上の特徴量を持つ顔画像が、撮像装置から取得した人物画像の中に存在するか否かを判定する。条件を満たす画像が存在する場合、Ｓ８０７に進む。選択クラスタ７０６内の３つ以上の画像の特徴量とのコサイン類似度が閾値ＴＨ３以上の特徴量を持つ顔画像が存在しない場合、Ｓ８０８に進む。

Ｓ８０７では、選択クラスタ７０６内の３つ以上の画像の特徴量とのコサイン類似度が閾値ＴＨ３以上の特徴量を持つ顔画像を選択クラスタ７０６に追加する。Ｓ８０８では、Ｓ８０６もしくはＳ８０７で取得したクラスタを検索結果として表示する。

以上のように、本実施形態の情報処理装置によると、ユーザーが指定した画像を含むクラスタを選択する方法においても、検索結果の画像数を増やしつつ、検索結果のノイズを抑えることが可能になる。

（実施形態４）
本実施形態では、ＷＥＢ画像検索サイトで取得したＷＥＢ上の画像から所望のオブジェクトの画像を抽出する方法について記載する。

図１０は、本実施形態に係る画像抽出システムのハードウェア構成の一例を示す図である。実施形態３からの構成の変化はネットワーク６０２が撮像装置６０３と接続していない部分のみである。

図１０は本実施形態に係る画像処置装置が行う情報処理のデータフローの一例を示すブロック図である。図１１は、情報処理装置１００の機能構成例を説明するブロック図である。検索結果取得部１００１は、検索対象となる物体について所定のクエリ（例えば文字）を用いてデータベースから検索した検索結果（複数のデータ）を取得する。例えば、ＷＥＢ上の画像検索サイトの検索結果をネットワーク６０２から通信Ｉ／Ｆ６０１を介して取得する。なお、検索キーワードは取得したい画像のオブジェクト名であり、例えばハスキー犬の画像を取得したい場合、検索キーワードを「ハスキー犬」として検索サイトで検索をする。取得した検索結果には、検索にヒットした画像の順位情報を含む。

オブジェクト抽出部１００２は、検索結果取得部１００１で取得した検索結果から、検索にヒットした画像を取得し、画像内に写ったオブジェクトを抽出する。例えば「ハスキー犬」の検索結果の場合、ヒットした画像のハスキー犬の画像部分を抽出する。オブジェクト部分の切出しはＣＮＮを用いてオブジェクトを矩形で検出し、検出部分を抽出する方法をとる。なお、抽出する部分画像の形は矩形に限らず多角形、円上でも構わない。また、人物の検出はＣＮＮに限定しなくてもよく、例えばＨＯＧ特徴量でＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）といった機械学習アルゴリズムを利用した検出方法などでもよい。なお、画像の切り出しは「ハスキー犬」などに特化せずに、一般物体認識モデルによる物体全般を検出して切り出してもよい。抽出されたオブジェクト画像１００３に対しては、検索結果に基づいて、対応する検索順位１００５を紐づける。オブジェクト画像１００３と検索順位１００５を紐づけたデータは外部記憶装置１０４に記録する。ここで、検索順位１００５が対応づけられたオブジェクト画像１００３をオブジェクト情報１００６と呼ぶ。

画像取得部２０１は、外部記憶装置１０４からオブジェクト画像１００３を取得する。

特徴抽出部２０２はオブジェクト画像１００３の特徴量であるオブジェクト特徴量１００７を算出する。特徴量の算出手法は実施形態１と同様の手法を用いる。クラスタ取得部２０３はオブジェクト特徴量を階層的クラスタリング手法でクラスタリングを実施する。本実施形態においては実施形態１と同様の手法を用いる。

選択部１００８は画像情報取得部１００８ａと高順位クラスタ選択部１００８ｂを持ち、クラスタ取得部２０３で生成されたクラスタから特定のクラスタを選択する。画像情報取得部１００８ａは外部記憶装置１０４に記録されているオブジェクト画像１００３に紐づいた検索順位１００５を取得する。高順位クラスタ選択部１００８ｂは、検索順位１００５を用いて、クラスタ取得部２０３で取得したクラスタの中から、クラスタを選択する。本実施形態におけるクラスタ選択方法は、クラスタ内の画像の検索順位の逆数を足し合わせた値が最も大きいクラスタを選択する方法をとる。例えばクラスタＡが１位、３位、５位の３画像を含んでおり、クラスタＢが３位、５位、７位、９位の４画像を含んでいる場合、検索順位の逆数を足し合わせた値はクラスタＡが１．５３であり、クラスタＢは０．７９になるため、値の大きいクラスタＡを選択する。これは検索順位が上位の画像ほど検索キーワードのオブジェクトを含んでいる確率が高いことを利用した方法である。クラスタの選択方法は検索順位を利用していれば今回の方法には拘らない。例えば検索順位だけでなく、各画像のコサイン類似度の値を参考にして選択するクラスタを決定しても構わない。

画像決定部２０５は選択部１００８で選択された選択クラスタ１００９にオブジェクト画像を追加する。画像の追加方法は実施形態１と同様、閾値ＴＨ３を用いた方法とする。画像決定部２０５によって画像を追加された選択クラスタ１００９の画像は抽出結果１０１０として出力Ｉ／Ｆ１０６を介してモニタ１０に出力される。

図１１は、本実施形態に係る情報処理装置１００が行う画像抽出処理の一例を示したフローチャートである。

まず、Ｓ１１０１で、ユーザーによって指定されたクエリとの関連度の高さを示す検索結果における順位情報を対応付けたオブジェクト画像を外部記憶装置１０４から画像取得部２０１によって取得する。Ｓ１１０２では、特徴抽出部２０２によってオブジェクト画像の特徴量であるオブジェクト特徴量１００７を取得する。Ｓ１１０３では、クラスタ取得部２０３によってオブジェクト特徴量１００７のクラスタリングを行い、複数のクラスタを取得する。Ｓ１１０４では、選択部１００８内の画像情報取得部１００８ａが、外部記憶装置１０４から検索順位を取得する。Ｓ１１０５では、選択部１００８内の類似クラスタ算出部１００８ｂが、Ｓ１１０３で取得した複数のクラスタからＳ１１０４で取得した検索順位を用いて特定のクラスタを選択する。Ｓ１１０６では、Ｓ１１０５で選択した選択クラスタ１００９内の３つ以上の画像の特徴量とのコサイン類似度が閾値ＴＨ３以上の特徴量をもう画像が存在する場合、Ｓ１１０７に進む。選択クラスタ１００９内の３つ以上の画像の特徴量とのコサイン類似度が閾値ＴＨ３以上の特徴量を持つ画像が存在しない場合、Ｓ１１０８に進む。Ｓ１１０７では、選択クラスタ１００９内の３つ以上の画像の特徴量とのコサイン類似度が閾値ＴＨ３以上の特徴量を持つ画像を選択クラスタ１００９に追加する。Ｓ１１０８では、Ｓ１１０６もしくはＳ１１０７で取得したクラスタの画像を抽出結果として表示する。

以上のように、本実施形態の情報処理装置によると、ＷＥＢ画像検索サイトで取得したＷＥＢ上の画像から所望のオブジェクトの画像を抽出する方法においても、抽出結果の画像数を増やしつつ、抽出結果のノイズを抑えることが可能になる。この画像抽出システムは、例えば深層学習といった機械学習システムの学習データの収集などに利用することができる。すなわち、このようにデータを追加したクラスタを用いて所定の解析を実行する学習モデルを学習させてもよい。所定の解析とは、例えば、顔認証処理や物体追尾処理である。本実施形態のようにデータを追加されたクラスタは、ノイズが少ないがデータは多くなるので、学習モデルの精度を向上させうる。

なお、上記全ての実施形態は画像に関する事例で説明をしているが、本特許の効果は画像に限るものではないため、本特許の請求範囲は画像に限定するものではない。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供してもよい。

１００ 情報処理装置
２０１ 画像取得部
２０２ 特徴抽出部
２０３ クラスタ取得部
２０４ 選択部
２０５ 画像決定部

Claims (14)

1. 複数のデータのうち、第１の閾値よりも類似度の大きいデータの集合である第１のクラスタを取得するクラスタ取得手段と、
   前記複数のデータのうち前記第１のクラスタに含まれない特定のデータとの類似度が、前記第１の閾値とは異なる第２の閾値よりも大きいデータが前記第１のクラスタ内に所定の数よりも多く存在する場合に、前記特定のデータを前記第１のクラスタに追加することを決定する決定手段と、を有することを特徴とする情報処理装置。
2. 前記第２の閾値は前記第１の閾値よりも小さいことを特徴とする請求項１に記載の情報処理装置。
3. 前記クラスタ取得手段は前記第１の閾値に基づいて前記第１のクラスタを含む複数のクラスタを取得し、
   前記特定のデータは、前記複数のクラスタのうち前記第１のクラスタとは異なる第２のクラスタに属し、
   前記決定手段は、前記第２のクラスタに属する複数のデータを前記第１のクラスタに追加することを決定することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記クラスタ取得手段は前記第１の閾値に基づいて前記第１のクラスタを含む複数のクラスタを取得し、前記複数のクラスタのうち、該クラスタに含まれる代表データとユーザーの指定に基づいて選択された注目データとの類似度が第３の閾値以上であるクラスタを第１のクラスタとして選択する選択手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記代表データは、前記クラスタに含まれるデータの平均値を有するデータであることを特徴とする請求項４に記載の情報処理装置。
6. ユーザーによって指定されたクエリに基づいて前記複数のデータを取得するデータ取得手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記クエリに対応する部分画像を抽出する抽出手段を更に有し、
   前記決定手段は、前記データ取得手段によって取得された複数のデータから抽出された部分画像から追加するデータを決定することを特徴とする請求項６に記載の情報処理装置。
8. 前記データ取得手段は、前記クエリとの関連度を示す順位情報が付与されたデータを取得し、
   前記決定手段は、前記順位情報が付与されたデータのうち、前記順位情報がより高いデータと類似するデータを有する前記第１のクラスタについて、追加するデータを決定することを特徴とする請求項６または７に記載の情報処理装置。
9. 前記データは、画像であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記データから特徴を取得する特徴取得手段を更に有することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記クラスタ取得手段は、階層的クラスタリング手法を用いて、前記複数のデータから前記第１のクラスタを取得することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記決定手段によって追加されたデータを含む前記第１のクラスタに基づいて、所定の学習モデルを学習する学習手段を更に有することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 複数のデータのうち、第１の閾値よりも類似度の大きいデータの集合である第１のクラスタを取得するクラスタ取得工程と、
    前記複数のデータのうち前記第１のクラスタに含まれない特定のデータとの類似度が、前記第１の閾値とは異なる第２の閾値よりも大きいデータが、前記第１のクラスタ内に所定の数よりも多く存在する場合に、前記特定のデータを前記第１のクラスタに追加することを決定する決定工程と、を有することを特徴とする情報処理方法。
14. コンピュータを、請求項１乃至１２のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。

Images