JP4321645B2 - 情報処理装置および情報処理方法、認識装置および情報認識方法、並びに、プログラム - Google Patents

Description

本発明は、情報処理装置および情報処理方法、認識装置および情報認識方法、並びに、プログラムに関し、特に、２つの特徴量の相関を用いて認識処理を行う場合に用いて好適な、情報処理装置および情報処理方法、認識装置および情報認識方法、並びに、プログラムに関する。

従来、２枚の顔画像が同一人物のものか否かを識別する際に、ガボアフィルタを用いて、顔の様々な特徴点の局所特徴ベクトル（Gabor Jets）を抽出し、ガボアフィルタの全ての次元の相関値のみから構成される相関ベクトルをSVM（support vector machine）を用いて学習し、識別器を生成して、これを用いて識別処理を実行する技術がある（例えば、特許文献１参照）。

ＷＯ０３/０１９４７５号公報

上述した従来の技術においては、ガボアフィルタを用いて、顔の様々な特徴点のGabor Jetsを抽出し、ガボアフィルタの全ての次元の相関値のみから構成される相関ベクトルを、SVMを用いて学習し、識別器を生成しているが、それぞれの顔特徴点における局所特徴量を記述するためにGabor Jetを全て必要とするとは限らず、Gabor Jetの一部（Gabor Jetを構成するGabor Featuresの一部）が局所画像特徴とは無相関の特徴点も、数多く存在すると考えられる。

このような局所特徴とは無相関なGabor Featureを含むGabor Jetからなる局所特徴ベクトル同士の相関を取ると、無相関な特徴量が悪影響を及ぼす可能性が高い。また、局所画像特徴の中には互いに独立な特徴が組み合わされている可能性も考えられるが、全ての局所特徴で相関を取るだけではそれらの類似性を独立に取り出すことはできない。

本発明はこのような状況に鑑みてなされたものであり、２つの特徴量の相関を用いて認識処理を行う場合の認識の精度を向上させることができるようにするものである。

本発明の第１の側面の情報処理装置は、学習用の顔画像から、Ｎ次元（Ｎは２以上の整数）の第１の特徴量を取得して、Ｎ次元の前記第１の特徴量を用いて、前記Ｎ次元の前記第１の特徴量を構成する要素を、性質ごとに分類したマトリクスにおいて連続する領域に含まれる前記第１の特徴量を組み合わせて、前記第１の特徴量のＮ次元以下の組み合わせである第１の組み合わせ特徴量を複数生成する組み合わせ生成手段と、前記組み合わせ生成手段により生成された複数の前記第１の組み合わせ特徴量と、複数の前記第１の組み合わせ特徴量のそれぞれの次元に合致した、学習用モデルとしての顔画像の特徴量である学習用モデル特徴量との第１の相関係数を算出し、前記第１の相関係数を用いて、ブースティングアルゴリズムにより前記学習用の顔画像の分類処理を行うことにより、認識用の顔画像の分類処理を行うための学習処理を実行し、複数の弱認識器から構成された１つの認識器を生成する学習処理実行手段とを備える。

前記Ｎ次元の前記第１の特徴量は、Ｎ種類のガボアフィルタによって取得された特徴量であるものとすることができる。

前記組み合わせ生成手段には、Ｎ種類の前記ガボアフィルタによって取得された特徴量において、前記ガボアフィルタのフィルタ周波数とフィルタの方向によって分類して生成したマトリクスにおいて連続する領域に含まれる前記第１の特徴量を組み合わせて前記第１の組み合わせ特徴量を複数生成させるようにすることができる。

前記組み合わせ生成手段には、Ｎ種類の前記ガボアフィルタによって取得された特徴量において、前記ガボアフィルタのフィルタ周波数とフィルタの方向によって分類して生成したマトリクスにおいて、フィルタ周波数とフィルタの方向が所定の範囲となるような矩形領域に含まれる前記第１の特徴量を組み合わせて前記第１の組み合わせ特徴量を複数生成させるようにすることができる。

前記組み合わせ生成手段には、前記認識用の顔画像から、前記学習処理実行手段により実行された前記学習処理において生成される所定の認識器に基づいて予め決定されているＮ次元以下の所定の第２の特徴量を取得して、前記認識器に基づいて予め決定されている前記第２の特徴量のＮ次元以下の組み合わせである第２の組み合わせ特徴量を、複数、更に生成させるようにすることができ、前記組み合わせ生成手段により生成された複数の前記第２の組み合わせ特徴量と、複数の前記第２の組み合わせ特徴量のそれぞれの次元に合致した登録特徴量との第２の相関係数を算出し、前記第２の相関係数を用いて、前記認識器を用いた前記認識用の顔画像の分類処理を実行する分類処理実行手段を更に備えさせるようにすることができる。

本発明の第１の側面の情報処理方法は、分類処理のための学習を行う情報処理装置の情報処理方法であって、学習用の顔画像から、Ｎ次元（Ｎは２以上の整数）の第１の特徴量を取得し、Ｎ次元の前記第１の特徴量を用いて、前記Ｎ次元の前記第１の特徴量を構成する要素を、性質ごとに分類したマトリクスにおいて連続する領域に含まれる前記第１の特徴量を組み合わせて、前記第１の特徴量のＮ次元以下の組み合わせである第１の組み合わせ特徴量を複数生成し、複数の前記第１の組み合わせ特徴量のそれぞれの次元に合致した、学習用モデルとしての顔画像の特徴量である学習用モデル特徴量を取得して、複数の前記第１の組み合わせ特徴量と前記学習用モデル特徴量との第１の相関係数を算出し、前記第１の相関係数を用いて、ブースティングアルゴリズムにより前記学習用の顔画像の分類処理を実行することにより、認識用の顔画像の分類処理を行うための学習処理を実行し、複数の弱認識器から構成された１つの認識器を生成するステップを含む。

分類処理により分類されるために供給された前記認識用の顔画像から、前記学習処理による学習の結果得られた認識器に基づいて予め決定されているＮ次元以下の第２の特徴量を取得し、Ｎ次元以下の前記第２の特徴量を用いて、前記認識器に基づいて予め決定されている前記第２の特徴量のＮ次元以下の組み合わせである第２の組み合わせ特徴量を複数生成し、複数の前記第２の組み合わせ特徴量のそれぞれの次元に合致した登録特徴量を取得し、複数の前記第２の組み合わせ特徴量と、前記登録特徴量との第２の相関係数を算出し、前記学習処理による学習の結果得られた前記認識器、および、前記第２の相関係数を用いて、前記認識用の顔画像の分類処理を実行するステップを更に含ませるようにすることができる。

本発明の第１の側面のプログラムは、分類処理のための学習をコンピュータに実行させるためのプログラムであって、学習用の顔画像から、Ｎ次元（Ｎは２以上の整数）の第１の特徴量の取得を制御し、Ｎ次元の前記第１の特徴量を用いて、前記Ｎ次元の前記第１の特徴量を構成する要素を、性質ごとに分類したマトリクスにおいて連続する領域に含まれる前記第１の特徴量を組み合わせて、前記第１の特徴量のＮ次元以下の組み合わせである第１の組み合わせ特徴量を複数生成し、複数の前記第１の組み合わせ特徴量のそれぞれの次元に合致した、学習用モデルとしての顔画像の特徴量である学習用モデル特徴量の取得を制御して、複数の前記第１の組み合わせ特徴量と前記学習用モデル特徴量との第１の相関係数を算出し、前記第１の相関係数を用いて、ブースティングアルゴリズムにより前記学習用の顔画像の分類処理を行うことにより、認識用の顔画像の分類処理を行うための学習処理を実行し、複数の弱認識器から構成された１つの認識器を生成するステップを含む処理をコンピュータに実行させる。

分類処理により分類されるために供給された前記認識用の顔画像から、前記学習処理による学習の結果得られた認識器に基づいて予め決定されているＮ次元以下の第２の特徴量の取得を制御し、Ｎ次元以下の前記第２の特徴量を用いて、前記認識器に基づいて予め決定されている前記第２の特徴量のＮ次元以下の組み合わせである第２の組み合わせ特徴量を複数生成し、複数の前記第２の組み合わせ特徴量のそれぞれの次元に合致した登録特徴量の取得を制御し、複数の前記第２の組み合わせ特徴量と、前記登録特徴量との第２の相関係数を算出し、前記学習処理による学習の結果得られた前記認識器、および、前記第２の相関係数を用いて、前記認識用の顔画像の分類処理を実行するステップを更に含ませるようにすることができる。

本発明の第２の側面の認識装置は、Ｎ次元（Ｎは２以上の整数）の特徴量を取得することが可能であり、ブースティングアルゴリズムを用いた学習用の顔画像の分類を行う処理である学習処理の結果得られた、複数の弱認識器から構成された１つの認識器を用いて認識用の顔画像を分類する認識処理を行う認識装置であって、前記認識用の顔画像から、前記認識器に基づいて予め決定されているＮ次元未満の所定の前記特徴量を取得して、前記認識器に基づいて予め決定されている前記特徴量のＮ次元未満の組み合わせである組み合わせ特徴量を複数生成する組み合わせ生成手段と、前記組み合わせ生成手段により生成された複数の前記組み合わせ特徴量と、複数の前記組み合わせ特徴量のそれぞれの次元に合致した、登録された顔画像の特徴量である登録特徴量との相関係数を算出し、前記相関係数を用いて、前記認識器を用いた前記認識用の顔画像の分類処理を実行する分類処理実行手段とを備え、前記認識器に基づいて予め決定されている前記特徴量のＮ次元未満の組み合わせは、前記Ｎ次元の前記特徴量を構成する要素を、性質ごとに分類したマトリクスにおいて連続する領域に含まれる前記特徴量の複数の組み合わせである。

前記特徴量は、複数種類のガボアフィルタのうちのいずれかによって取得された特徴量であるものとすることができる。

前記認識器に基づいて予め決定されている前記特徴量のＮ次元未満の組み合わせは、前記ガボアフィルタのフィルタ周波数とフィルタの方向によって分類して生成したマトリクスにおいて連続する領域に含まれる前記特徴量を組み合わせた、複数の組み合わせであるものとすることができる。

前記認識器に基づいて予め決定されている前記特徴量のＮ次元未満の組み合わせは、前記ガボアフィルタのフィルタ周波数とフィルタの方向によって分類して生成したマトリクスにおいて、フィルタ周波数とフィルタの方向が所定の範囲となるような矩形領域に含まれる前記特徴量を組み合わせた、複数の組み合わせであるものとすることができる。

本発明の第２の側面の情報認識方法は、Ｎ次元（Ｎは２以上の整数）の特徴量を取得することが可能であり、ブースティングアルゴリズムを用いた学習用の顔画像の分類を行う処理である学習処理の結果得られた、複数の弱認識器から構成された１つの認識器を用いて認識用の顔画像を分類する認識処理を実行する認識装置の情報認識方法であって、前記認識用の顔画像から、前記認識器に基づいて予め決定されているＮ次元未満の所定の特徴量を取得し、Ｎ次元未満の前記特徴量を用いて、前記認識器に基づいて予め決定されている前記特徴量のＮ次元未満の組み合わせである組み合わせ特徴量を複数生成し、複数の前記組み合わせ特徴量のそれぞれの次元に合致した、登録された顔画像の特徴量である登録特徴量を取得し、複数の前記組み合わせ特徴量と、前記登録特徴量との相関係数を算出し、前記相関係数を用いて、前記認識用の顔画像を分類するステップを含み、前記認識器に基づいて予め決定されている前記特徴量のＮ次元未満の組み合わせは、前記Ｎ次元の前記特徴量を構成する要素を、性質ごとに分類したマトリクスにおいて連続する領域に含まれる前記特徴量の複数の組み合わせである。

本発明の第２の側面のプログラムは、Ｎ次元（Ｎは２以上の整数）の特徴量を取得することが可能であり、ブースティングアルゴリズムを用いた学習用の顔画像の分類を行う処理である学習処理の結果得られた、複数の弱認識器から構成された１つの認識器を用いて認識用の顔画像を分類する認識処理をコンピュータに実行させるためのプログラムであって、前記認識用の顔画像からの、前記認識器に基づいて予め決定されているＮ次元未満の所定の特徴量の取得を制御し、Ｎ次元未満の前記特徴量を用いて、前記認識器に基づいて予め決定されている前記特徴量のＮ次元未満の組み合わせである組み合わせ特徴量を複数生成し、複数の前記組み合わせ特徴量のそれぞれの次元に合致した、登録された顔画像の特徴量である登録特徴量の取得を制御し、複数の前記組み合わせ特徴量と、前記登録特徴量との相関係数を算出し、前記相関係数を用いて、前記認識用の顔画像を分類するステップを含み、前記認識器に基づいて予め決定されている前記特徴量のＮ次元未満の組み合わせは、前記Ｎ次元の前記特徴量を構成する要素を、性質ごとに分類したマトリクスにおいて連続する領域に含まれる前記特徴量の複数の組み合わせである処理をコンピュータに実行させる。

本発明の第１の側面においては、学習用の顔画像から、Ｎ次元の特徴量が取得されて、Ｎ次元の特徴量が用いられて、前記Ｎ次元の前記第１の特徴量を構成する要素を、性質ごとに分類したマトリクスにおいて連続する領域に含まれる前記第１の特徴量を組み合わせて、特徴量のＮ次元以下の組み合わせである組み合わせ特徴量が複数生成され、生成された複数の組み合わせ特徴量と、複数の組み合わせ特徴量のそれぞれの次元に合致した、学習用モデルとしての顔画像の特徴量である学習用モデル特徴量との相関係数が算出され、相関係数が用いられて、ブースティングアルゴリズムにより学習用の顔画像が分類されることにより学習処理が実行され、複数の弱認識器から構成された１つの認識器が生成される。

本発明の第２の側面においては、認識用の顔画像から、認識器に基づいて予め決定されているＮ次元未満の特徴量が取得されて、Ｎ次元未満の特徴量が用いられて、特徴量のＮ次元未満の組み合わせである組み合わせ特徴量が複数生成され、生成された複数の組み合わせ特徴量と、複数の組み合わせ特徴量のそれぞれの次元に合致した、登録された顔画像の特徴量である登録特徴量との相関係数が算出され、相関係数が用いられて、認識器を用いた認識用の顔画像の分類処理が実行される。

本発明の第３の側面の認識装置は、Ｎ次元（Ｎは２以上の整数）の特徴量を取得することが可能であり、ブースティングアルゴリズムを用いた学習用の顔画像の分類を行う処理である学習処理の結果得られた、複数の弱認識器から構成された１つの認識器を用いて認識用の顔画像を分類する認識処理を行う認識装置であって、学習処理の結果得られた前記認識器と、認識用特徴量の情報とを記憶する記憶手段と、前記記憶手段により記憶されている前記認識器および前記認識用特徴量を用いて、前記認識用の顔画像から、前記認識器に基づいて予め決定されているＮ次元以下の所定の前記特徴量のうちの前記認識用特徴量に合致する特徴量を取得して、前記認識用特徴量に合致する前記特徴量のＮ次元以下の組み合わせである組み合わせ特徴量を複数生成する組み合わせ生成手段と、前記組み合わせ生成手段により生成された複数の前記組み合わせ特徴量と、複数の前記組み合わせ特徴量のそれぞれの次元に合致した、登録された顔画像の特徴量である登録特徴量との相関係数を算出し、前記相関係数を用いて、前記認識器を用いた前記認識用の顔画像の分類処理を実行する分類処理実行手段とを備え、前記認識器に基づいて予め決定されている前記特徴量のＮ次元未満の組み合わせは、前記Ｎ次元の前記特徴量を構成する要素を、性質ごとに分類したマトリクスにおいて連続する領域に含まれる前記特徴量の複数の組み合わせである。

前記認識用特徴量は、前記認識器において用いられているのが、いずれの特徴点のどの局所特徴量であるかを示す情報であるものとすることができる。

前記特徴量は、複数種類のガボアフィルタのうちのいずれかによって取得された特徴量であるものとすることができる。

前記認識器に基づいて予め決定されている前記特徴量のＮ次元以下の組み合わせは、前記ガボアフィルタのフィルタ周波数とフィルタの方向によって分類して生成したマトリクスにおいて連続する領域に含まれる前記特徴量を組み合わせた、複数の組み合わせであるものとすることができる。

前記認識器に基づいて予め決定されている前記特徴量のＮ次元以下の組み合わせは、前記ガボアフィルタのフィルタ周波数とフィルタの方向によって分類して生成したマトリクスにおいて、フィルタ周波数とフィルタの方向が所定の範囲となるような矩形領域に含まれる前記特徴量を組み合わせた、複数の組み合わせであるものとすることができる。

本発明の第３の側面の情報認識方法は、ブースティングアルゴリズムを用いた学習用の顔画像の分類を行う処理である学習処理の結果得られた、複数の弱認識器から構成された１つの認識器と、認識用特徴量の情報とを記憶する記憶部を有し、Ｎ次元（Ｎは２以上の整数）の特徴量を取得することが可能であり、認識用の顔画像を分類する認識処理を行う認識装置の情報認識方法であって、前記記憶部に記憶されている前記認識器および前記認識用特徴量を用いて、前記認識用の顔画像から、前記認識器に基づいて予め決定されているＮ次元以下の所定の前記特徴量のうちの前記認識用特徴量に合致する特徴量を取得し、前記記憶部に記憶されている前記認識器および前記認識用特徴量を用いて、前記認識用特徴量に合致する前記特徴量のＮ次元以下の組み合わせである組み合わせ特徴量を複数生成し、生成された複数の前記組み合わせ特徴量と、複数の前記組み合わせ特徴量のそれぞれの次元に合致した、登録された顔画像の特徴量である登録特徴量との相関係数を算出し、前記相関係数を用いて、前記認識器を用いた前記認識用の顔画像の分類処理を実行するステップを含み、前記認識器に基づいて予め決定されている前記特徴量のＮ次元未満の組み合わせは、前記Ｎ次元の前記特徴量を構成する要素を、性質ごとに分類したマトリクスにおいて連続する領域に含まれる前記特徴量の複数の組み合わせである。

本発明の第３の側面のプログラムは、記憶部に記憶されている、ブースティングアルゴリズムを用いた学習用の顔画像の分類を行う処理である学習処理の結果得られた、複数の弱認識器から構成された１つの認識器と、認識用特徴量の情報とを用いて、Ｎ次元（Ｎは２以上の整数）の特徴量を取得して、認識用の顔画像を分類する認識処理を行う処理をコンピュータに実行させるためのプログラムであって、前記記憶部に記憶されている前記認識器および前記認識用特徴量を用いて、前記認識用の顔画像から、前記認識器に基づいて予め決定されているＮ次元以下の所定の前記特徴量のうちの前記認識用特徴量に合致する特徴量を取得し、前記記憶部に記憶されている前記認識器および前記認識用特徴量を用いて、前記認識用特徴量に合致する前記特徴量のＮ次元以下の組み合わせである組み合わせ特徴量を複数生成し、複数の前記組み合わせ特徴量のそれぞれの次元に合致した、登録された顔画像の特徴量である登録特徴量の取得を制御し、生成された複数の前記組み合わせ特徴量と、複数の前記組み合わせ特徴量のそれぞれの次元に合致した前記登録特徴量との相関係数を算出し、前記相関係数を用いて、前記認識器を用いた前記認識用の顔画像の分類処理を実行するステップを含み、前記認識器に基づいて予め決定されている前記特徴量のＮ次元未満の組み合わせは、前記Ｎ次元の前記特徴量を構成する要素を、性質ごとに分類したマトリクスにおいて連続する領域に含まれる前記特徴量の複数の組み合わせである処理をコンピュータに実行させる。

本発明の第３の側面においては、学習処理の結果得られた認識器と、認識用特徴量の情報とを用いて、認識器に基づいて予め決定されているＮ次元以下の所定の特徴量のうちの認識用特徴量に合致する特徴量が取得されて、認識用の顔画像から、認識用特徴量に合致する特徴量のＮ次元以下の組み合わせである組み合わせ特徴量が複数生成され、複数の前記組み合わせ特徴量のそれぞれの次元に合致した、登録された顔画像の特徴量である登録特徴量の取得を制御し、生成された複数の組み合わせ特徴量と、複数の組み合わせ特徴量のそれぞれの次元に合致した前記登録特徴量との相関係数が算出され、相関係数が用いられて、認識器を用いた認識用の顔画像の分類処理が実行される。

ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。

画像処理装置は、独立した装置であっても良いし、情報処理装置や認識装置などの画像処理を行うブロックであっても良い。

以上のように、本発明によれば、分類処理のための学習を行うことができ、特に、特徴点を増やすことなく、特徴量の次元数を増やして、学習の結果実行される分類の精度を向上することができる。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、画像処理装置１１の構成を示すブロック図である。

画像処理装置１１は、人物の撮像画像を用いて、画像認識処理を実行し、その人物が登録された人物か否かを判定する処理を実行することができる。

画像処理装置１１は、学習モードと認識モードの２つの動作モードで動作する。学習モードとは、学習用の画像を用いて、認識処理を学習し、認識モードにおける認識処理に用いる認識器を生成する処理を実行する。認識モードとは、学習モードによって生成された認識器を用いて画像を認識し、認識対象の画像が、登録された人物の顔を含むものであるか否かを判定する処理を実行する。

画像処理装置１１は、画像取得部３１、顔検出部３２、顔画像変換部３３、顔認識処理部３４、顔登録データベース３５、および、認識結果出力部３６から構成されている。

なお、ここでは、画像処理装置１１に顔登録データベース３５が含まれるものとして説明を続けるが、顔登録データベース３５は、図示しないネットワークなどを介して、画像処理装置１１に接続されているような構成とすることも可能である。ネットワークなどを介して顔登録データベース３５が接続されることにより、複数の画像処理装置１１で１つの顔登録データベース３５を共有することが可能となる。

画像取得部３１は、例えば、カメラなどを含む構成とされ、人を撮像する機能を有するか、または、外部に備えられたカメラ、もしくは、他の装置から、撮像された人の画像を取得する。画像取得部３１により取得される画像は、人の顔の部分が少なくとも含まれる画像である。画像取得部３１に取得された画像は、顔検出部３２に供給される。

画像取得部３１は、学習モードにおいては、例えば、撮像画像中の顔の大きさや向きが異なるような学習用画像を、ある人物において複数取得するとともに、その人物の顔の画像を含まない画像を複数取得する。なお、その人物の正面の顔画像の所定の特徴点における特徴量が、学習処理における学習用モデル特徴量として学習に用いられる。

また、画像取得部３１は、認識モードにおいては、認識対象となる人物の顔の部分を含む撮像画像を取得する。

顔検出部３２は、画像取得部３１から供給された画像を解析することにより、人の顔の部分（顔の位置と大きさ）を抽出し、抽出された人の顔の部分の画像（以下、顔画像と称する）を検出する。画像取得部３１から供給される画像は、認識対象のユーザの顔を含む画像であるが、例えば、全身像が撮影されているような画像など、顔の画像だけでない場合もある。顔検出部３２は、そのような画像から、人の顔の領域を判断し、人の顔の部分に対応する画像を抽出する。検出された顔画像は、顔画像変換部３３の顔特徴点検出部５１および顔アライメント部５２に供給される。

顔画像変換部３３は、顔特徴点検出部５１、および、顔アライメント部５２から構成される。

顔特徴点検出部５１は、顔検出部３２から供給された顔画像から、後述する顔アライメント部５２によるモーフィング処理に用いられるアライメント用特徴点を検出する。アライメント用特徴点は、例えば、目、鼻、口といった人の顔の中の特徴となる部分、すなわち、顔特徴部分であってもよいし、顔特徴部分のみならず、もっと詳細に部分分けして特徴点を検出するようにしても良い。

顔特徴点検出部５１は、例えば、ＡＡＭ(Active Appearance Models)と称される方法などを適用して、特徴位置を検出することが可能である。

顔アライメント部５２は、顔検出部３２から供給された顔画像、および、顔特徴点検出部５１により検出されたアライメント用特徴点を解析することにより、抽出された顔が、どの方向を向いているかを検出し、顔特徴位置が基準位置にくるように、アフィン変換などのモーフィング処理を行う。これにより、例えば正面からみた顔の画像である場合には、左右の目が水平な位置に所定の距離はなれて位置し、左右の目の中間の下方に鼻が位置し、その鼻よりさらに下方に口が位置するようにモーフィング処理が行われ、顔検出部３２から供給された顔画像が正面を向いていないものであっても、正面を向いた場合の顔画像と略同様なものに変換される。その結果、画像取得部３１により取得された顔画像が正面を向いていない場合であっても識別が可能になる。

顔認識処理部３４は、局所特徴計算部７１、認識器生成部７２、学習データ格納部７３、および、顔認識部７４を含んで構成される。

抽出された特徴点が基準位置に直された顔画像は、顔認識処理部３４の局所特徴計算部７１に供給される。局所特徴計算部７１は、供給された顔画像の複数の特徴点における局所的な特徴量を計算する。局所特徴量を求めるための特徴点は、顔特徴点検出部５１において検出されたアライメント用特徴点と同一であっても良いし、顔特徴点検出部５１において検出されたアライメント特徴点とは全く異なる複数の点（例えば、後述する図７においてばつ印で示される複数の点など）であっても良い。局所特徴計算部７１は、ガボアフィルタ（Gabor Filter）で構成される。

ここで、ガボアフィルタの処理（ガボアフィルタリング）について説明する。

人間の視覚細胞には、ある特定の方位に対して選択性を持つ細胞が存在することが既に判っている。これは、垂直の線に対して反応する細胞と、水平の線に反応する細胞で構成される。ガボアフィルタリングは、これと同様に、方位選択性を持つ複数のフィルタで構成される空間フィルタである。

ガボアフィルタは、ガボア関数によって空間表現される。ガボア関数ｇ（ｘ，ｙ）は、次の式（１）に示すように、コサイン成分からなるキャリアｓ（ｘ，ｙ）と、２次元ガウス分析状のエンベローブＷｒ（ｘ，ｙ）とで構成される。

キャリアｓ（ｘ，ｙ）は、複数関数を用いて、次の式（２）のように表現される。ここで、座標値（ｕ0，ｖ0）は空間周波数を表し、またＰはコサイン成分の位相を表す。

式（２）に示すキャリアは、次の式（３）に示すように、実数成分Ｒｅ（ｓ（ｘ，ｙ））と虚数成分Ｉｍ（ｓ（ｘ，ｙ））に分離することができる。

一方、２次元ガウス分布からなるエンベローブは、次の式（４）のように表現される。

ここで、座標軸（ｘ0，ｙ0）はこの関数のピークであり、定数ａ及びｂはガウス分布のスケール・パラメータである。また、添字ｒは、次の式（５）に示すような回転操作を意味する。

従って、上述の式（２）及び式（４）より、ガボアフィルタは、次式に示すような空間関数として表現される。

局所特徴計算部７１は、それぞれ異なる方向および周波数の複数のガボアフィルタを用いて、それぞれの特徴量を計算する。局所特徴計算部７１は、ここでは、８種類の方向と５通りの周波数を採用して、合計４０個のガボアフィルタを用いて、それぞれの特徴点の特徴量を計算する処理を行うものとする。

図２は、４０個のガボアフィルタを、スケールおよび方向を基にして並べた場合の一例を示すものである。図２においては、図中、縦軸が周波数方向の変化量を示し、上部ほど周波数は大きく、下部ほど周波数は小さい。そして、図中、横軸がフィルタ方向（角度）の変化量を示し、一番左が０度に対応し、右に行くほど角度が増え、中央部分が９０度に対応し、一番右が最も１８０度に近い角度に対応する。すなわち、図２のフィルタの配列において、一番左の列のフィルタと一番右の列のフィルタとは、角度の変化として連続するフィルタである。

ガボアフィルタのレスポンスは、Ｇiをｉ番目のガボアフィルタとし、ｉ番目のガボアフィルタの結果（Gabor Feature）をＪiとし、入力イメージをＩとすると、次式で表される。

すなわち、１つの特徴点に対して、４０個のガボアフィルタを用いると、４０個の特徴量が得られる。換言すれば、１つの特徴点に対して、４０個のパラメータを有する特徴量ベクトルを得ることができる。

局所特徴計算部７１により算出された特徴量は、学習モードにおいては、認識器生成部７２に供給され、認識モードにおいては、顔認識部７４に供給される。

特徴ベクトルを構成するGabor Jetは、様々な周波数及び方向パラメータを持つものが用意されているが、従来のガボアフィルタリングにおいては、それらのパラメータは、全ての特徴点において共通のものが用いられていることが多い。

しかしながら、画像の特徴を求める場合、特に顔画像の特徴を求める場合には、特徴点の位置によって特徴を記述するのに必要な周波数及び方向パラメータは異なるため、それぞれの特徴点では不要なパラメータが存在する可能性がある。

そして、このような不要なパラメータから求められたGabor Featureは、一般的にその特徴点の局所特徴と無相関な値を取る可能性が高いため、それらを含む局所特徴ベクトル間で相関係数を求める場合に、得られる結果に悪影響を及ぼす可能性がある。

また、ある特徴点の局所特徴が複数の独立した要因（例えば、表情、個人性、めがね等）で表現されている場合、Gabor Jetの全てから構成される局所特徴ベクトル間の相関値では、それらの要因の独立な相関を評価することが不可能である。

上述したように、この局所特徴計算部７１は、８種類の方向と５通りの周波数を採用して、合計４０個のガボアフィルタを用いて、それぞれの特徴点の特徴量を計算することが可能なようになされている。

そこで、局所特徴計算部７１は、学習モードにおいて、４０個のガボアフィルタにより得られる特徴量のうちの少なくとも一部を含む複数次元の特徴ベクトルの組を局所特徴量として、それぞれの特徴点において、複数種類の組み合わせを生成する。

この組み合わせの中に、４０個のガボアフィルタにより得られた特徴量を全て含む組み合わせ、すなわち、４０次元の特徴ベクトルが含まれていても良いし、含まれていなくても良いことは、言うまでもない。

換言すれば、局所特徴計算部７１は、１つの特徴点に対して、４０以下のパラメータを有する複数の特徴量ベクトルを得ることができる。すなわち、１つの顔画像に対して、N個の特徴点における局所特徴量が計算されるようになされている場合、ガボアフィルタの組み合わせがP種類用意されれば、１つの特徴点に対して、P種類の特徴量ベクトルを得ることができ、１つの顔画像に対して、N×Pの特徴量ベクトルを得ることができる。

また、この局所特徴量の組み合わせとして可能なものの総数Ｔは、次の式（８）で示される数となる。

このように、局所特徴計算部７１は、４０個のガボアフィルタにより得られた特徴量のうちの一部を、何組か、局所特徴量として組み合わせるが、その組み合わせから、局所特徴量として用いる組み合わせを選択するのは、ランダムな組み合わせであっても良い。しかしながら、式（８）に示されるように、組み合わせの総数Ｔは、非常に大きな値である。

上述したように、画像の特徴を求める場合、特に顔画像の特徴を求める場合には、特徴点の位置によって特徴を記述するのに必要な周波数及び方向パラメータは異なるため、それぞれの特徴点では不要なパラメータが存在する可能性がある。不要なパラメータではないもの、すなわち、特徴点により必要な周波数帯域および方向は、連続した範囲内にあると仮定することができる。そこで、全ガボアフィルタをスケール、方向毎に並べた図２のような特徴次元から、例えば、図３に示される矩形１３１、矩形１３２、矩形１３３などように、任意の位置、大きさの矩形領域を選択することにより、局所特徴量の組み合わせを決めるものとすると好適である。

このようにして、ガボアフィルタを、スケール、方向毎に並べた特徴次元から任意の位置、大きさの矩形領域を選択するものとすると、その組み合わせは、最高でも、5C2×8P2＝５６０通りとなり、合理的な数での特徴次元選択が可能になる。また、特徴点により必要な周波数帯域および方向が、組み合わせとして選択された矩形領域内にある場合、換言すれば、局所特徴とは無相関なGabor Featureの矩形領域内に含まれない場合には、無相関な特徴量が悪影響を及ぼすことを防ぐことができる。

局所特徴計算部７１は、学習モードにおいて、それぞれの特徴点において、４０以下のパラメータを有する複数の特徴量ベクトルを、認識器生成部７２に供給する。また、局所特徴計算部７１は、認識モードにおいては、学習データ格納部７３に格納されている認識用特徴量に基づいて、対応する特徴点の対応する局所特徴量を計算し、顔認識部７４に供給する。認識用特徴量とは、認識器生成部７２において学習により生成された認識器において用いられているのが、いずれの特徴点のどの局所特徴量（ガボアフィルタのどの部分）であるかを示す情報である。

これにより、認識器の生成、および、顔認識時に実行される相関係数の算出を、それぞれの特徴点において、全ての次元を用いた特徴量ベクトルによる１種類の相関係数だけはなく、一部の次元を用いた特徴量ベクトルを含む複数の相関係数について行うことが可能となる。換言すれば、それぞれ異なる次元の複数の特徴量を学習および認識に用いることが可能となる。

認識器生成部７２は、学習モードにおいて、局所特徴計算部７１により算出された学習用画像の特徴量と、予め保持している学習用モデルの特徴量とを用いて、Adaboostを利用した統計学習処理を実行し、認識モードにおける認識処理に用いる認識器を生成し、生成された認識器と、その認識器に関する情報（相関値と、その認識器の確からしさを示す情報）とを学習データ格納部７３に記憶させる。また、認識器生成部７２は、認識器の学習の過程で、対象となる顔画像を認識するのに大きく影響するモデル特徴量のみを抽出し、認識器において用いられているのが、いずれの特徴点のどの局所特徴量（ガボアフィルタのどの矩形領域部分）であるかを示す情報である認識用特徴量として、学習データ格納部７３に供給して記憶させる。

Adaboostとは、“ランダムよりも少し良い弱い識別器”（WeakLearnerとも称する）を多数組み合わせることで、“強い識別器”を構築できるとする理論であり、1996年に、Freundらによって提案されているものである。認識器生成部７２により生成される認識器は、この“ランダムよりも少し良い弱い識別器”（以下、弱認識器とも称する）であり、それぞれの認識機は、自分の前に生成された認識機が不得意とする認識に重みを置くようにして生成される。

そして、認識処理においては、それぞれの弱認識器がどのくらい信頼をおけるかにより、信頼度を求め、それに基づき多数決を行うようになされる。

認識器生成部７２の詳細は、図６を用いて後述する。

学習データ格納部７３には、認識器生成部７２により生成された認識器とその認識器に関する情報、および、認識用特徴量が格納される。

顔認識部７４は、認識モードにおいて、学習データ格納部７３に格納されている認識器を用いて、局所特徴計算部７１により算出された特徴量と、顔登録データベース３５に登録されている登録顔画像データを比較、すなわち、相関係数を計算し、登録されている人物と一致するか否かを判断し、判断結果を認識結果出力部３６に供給する。すなわち、顔認識部７４は、学習データ格納部７３に格納されている認識器の信頼度に基づいて、認識器の判定結果の多数決を行い、登録されている人物と一致するか否かの判断を実行する。

顔登録データベース３５は、登録されている人物の認識に必要な特徴量の情報が登録されている。すなわち、顔登録データベース３５には、登録されている人物の顔画像の全ての特徴点における全てのGabor Jetが登録されていても良いが、少なくとも、認識用特徴量に対応する特徴量の情報が登録されていればよい。

また、顔登録データベース３５に登録されている特徴量のデータ（登録顔画像データ）は、図１の画像取得部３１乃至局所特徴計算部７１の処理が施されることにより、取得され、登録されるデータであっても良いし、画像取得部３１乃至局所特徴計算部７１の処理が施されて得られるデータと同様のデータであれば、外部から取得されて登録されるデータであってもよい。

認識結果出力部３６は、顔認識部７４から供給された判断結果を、例えば、ブザー音、テキスト表示、LED点灯などによって外部に通知したり、判断結果を外部の装置に出力する。具体的には、例えば、認識結果出力部３６は、例えば、ディスプレイなどを含んで構成されるものとしても良く、判定結果を、メッセージなどの形式で表示するものとしてもよい。

例えば、入力された画像に含まれる顔画像と一致する登録顔画像が、顔登録データベース３５に登録されていた場合、一致していると判定された登録顔画像に関連付けられている人の名前などの情報が顔登録データベース３５から読み出され、その名前などの情報が、認識結果出力部３６に、判定結果として出力されるようにすることができる。

また、入力された画像に含まれる顔画像と一致する登録顔画像が顔登録データベース３５に登録されていなかった場合、認識結果出力部３６に、登録されていないかったことを示す情報、例えば、「未登録の人物です」といったメッセージが、判定結果として出力されるようにすることができる。

このようにして、画像処理装置１１は、特徴量を比較することにより、得られた人の顔画像が登録されている人の顔画像と一致するか否かの識別を行う。

次に、認識器生成部７２が有する機能の詳細について説明するのに先立ち、一般的なadaboostの処理について説明する。

１つの学習用画像のN個（Ｎは正の整数）の特徴点のそれぞれにおいて特徴量が得られるようになされている場合、学習処理においては、それぞれの特徴点の特徴量と、N個の学習用モデル特徴量との相関係数が求められる。

一般的に、adaboostを用いて認識器を生成するのに、Ｍ個（Ｍは正の整数）の学習用画像が用いられる場合、認識器を生成するための特徴量として、M個の学習用画像のそれぞれのN個の特徴量と、それらに対応するN個のモデル特徴量との相関係数が得られる。換言すれば、Ｍ個の学習用画像毎に、Ｎ個のモデル特徴量のそれぞれに対して得られた相関係数をパラメータとしたＮ次元の相関ベクトルが、特徴点ごとの特徴量パラメータとして生成されることになる。

例えば、Ｍ個の学習用画像のうち、学習用画像ＰＩ1，ＰＩ2が、認識しようとする対象物体を含む画像であり、学習用画像ＰＩ3乃至ＰＩMが、認識しようとする対象物体を含まない画像であるものとして、認識器の生成の具体的な例について説明する。

図４に、学習用画像ＰＩ1，ＰＩ2が、認識しようとする対象物体を含む画像であり、学習用画像ＰＩ3乃至ＰＩMが、認識しようとする対象物体を含まない画像である場合に得られる、相関係数をパラメータとしたＮ次元のベクトル、すなわち、認識器生成のために用いられる特徴量を示す。図４においては、認識しようとする対象物体を含む画像に対して、図中「＋１」と表記し、認識しようとする対象物体を含まない画像に対して、図中「−１」と表記するものとする。

図４に示されるように、学習用画像ＰＩ1について（Ａ1，Ａ2，・・・ＡN）として、学習用画像ＰＩ2について（Ｂ1，Ｂ2，・・・ＢN）として、学習用画像ＰＩ3について（Ｃ1，Ｃ2，・・・ＣN）として、そして、以下同様に、学習用画像ＰＩMについて（Ｍ1，Ｍ2，・・・ＭN）として、それぞれの特徴点の特徴量が供給された場合、特徴点ｋ＝１の特徴量は、グループＧｒ1で示される（Ａ1，Ｂ1，Ｃ1，・・・Ｍ1）であり、同様に、特徴点ｋ＝２の特徴量は、グループＧｒ2で示される（Ａ2，Ｂ2，Ｃ2，・・・Ｍ2）であり、・・・特徴点ｋ＝Ｎの特徴量は、グループＧｒNで示される（ＡN，ＢN，ＣN，・・・ＭN）となる。すなわち、Ｎ個の特徴点それぞれについて、学習用画像ＰＩi毎にＭ個の特徴量のグループＧｒkが設定されることになる。

そして、各特徴点において、各学習用画像ＰＩiに設定された重みに応じて特徴量がＭ個抽選で抽出される。最初の処理においては、いずれの重みＷiも等しいため、Ｍ個が抽選されると、確率的には全ての特徴量が選択されることになるので、ここでは、最初の処理では各特徴点ｋにおいて、全ての特徴量が選択されるものとする。もちろん、実際には、同一の特徴量が重複して選択されることもある。

そして、Ｎ個の入力特徴量のそれぞれについてサンプリングされたＭ個の入力特徴量は、昇べきの順、または、降べきの順に並び替えられる。そして、入力特徴量が抽出された学習用画像に認識しようとする対象物体が含まれている画像であるか否かを示す正誤情報、すなわち、図４における（＋１）または（−１）に基づいて、昇べきの順、または、降べきの順に並び替えられたＮ個の入力特徴量のそれぞれについて、ある閾値を設定したとき、その閾値以上と閾値以下で、正誤が正しく分かれるか否か、閾値を変化させながら誤り率を計算し、誤り率が最小となるような閾値設定する。この閾値が、弱認識器として設定される。

具体的には、例えば、特徴点ｋ＝１に対応するＭ個の特徴量が、図５で示されるようにＬ1，Ａ1，Ｃ1，Ｂ1，・・・，Ｍ1に昇べき、または、降べきの順に並べられ、閾値より小さい範囲では、認識しようとする対象物体がないと認識し、閾値より大きい範囲では、認識しようとする対象物体があると認識する場合、閾値th1が、特徴量Ａ1とＣ1の間に設定されたときには、図中の点線で囲まれた特徴量Ａ1は、認識しようとする対象物体が含まれた学習用画像の特徴量であり、一方、特徴量Ｃ1および特徴量Ｍ1は、認識しようとする対象物体が含まれない学習用画像の特徴量であるので、エラーであるとみなされる。

このようにして、学習用画像の正誤情報（認識しようとする対象物体が含まれているか否かの情報）に基づいて、エラーであるとみなされた特徴量が抽出された学習用画像の重みＷiが加算されて、誤り率が計算され、Ｎ個の弱認識器のうち、誤り率が最小となる弱認識器が選択される。

次に、顔認識処理部３４の認識器生成部７２の構成および動作について説明する。

図６は、認識器生成部７２の構成を示すブロック図である。

認識器生成部７２は、相関係数算出部１０１、学習用モデル特徴量記憶部１０２、サンプリング部１０３、重み設定部１０４、並び替え部１０５、認識器設定部１０６、認識器選択部１０７、および、重み更新部１０８を含んで構成されている。

相関係数算出部１０１は、図７に示されるように、学習用画像１５１と、学習用モデル特徴量記憶部１０２に記憶されている学習用モデル画像１５２とにおいて、対応する特徴点の、対応する局所特徴量の組み合わせのGabor Featuresから構成される局所特徴ベクトル間の相関係数を算出する。すなわち、相関係数算出部１０１は、１つの特徴点において、複数次元の異なる相関係数を算出する。

具体的には、相関係数算出部１０１は、１つの特徴点において、例えば、８次元、９次元、１２次元、１６次元など、次元数の異なる局所特徴量の組み合わせにおいて、相関係数を複数算出することができるとともに、同一の次元数であっても、異なる領域の局所特徴量の組み合わせ、換言すれば、異なるガボアフィルタの組み合わせにより求められる局所特徴量により構成される特徴量ベクトルにおいて、相関係数を複数算出することができる。

学習用モデル特徴量記憶部１０２は、図７に示される学習用モデル画像１５２が各特徴点において有するGabor Jetsを記憶している。

上述したように、局所特徴計算部７１においては、４０個のガボアフィルタにより得られた特徴量のうちの少なくとも一部を含む複数次元の局所特徴量を組み合わせた特徴ベクトルが、複数生成される。ここで、例えば、Ｐ種類の組み合わせが生成された場合、相関係数算出部１０１は、N箇所の特徴点の特徴量を用いて相関ベクトルを求める際に、図４を用いて説明した従来の一般的なadaboostが用いられた場合のように、学習用画像およびモデル特徴量の２つの局所特徴ベクトルの全ての次元を用いた相関係数をパラメータとしたＮ次元のベクトルを生成するのではなく、一部の次元のみを用いた相関係数も含めてパラメータとした、Ｎ×Ｐ次元の特徴ベクトルを生成することができる。

すなわち、全体のうちの少なくとも一部の次元の特徴ベクトルの組み合わせを複数用いるようにすることにより、顔画像の特徴点を増やすことなく、また、ガボアフィルタによるフィルタリング処理の処理量を増やすことなく、ブースティング処理の次元を増やすことが可能となる。

また、特に顔画像の場合には、特徴点の位置によって特徴を記述するのに必要な周波数及び方向パラメータは異なるため、それぞれの特徴点では、４０個のガボアフィルタにより得られた特徴量のうち不要なパラメータが存在する可能性がある。したがって、４０個のガボアフィルタにより得られた特徴量のうちの少なくとも一部を含む複数次元の特徴ベクトルの組を局所特徴量として、複数種類の組み合わせが生成され、それぞれの組み合わせを用いた学習の結果得られる認識器の性能は、従来における場合よりも高くなる可能性がある。このとき、全ガボアフィルタをスケール、方向毎に並べた図２のような特徴次元から、例えば、図３を用いて説明した矩形１３１、矩形１３２、矩形１３３などように、任意の位置、大きさの矩形領域を選択することにより、換言すれば、周波数や方向などの性質が連続するガボアフィルタの組み合わせを選択することにより、局所特徴量の組み合わせを決めるものとすると好適である。

例えば、Ｍ枚の学習用画像が供給され、局所特徴量として、１つの特徴点においてＰ通りの局所特徴量の組み合わせが局所特徴計算部７１において計算されるようになされており、相関係数算出部１０１において、Ｎ箇所の特徴点のそれぞれにおいて、対応するＰ通りの組み合わせごとに相関係数が算出された場合、相関係数算出部１０１からサンプリング部１０３に供給される特徴量は、図８に示される。

すなわち、学習用画像ＰＩ1について（Ａ1-1，Ａ1-2，・・・Ａ1-p，Ａ2-1，Ａ2-2，・・・Ａ2-p，・・・ＡN-1，ＡN-2，・・・ＡN-p）として、Ｎ×Ｐ個の特徴量が相関係数算出部１０１からサンプリング部１０３に供給される。同様に、学習用画像ＰＩ2については、（Ｂ1-1，Ｂ1-2，・・・Ｂ1-p，Ｂ2-1，Ｂ2-2，・・・Ｂ2-p，・・・ＢN-1，ＢN-2，・・・ＢN-p）として、学習用画像ＰＩ3については、（Ｃ1-1，Ｃ1-2，・・・Ｃ1-p，Ｃ2-1，Ｃ2-2，・・・Ｃ2-p，・・・ＣN-1，ＣN-2，・・・ＣN-p）として、そして、以下同様に、学習用画像ＰＩMについては、（Ｍ1-1，Ｍ1-2，・・・Ｍ1-p，Ｍ2-1，Ｍ2-2，・・・Ｍ2-p，・・・ＭN-1，ＭN-2，・・・ＭN-p）として、それぞれの特徴点の特徴量が相関係数算出部１０１からサンプリング部１０３に供給される。

したがって、特徴点ｋ＝１の１つ目の局所特徴量の組み合わせにおける特徴量は、グループＧｒ1-1で示される（Ａ1-1，Ｂ1-1，Ｃ1-1，・・・Ｍ1-1）であり、特徴点ｋ＝１の２つ目の局所特徴量の組み合わせにおける特徴量は、グループＧｒ1-2で示される（Ａ1-2，Ｂ1-2，Ｃ1-2，・・・Ｍ1-2）であり、以下、同様に、特徴点ｋ＝ＮのＰ番目の局所特徴量の組み合わせにおける特徴量は、グループＧｒN-Pで示される（ＡN-P，ＢN-P，ＣN-P，・・・ＭN-P）となる。すなわち、Ｎ個の特徴点それぞれのＰ種類の局所特徴量の組み合わせについて、学習用画像ＰＩi毎にＭ個の特徴量のグループが設定されることになる。

サンプリング部１０３は、重み設定部１０４により設定される学習用画像単位の重みに応じて、モデル特徴量毎に（すなわち、パラメータ毎に）、Ｍ個の入力特徴量をサンプリングし、並び替え部１０５に供給する。

具体的には、サンプリング部１０３は、各特徴点の局所特徴量の組み合わせごとに、すなわち、図８における縦のグループごとに、各学習用画像ＰＩiに設定された重みに応じて特徴量をＭ個抽選で抽出する。最初の処理においては、いずれの重みＷiも等しいため、Ｍ個が抽選されると、確率的には全ての特徴量が選択されることになるので、ここでは、最初の処理では各特徴点ｋのそれぞれの組み合わせにおいて、全ての特徴量が選択されたものとする。もちろん、実際には、同一の特徴量が重複して選択されることもある。

並び替え部１０５は、Ｎ×Ｐ個の入力特徴量のそれぞれについてサンプリングされたＭ個の入力特徴量を昇べきの順、または、降べきの順に並び替えて、認識器設定部１０６に供給する。

認識器設定部１０６は、入力特徴量が抽出された学習用画像に認識しようとする対象物体が含まれている画像であるか否かを示す正誤情報に基づいて、昇べきの順、または、降べきの順に並び替えられたＮ×Ｐ個の入力特徴量のそれぞれについて、閾値を変化させながら誤り率計算部１２１を制御して、誤り率を計算させ、誤り率が最小となるように閾値設定する（この閾値が、弱認識器として設定される）。

具体的には、認識器設定部１０６は、入力特徴量が抽出された学習用画像に認識しようとする対象物体が含まれている画像であるか否かを示す情報に基づいて、それぞれの特徴点における局所特徴量の組み合わせごとに、Ｍ個の特徴量のそれぞれについて、閾値を変化させながら誤り率計算部１２１を制御して、以下の式（９）で示すように誤り率ｅjkを計算させ、誤り率ｅjkが最小となるように閾値を設定する。以下、添え字のｋは、Ｎ個の特徴点のうちのｋ番目の特徴点に対応するものであることを示し、添え字のｊは、Ｐ種類の局所特徴量の組み合わせのｊ番目の組み合わせに対応するものであるとする。ここで、それぞれの特徴点における局所特徴量の組み合わせごとの閾値thjkが、1個の弱認識器fjkとなる。そこで、認識器設定部１０６は、弱認識器毎の誤り率ｅjkを認識器選択に供給する。すなわち、それぞれの特徴点における局所特徴量の組み合わせごとについて、Ｎ×Ｐ個の特徴量に応じたＮ×Ｐ個の弱認識器fjkが設定され、Ｎ×Ｐ個のそれぞれについて（弱認識器fjkのそれぞれについて）誤り率ｅjkが求められることになる。ここで、弱認識器fjkは、認識しようとする対象物体を含む場合「＋１」を出力し、認識しようとする対象物体を含まない場合「−１」を出力する関数である。

すなわち、図５を用いて説明した場合と同様にして、ある特徴点におけるある局所特徴量の組み合わせに対応する特徴量（得られた相関係数）が、昇べき、または、降べきの順に並べられた場合、設定された閾値thjkの位置と、その閾値に対してどちら側に認識しようとする対象物体が含まれた学習用画像に対応する特徴量と認識しようとする対象物体が含まれない学習用画像に対応する特徴量が並べられているかに基づいて、エラーであるか否かが判定される。

誤り率計算部１２１は、以下の式（９）で示されるように、学習用画像の正誤情報（認識しようとする対象物体が含まれているか否かの情報）に基づいて、エラーであるとみなされた特徴量が抽出された学習用画像の重みＷiを加算し、誤り率ｅjkを計算する。

ここで、ｙ≠fjkは、エラーとなっている特徴点ｋの条件を示しており、Ｅwは、エラーの発生した特徴点ｋにおける重みが加算されることを示している。

そして、認識器設定部１０６は、弱認識器毎の誤り率ｅjkを、認識器選択部１０７に供給する。すなわち、Ｎ×Ｐ個の入力特徴量に応じたＮ×Ｐ個の弱認識器が設定され、Ｎ×Ｐ個のそれぞれについて誤り率が求められることになる。

認識器選択部１０７は、Ｎ×Ｐ個の弱認識器fjkのうち、誤り率ｅjkが最小となる弱認識器fjkを選択する。

認識器選択部１０７は、Ｎ×Ｐ個の弱認識器fjkのうち、誤り率ｅjkが最小となる弱認識器fjkを選択して、学習データ格納部７３に記憶させるとともに、弱認識器fjkに対応するモデル特徴量を学習用モデル特徴量記憶部１０２より読み出し、学習データ格納部７３に記憶させる。さらに、認識器選択部１０７は、選択した弱認識器fjkの誤り率ｅjkに基づいて、信頼度を計算し、学習データ格納部７３に記憶させるとともに、重み更新部１０８に供給する。

具体的には、認識器選択部１０７は、選択した弱認識器fjkの最小の誤り率ｅjkに基づいて、以下の式（１０）で示されるように信頼度ｃjkを計算し、計算結果を重み更新部１０８に供給する。

重み更新部１０８は、供給された信頼度ｃjkに基づいて学習用画像ごとの重みＷiを再計算すると共に、重みＷiを正規化して更新し、更新結果を重み設定部１０４に供給する。重み設定部１０４は、重み更新部１０８より供給されてくる重みの更新結果に基づいて、学習用画像単位の重みＷiを設定する。

具体的には、重み更新部１０８は、供給された信頼度ｃjkに基づいて、以下の式（１１）で示されるように各学習用画像毎に重みＷiを再計算すると共に、全ての重みＷiを正規化して更新し、更新結果を重み設定部１０４に供給する。重み設定部１０４は、重み更新部１０８より供給されてくる重みの更新結果に基づいて、学習入力画像ごとの重みＷiを設定する。

すなわち、式（１１）においては、エラーの発生した特徴量を含む学習用画像の重みＷiが大きくなることが示されている。

認識器選択部１０７は、例えば、Q回目の学習により得られた弱認識器fjkをQ番目の弱認識器ｆQとして学習データ格納部７３に記憶させる（更新させる）。すなわち、認識器選択部１０７は、以下の式（１２）で示されるように、認識器R(x)を更新して、以下の式（１３）で示される形式で学習データ格納部７３に記憶させる。

R(x)＝R(x)＋cjk×fjk(x) ・・・（１２）

sign（R(x)）＝sign（R(x)＋cjk×fjk） ・・・（１３）

すなわち、重み付けされた弱認識器fjkが、既に保持されている認識器R(x)に加算され、新たな認識器R(x)として更新される。また、sign（Y）は、Yが正の場合、認識しようとする対象物体が入力画像中に存在することを示す「＋１」を出力し、Yが負の場合、認識しようとする対象物体が入力画像中に存在しないことを示す「−１」を出力する関数である。

そして、認識器選択部１０７は、弱認識器fjkの特徴点ｋの局所特徴量の組み合わせに対応するモデル特徴量を学習用モデル特徴量記憶部１０２より読み出し、学習データ格納部７３に記憶させる。

認識器選択部１０７は、Ｌ個の比較的誤り率の低い弱認識器fjkからなる認識器R(x)が学習データ格納部７３に記憶されると共に、それぞれの弱認識器fjkで使用されるべき特徴点ｋの対応する局所特徴量の組み合わせ（相関係数の算出に用いられたガボアフィルタの組み合わせ）のモデル特徴量が学習データ格納部７３に記憶される。ここで、Lは、Ｌ≦N×Pである。

なお、式（１３）の認識器は、L個の弱認識器の多数決により、認識しようとする対象物体の有無を出力する関数であると言える。このようにして、弱認識器を学習処理により重み付けしつつ付加することを繰り返し、認識器を生成する学習処理は、Discrete Adaboost Algorithmと称される処理である。

次に、図９のフローチャートを参照して、画像処理装置１１で学習モードにおいて実行される学習処理について説明する。

ステップＳ３１において、顔検出部３２は、画像取得部３１により取得された顔画像を含む画像から顔に対応する部分を検出し、検出された顔画像を、顔特徴点検出部５１および顔アライメント部５２に供給する。

ステップＳ３２において、顔特徴点検出部５１は、顔の特徴的な部分（顔特徴位置）、例えば、目、鼻、口といった特徴的な部分を検出する。

ステップＳ３３において、顔アライメント部５２は、顔検出部３２から供給された顔画像に対して、顔特徴点検出部５１により検出された顔特徴点に基づいて、例えば、アフィン変換などによりモーフィング処理を行い、正面から撮像された場合の顔画像に対応するように変換する。変換された顔画像は、局所特徴計算部７１に供給される。

ステップＳ３４において、局所特徴計算部７１は、例えば、図２を用いて説明したような、ガボアフィルタ（Gabor Filter）を用いて、局所特徴量を算出する。

ステップＳ３５において、局所特徴計算部７１は、ガボアフィルタにより得られた局所特徴量のうちの少なくとも一部を、例えば、図３を用いて説明したように、何組か組み合わせ、認識器生成部７２に供給する。組み合わせの方法と生成される組み合わせの数は、実験的または経験的に、予め決められるものであっても良いが、例えば、図３を用いて説明したようにして、周波数帯域および方向が連続するようにして選択するものとすると好適である。

ステップＳ３６において、認識器生成部７２の相関係数算出部１０１は、学習用モデル特徴量記憶部１０２から、学習モデルの特徴量を読み出して、局所特徴計算部７１から供給された局所特徴量と同一の組み合わせの学習モデルの組み合わせとの相関係数を算出する。

ステップＳ３７において、図１０を用いて後述する認識器生成処理が実行される。

ステップＳ３８において、認識器生成部７２は、ステップＳ３６の処理により生成された認識器を、学習データ格納部７３に供給して格納させるとともに、弱認識器に対応するモデル特徴量を学習用モデル特徴量記憶部１０２より読み出し、学習データ格納部７３に記憶させる。さらに、認識器選択部１０７は、選択した弱認識器の誤り率に基づいて、信頼度を計算し、学習データ格納部７３に記憶させ、処理が終了される。

このような処理により、学習モードにおいて、認識器が生成されて学習データ格納部７３に格納されるとともに、認識器に対応するモデル特徴量とその認識器の信頼度が、学習データ格納部７３に格納される。すなわち、認識器生成に用いられたGabor Featureは、どの特徴点に対するどの組み合わせであるか（例えば、全部で４０個ガボアフィルタが用意されていたら、そのうちのいずれのフィルタの組み合わせであるか）を示す認識用特徴量、また、その認識器の確からしさを示す情報が、学習データ格納部７３に格納される。

ここで、図１０のフローチャートを参照して、図９のステップＳ３７において実行される、認識器生成部７２による認識器生成処理について説明する。

ステップＳ９１において、重み設定部１０４は、例えば、学習用画像毎の重みＷiを全て１／Ｍに初期化すると共に、カウンタQを１に、認識器R(x)を０にそれぞれ初期化する。ここで、ｉは、複数の学習用入力画像ＰＩiをそれぞれ識別するものであり、１＜ｉ＜Ｍである。したがって、ステップＳ９１の処理により、全ての学習用画像ＰＩiは、いずれも正規化された同一の重み（＝１／Ｍ）に設定されることになる。

ステップＳ９２において、サンプリング部１０３は、特徴点ｋ（ｋ＝１，２，３，・・・Ｎ）のそれぞれの局所特徴量の組み合わせごと、すなわち、１枚の学習用画像に対して供給されたN×Pの特徴量（すなわち、相関係数算出部１０１により算出された相関係数）ごとに、学習用入力画像ＰＩiの重みＷiに応じてＭ個の特徴量を選択し、並び替え部１０５に供給する。

すなわち、例えば、図８を用いて説明したように、学習用画像ＰＩ1について（Ａ1-1，Ａ1-2，・・・Ａ1-p，Ａ2-1，Ａ2-2，・・・Ａ2-p，・・・ＡN-1，ＡN-2，・・・ＡN-p）として、Ｎ×Ｐこの特徴量が相関係数算出部１０１からサンプリング部１０３に供給される。同様に、学習用画像ＰＩ2については、（Ｂ1-1，Ｂ1-2，・・・Ｂ1-p，Ｂ2-1，Ｂ2-2，・・・Ｂ2-p，・・・ＢN-1，ＢN-2，・・・ＢN-p）として、学習用画像ＰＩ3については、（Ｃ1-1，Ｃ1-2，・・・Ｃ1-p，Ｃ2-1，Ｃ2-2，・・・Ｃ2-p，・・・ＣN-1，ＣN-2，・・・ＣN-p）として、そして、以下同様に、学習用画像ＰＩMについては、（Ｍ1-1，Ｍ1-2，・・・Ｍ1-p，Ｍ2-1，Ｍ2-2，・・・Ｍ2-p，・・・ＭN-1，ＭN-2，・・・ＭN-p）として、それぞれの特徴点の特徴量が相関係数算出部１０１からサンプリング部１０３に供給される。

そして、この場合、特徴点ｋ＝１の１つ目の局所特徴量の組み合わせにおける特徴量は、グループＧｒ1-1で示される（Ａ1-1，Ｂ1-1，Ｃ1-1，・・・Ｍ1-1）であり、同様に、特徴点ｋ＝１の２つ目の局所特徴量の組み合わせにおける特徴量は、グループＧｒ1-2で示される（Ａ1-2，Ｂ1-2，Ｃ1-2，・・・Ｍ1-2）であり、以下、同様に、特徴点ｋ＝ＮのＰ番目の局所特徴量の組み合わせにおける特徴量は、グループＧｒN-Pで示される（ＡN-P，ＢN-P，ＣN-P，・・・ＭN-P）となる。

すなわち、各特徴点ｋのそれぞれの局所特徴量のＰ種類の組み合わせについて、学習用画像ＰＩiによるＭ個の特徴量のグループが設定されることになる。

サンプリング部１０３は、各特徴点ｋのそれぞれの局所特徴量のＰ種類の組み合わせごとに、各学習用画像ＰＩiに設定された重みに応じて特徴量をＭ個抽選で抽出する。最初の処理においては、いずれの重みＷiも等しいため、Ｍ個が抽選されると、確率的には全ての特徴量が選択されることになるので、ここでは、最初の処理では各特徴点ｋのそれぞれの局所特徴量の組み合わせにおいて、全ての特徴量が選択されたものとする。もちろん、実際には、同一の特徴量が重複して選択されることもある。

ステップＳ９３において、並び替え部１０５は、Ｎ個の特徴点のそれぞれの局所特徴量の組み合わせごとにサンプリングされたＭ個の特徴量のグループ毎に、特徴量を昇べきの順、または、降べきの順に並び替えて、認識器設定部１０６に供給する。

ステップＳ９４において、認識器設定部１０６は、入力特徴量が抽出された学習用画像に認識しようとする対象物体が含まれている画像であるか否かを示す情報に基づいて、特徴点ｋのそれぞれのＰ種類の局所特徴量の組み合わせごとに、Ｍ個の特徴量のそれぞれについて、閾値を変化させながら誤り率計算部１２１を制御して、上述した式（９）で示すように誤り率ｅjkを計算させ、誤り率ｅjkが最小となるように閾値を設定する。ここで、特徴点ｋのそれぞれの局所特徴量の組み合わせごとの閾値thjkが、1個の弱認識器fjkとなる。また、認識器設定部１０６は、弱認識器毎の誤り率ｅjkを認識器選択部１０７に供給する。すなわち、Ｎ個存在する特徴点ｋのそれぞれのＰ種類の局所特徴量の組み合わせごとについて、すなわち、Ｎ×P個の特徴量に応じて、Ｎ×P個の弱認識器fjkが設定され、Ｎ×P個のそれぞれについて（弱認識器fjkのそれぞれについて）誤り率ｅjkが求められることになる。ここで、弱認識器fjkは、認識しようとする対象物体を含む場合「＋１」を出力し、認識しようとする対象物体を含まない場合「−１」を出力する関数である。

すなわち、図５を用いて説明した場合と同様にして、ある特徴点におけるある局所特徴量の組み合わせに対応する特徴量（得られた相関係数）が、昇べき、または、降べきの順に並べられた場合、設定された閾値thjkの位置と、その閾値に対してどちら側に認識しようとする対象物体が含まれた学習用画像に対応する特徴量と認識しようとする対象物体が含まれない学習用画像に対応する特徴量が並べられているかに基づいて、エラーであるか否かが判定される。誤り率計算部１２１は、上述した式（９）で示されるように、学習用入力画像の正誤情報（認識しようとする対象物体が含まれているか否かの情報）に基づいて、エラーであるとみなされた特徴量が抽出された学習用入力画像の重みＷiを加算し、誤り率ｅjkを計算する。

ステップＳ９５において、認識器選択部１０７は、Ｎ個の弱認識器fjkのうち、誤り率ｅjkが最小となる弱認識器fjkを選択する。

ステップＳ９６において、認識器選択部１０７は、選択した弱認識器の最小の誤り率ｅjkに基づいて、上述した式（１０）で示されるように信頼度ｃjkを計算し、計算結果を重み更新部１０８に供給する。

ステップＳ９７において、重み更新部１０８は、供給された信頼度ｃjkに基づいて、上述した式（１１）で示されるように各学習用入力画像毎に重みＷiを再計算するとともに、全ての重みＷiを正規化して更新し、更新結果を重み設定部１０４に供給する。重み設定部１０４は、重み更新部１０８より供給されてくる重みの更新結果に基づいて、学習入力画像毎の重みを設定する。

ステップＳ９８において、認識器選択部１０７は、選択された弱認識器fjkを基に、Q番目の弱認識器ｆQを学習データ格納部７３に記憶させる。換言すれば、認識器選択部１０７は、学習データ格納部７３に記憶されている（Ｑ−１）番目の弱認識器ｆQ-1を、選択された弱認識器fjkを加えたQ番目の弱認識器ｆQに更新させる。

すなわち、認識器選択部１０７は、上述した式（１２）で示されるように、認識器R(x)を更新して、上述した式（１３）で示される形式で学習データ格納部７３に記憶させる。

このようにして、重み付けされた弱認識器fjkが認識器R(x)に加算される。

ステップＳ９９において、認識器選択部１０７は、弱認識器fjkの特徴点ｋの対応する局所特徴量の組み合わせにおけるモデル特徴量を、学習用モデル特徴量記憶部１０２より読み出し、学習データ格納部７３に記憶させる。

ステップＳ１００において、認識器選択部１０７は、カウンタQがＬより大きいか否かを判定し、Ｌよりも大きくないと判定された場合、その処理は、ステップＳ１０１に進み、カウンタQが１インクリメントされ、ステップＳ９２に戻る。ステップＳ１００において、カウンタQがＬよりも大きいと判定された場合、処理は、終了する。

以上の処理により、Ｌ個の比較的誤り率の低い弱認識器fQ（１＜Q＜L）からなる認識器R(x)が学習データ格納部７３に記憶されると共に、それぞれの弱認識器fQで使用されるべき特徴点ｋのモデル特徴量が学習データ格納部７３に記憶される。ここで、Lは、Ｌ≦N×Pである。

なお、式（１３）の認識器は、L個の弱認識器の多数決により、認識しようとする対象物体の有無を出力する関数であると言える。また、このようにして、弱認識器を学習処理により重み付けしつつ付加することを繰り返し、認識器を生成する学習処理は、Discrete Adaboost Algorithmと称される。

すなわち、以上の認識器生成処理により、誤り率の高い学習用入力画像の学習用入力特徴量の重みが順次大きくなり、誤り率の低い学習用入力特徴量の重みが小さくなるように、モデル特徴量ごとに認識器と誤り率が計算される処理が繰り返されることになる。したがって、繰り返し処理（ステップＳ９２乃至Ｓ１０１の処理）の中で、認識器を設定する際に選択される学習用入力特徴量（ステップＳ９２で選択される学習用入力特徴量）は、徐々に誤り率の高いものが選択されやすくなるので、認識し難い学習用入力特徴量が繰り返されるほどに選択されて学習が繰り返されることになるため、認識し難い学習用入力画像の特徴量がより多く選択されることになり、最終的に高い認識率の認識器を生成することが可能となる。

また、繰り返し処理（ステップＳ９２乃至Ｓ１０１の処理）の中で、認識器選択部１０７は、常に誤り率の最も低いモデル特徴量に対応する弱認識器を選択することになるので、学習処理の繰り返しにより、常に信頼度の最も高いモデル特徴量についての弱認識器が選択されて認識器に加算されることになり、繰り返されるごとに精度の高い弱認識器が順次加算されることになる。

すなわち、以上の学習処理により、特徴点および組み合わせごとに、特徴量に幾何学的な拘束が付加された特徴量を用いて、誤り率ejkの低いＬ個の弱認識器fjkからなる認識器R(x)が生成されることになる。その結果として、信頼度の高い弱認識器のみからなる認識器が構成されることになるので、限られた個数の弱認識器で信頼度の高い認識器を構成することが可能となるので、後述する認識処理における演算処理数を低減させつつ、認識精度を向上させることが可能となる。

また、認識器の数を多くすれば（上述したＬを大きくすれば）、弱認識器をより多くすることで、認識精度を向上させることが可能となる。一方、認識器の数を少数にしても（上述したＬを小さくしても）、選択される弱認識器は、少数ながらも信頼度の高い弱認識器のみを用いた認識処理を実行することができるので、信頼度を維持しつつ認識処理における演算処理数を低減させることが可能となる。すなわち、必要に応じて、学習処理に手間を掛けて認識器の生成個数を多くすることでより高い精度の認識器を生成することも可能であるし、逆に、学習に手間を掛けず生成する認識器の個数を減らして１発学習に近い学習にしても比較的精度の高い認識器を生成することが可能となる。

次に、図１１のフローチャートを参照し、画像処理装置１１が実行する認識処理１について説明する。

ステップＳ１３１において、顔検出部３２は、画像取得部３１により取得された顔画像を含む画像から顔に対応する部分を検出し、検出された顔画像を、顔特徴点検出部５１および顔アライメント部５２に供給する。

ステップＳ１３２において、顔特徴点検出部５１は、顔の特徴的な部分（顔特徴位置）、例えば、目、鼻、口といった特徴的な部分を検出する。

ステップＳ１３３において、顔アライメント部５２は、顔検出部３２から供給された顔画像に対して、顔特徴点検出部５１により検出された顔特徴点に基づいて、例えば、アフィン変換などによりモーフィング処理を行い、正面から撮像された場合の顔画像に対応するように変換する。変換された顔画像は、局所特徴計算部７１に供給される。

ステップＳ１３４において、局所特徴計算部７１は、例えば、図２を用いて説明したような、ガボアフィルタ（Gabor Filter）を用いて、局所特徴量を算出する。

ステップＳ１３５において、局所特徴計算部７１は、学習データ格納部７３から、認識用特徴量の情報を取得する。

ここで、認識用特徴量の情報は、認識器生成に用いられたGabor Featureは、どの特徴点に対するどの組み合わせであるか（例えば、全部で４０個ガボアフィルタが用意されていたら、そのうちのいずれのフィルタの組み合わせのものが、どの特徴点において用いられて認識器に用いられたのであるか）を示す情報である。

例えば、認識器の生成において、全部で４０個のガボアフィルタが用意されていた場合に、認識用特徴量に示されたある特徴点の局所特徴量の組み合わせの中に、４０個のガボアフィルタにより得られた特徴量を全て含む組み合わせ、すなわち、４０次元の特徴ベクトルが含まれていても良いし、含まれていなくても良い。換言すれば、認識用特徴量の情報は、学習によって得られた認識器によっては、４０個以下のGabor Featureの複数の組み合わせである場合と、４０個未満のGabor Featureの複数の組み合わせである場合とがある。

ステップＳ１３６において、局所特徴計算部７１は、ガボアフィルタにより得られた局所特徴量と、取得された認識用特徴量の情報に基づいて、例えば、図３を用いて説明したような、認識用特徴量に示された特徴点の局所特徴量の組み合わせを生成し、相関係数算出用情報として、顔認識部７４に供給する。

ステップＳ１３７において、顔認識部７４は、顔登録データベース３５から、登録顔の特徴量を読み出す。

ステップＳ１３８において、顔認識部７４は、学習データ格納部７３から認識器を読み出し、特徴量を代入して、計算する。具体的には、顔認識部７４は、相関係数算出用情報として局所特徴計算部７１から供給された認識用特徴量に示された特徴点の局所特徴量の組み合わせと、顔登録データベース３５から読み出された登録顔の特徴量のうちの認識用特徴量に示された特徴点の局所特徴量の組み合わせに対応するものとの相関係数を演算し、得られた相関係数を特徴量として、学習データ格納部７３から読み出された認識器に代入して計算する。

すなわち、上述したように、相関係数算出用情報として局所特徴計算部７１から供給されてくる特徴量は、学習の際、信頼度の高い弱認識器fjkの計算に必要な特徴量であるので、顔認識部７４は、供給されてくる選択された特徴量を各弱認識器fjkに代入して認識器R(x)を計算する。そして、顔認識部７４は、各弱認識器fjkの判定結果の重み付けられた投票結果を計算結果として認識結果出力部３６に供給する。

ステップＳ１３９において、認識結果出力部３６は、顔認識部７４から供給された計算結果に基づいて、対象物体の有無の認識結果を出力する。すなわち、顔認識部７４より供給されてくる計算結果は、上述した式（１３）で示される演算結果であるので、認識結果出力部３６は、演算結果として「＋１」が供給されてきた場合、認識しようとする対象物体が入力画像に含まれているという結果を出力し、演算結果として「−１」が供給されてきた場合、認識しようとする対象物体が入力画像に含まれていないという結果を出力して、処理が終了される。

以上の処理により、学習処理の過程で、特徴点毎に特徴量に幾何学的な弱い拘束が付加された特徴量が用いられて、生成された誤り率ejkの比較的低いＬ個の弱認識器fjkからなる認識器R(x)により対象物体の認識処理がなされる。

なお、以上においては、Discrete Adaboost Algorithmに基づいて、学習処理を実行する例について説明してきたが、それ以外のBoosting Algorithmを適用するようにしてもよく、例えば、Gentle Adaboost Algorithmを用いるようにしてもよい。Discrete Adaboost Algorithmと、Gentle Adaboost Algorithmとは、前者の認識器の出力結果が離散変量であるのに対して、後者は、連続変量である点で異なる。しかしながら、前者においては、信頼度が乗じられるため、出力結果は、実質的に連続変量として扱われており、本質的に処理の違いはない。Gentle Adaboost Algorithmを適用した場合、上述した式（１１）、および式（１３）は、以下の式（１４）および式（１５）に置き換えられることになるが、処理は同様である。

sign（R(x)）＝sign（R(x)＋fjk） ・・・（１５）

すなわち、Gentle Adaboost Algorithmを適用した場合、弱認識器fjkが、それぞれ信頼度を含んだ連続変量の値を出力することになるため、対応した重み付けがなされ、信頼度の計算が省かれることになる。

なお、ここでは、顔画像の認識において、ガボアフィルタおよびブースティングアルゴリズムを用いた場合について説明したが、顔画像以外の画像認識処理で合っても、また、画像認識以外であっても、複数の特徴量からなる特徴量ベクトルを取得し、学習時には、学習用の特徴量ベクトルとの相関係数を算出し、判定処理時には、判定処理用の登録された特徴量ベクトルとの相関係数を算出するような場合において、本発明は適用可能である。

例えば、顔以外の画像の一致不一致を判定する場合や、音声認識処理などにおいても、複数の次元Sの特徴量ベクトルを用いて相関係数を算出する場合、S次元の特徴量ベクトルから得られる１つの相関係数のみで一致不一致を判定するのではなく、S次元の特徴量からS次元以下の複数の特徴量ベクトルを生成し、これを用いて、複数の相関係数を算出することにより、判定の精度を向上させることができる。

また、以上説明したように、学習および判定にブースティングアルゴリズムを用いた場合には、例えば、SVM（support vector machine）を用いた場合と比較して、次元数が増加した場合でも、計算量が爆発的に多くなってしまうようなことが無いため、好適である。

また、特徴量の抽出に、ガボアフィルタを用いた場合、上述したような手法により、局所領域（ある特徴点）の特徴を最も現しているフィルタの周波数や方向を選んで学習することが可能なことから、ブースティングアルゴリズムを用いて、学習および判定を行うことが適している。

以上説明したように、例えば、センサ等の情報取得部により所定の情報、例えば、顔画像などの第1の特徴量が取得され、例えば、図１における顔検出部や顔画像変換部３３などのような情報処理手段により、必要に応じて所定の処理が施され、この特徴量と比較される学習用、または、判定用に登録された（または、同様にしてセンサ等の情報取得部により取得された）第２の特徴量と、取得され（、必要に応じて、所定の処理が施され）た第1の特徴量が、同一信号源のものであるか否かが識別される場合に、第1の特徴量の相関ベクトルおよび第２の特徴量の相関ベクトルの全ての次元のみならず、少なくとも一部の次元を用いた相関係数ベクトルを複数種類算出するようにするようにしたので、情報の分類性能を飛躍的に向上させることが可能となる。

４０種類のガボアフィルタを全て用いた４０次元の特徴ベクトルを用いて１種類だけ相関係数を求めた場合における検出精度を図１２に示し、４０種類のガボアフィルタのうちの一部を選択し、８次元の異なる複数の組み合わせによる特徴ベクトルを用いて複数の相関係数を求めた場合における検出精度を図１３に示す。

図１２および図１３とも、縦軸が、正しく検出された割合を示し、横軸が、誤検出された割合を示す。すなわち、グラフの変化が急峻なほど、検出精度がよいということになる。

図１２および図１３に示されるように、４０次元の特徴ベクトルを用いて１種類だけ相関係数を求めた場合における検出精度よりも、４０種類のガボアフィルタのうちの一部を選択し、８次元の異なる複数の組み合わせによる特徴ベクトルを用いて複数の相関係数を求めた場合における検出精度のほうが良い。すなわち、得られた特徴量の相関ベクトルの全ての次元のみならず、少なくとも一部の次元を用いた相関係数ベクトルを複数種類算出することにより、情報の分類性能を飛躍的に向上させることが可能となる。

ところで、上述した画像処理装置１１は、学習モードと認識モードの２つの動作モードで動作し、認識器生成部７２により生成された認識器を用いて、認識処理を行うようになされていたが、上述した学習処理装置１１の学習モードによって得られた認識処理のための情報、すなわち、認識器と認識用特徴量の情報とを内部に予め記憶しておくことにより、認識器生成部７２を備えることなく、認識モードの処理のみを行う画像処理装置を構成することが可能である。

図１４は、学習処理によって得られた認識処理のための情報を用いて認識処理を行うことが可能な画像処理装置２０１の構成を示すブロック図である。

なお、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、画像処理装置２０１は、顔認識処理部３４に代わって顔認識処理部２１１が設けられている以外は、図１の画像処理装置１１と基本的に同様の構成を有するものである。また、顔認識処理部２１１は、局所特徴計算部７１に代わって局所特徴計算部２２１が備えられ、顔認識部７４に代わって顔認識部２２２が備えられ、学習データ格納部７３に代わって、学習データ格納部２２３が備えられ、認識器生成部７２が省略されている。

顔認識処理部２１１は、認識器生成部７２を有していない。しかしながら、学習データ格納部２２３には、上述した学習処理装置１１の学習モードによって得られた認識処理のための情報が、予め記憶されている。

すなわち、学習データ格納部２２３には、上述した画像処理装置１１の認識器生成部７２が学習モードにおいて生成した認識器と認識用特徴量の情報とを記憶している。具体的には、上述した学習処理装置１１の学習モードによって、局所特徴計算部７１により算出された学習用画像の特徴量と、予め保持している学習用モデルの特徴量とを用いて、Adaboostを利用した統計学習処理が実行されることにより生成された認識器、および、その認識器に関する情報（相関値と、その認識器の確からしさを示す情報）、並びに、認識器の学習の過程で抽出された、対象となる顔画像を認識するのに大きく影響するモデル特徴量を示す情報、すなわち、認識器において用いられているのが、いずれの特徴点のどの局所特徴量であるか（ガボアフィルタのいずれのフィルタ方向と周波数との組であるか、もしくは、どの矩形領域部分であるか）を示す情報である認識用特徴量が、学習データ格納部２２３に記憶されている。

画像処理装置２０１は、人物の撮像画像を用いて、画像認識処理を実行し、その人物が登録された人物か否かを判定する処理を実行することができる。

画像処理装置２０１は、学習モードは行わず、学習データ格納部２２３に格納された認識器と、認識用特徴量の情報とを用いて、画像を認識し、認識対象の画像が、登録された人物の顔を含むものであるか否かを判定する処理を実行する。

なお、ここでも、画像処理装置２０１に顔登録データベース３５が含まれるものとして説明を続けるが、顔登録データベース３５は、図示しないネットワークなどを介して、画像処理装置２０１に接続されているような構成とすることも可能である。ネットワークなどを介して顔登録データベース３５が接続されることにより、複数の画像処理装置２０１で１つの顔登録データベース３５を共有することが可能となる。

上述したように、画像取得部３１乃至顔画像変換部３３は、図１の画像処理装置１１と基本的に同様の構成を有するものである。

すなわち、画像取得部３１は、例えば、カメラなどを含む構成とされ、人を撮像する機能を有するか、または、外部に備えられたカメラ、もしくは、他の装置から、撮像された人の画像を取得する。画像取得部３１に取得された画像は、顔検出部３２に供給される。

顔検出部３２は、画像取得部３１から供給された画像を解析することにより、人の顔の部分（顔の位置と大きさ）を抽出し、抽出された人の顔の部分の画像（以下、顔画像と称する）を検出する。

顔画像変換部３３は、顔特徴点検出部５１、および、顔アライメント部５２から構成される。

顔特徴点検出部５１は、顔検出部３２から供給された顔画像とから、後述する顔アライメント部５２によるモーフィング処理に用いられるアライメント用特徴点を検出する。顔アライメント部５２は、顔検出部３２から供給された顔画像、および、顔特徴点検出部５１により検出されたアライメント用特徴点を解析することにより、抽出された顔が、どの方向を向いているかを検出し、顔特徴位置が基準位置にくるように、アフィン変換などのモーフィング処理を行う。

そして、顔認識処理部２１１は、局所特徴計算部２２１、学習データ格納部２２３、および、顔認識部２２２を含んで構成される。

抽出された特徴点が基準位置に直された顔画像は、顔認識処理部２１１の局所特徴計算部２２１に供給される。局所特徴計算部２２１は、学習データ格納部２２３から、認識用特徴量の情報を取得する。そして、局所特徴計算部２２１は、供給された顔画像の、認識用特徴量に合致する特徴点における局所的な特徴量を計算する。局所特徴計算部２２１は、ガボアフィルタ（Gabor Filter）で構成される。

局所特徴計算部２２１は、それぞれ異なる方向および周波数の複数のガボアフィルタを用いて、認識用特徴量に合致する特徴点における特徴量を計算する。局所特徴計算部２２１は、ここでは、図２を用いて説明した場合と同様に、８種類の方向と５通りの周波数を採用して、合計４０個のガボアフィルタのうちの少なくとも一部を用いて、認識用特徴量に合致する特徴点の特徴量を計算する処理を行うものとする。

局所特徴計算部２２１により算出された特徴量は、顔認識部２２２に供給される。

顔認識部２２２は、学習データ格納部２２３に格納されている認識器を用いて、局所特徴計算部２２１により算出された認識用特徴量に合致する特徴点における特徴量と、顔登録データベース３５に登録されている登録顔画像データを比較、すなわち、相関係数を計算し、登録されている人物と一致するか否かを判断し、判断結果を認識結果出力部３６に供給する。すなわち、顔認識部２２２は、学習データ格納部２２３に格納されている認識器の信頼度に基づいて、認識器の判定結果の多数決を行い、登録されている人物と一致するか否かの判断を実行する。

顔登録データベース３５は、登録されている人物の認識に必要な特徴量の情報が登録されている。すなわち、顔登録データベース３５には、登録されている人物の顔画像の全ての特徴点における全てのGabor Jetが登録されていても良いが、少なくとも、認識用特徴量に対応する特徴量の情報が登録されていればよい。

また、顔登録データベース３５に登録されている特徴量のデータ（登録顔画像データ）は、図１の画像取得部３１乃至局所特徴計算部７１、または、図１４の画像取得部３１乃至局所特徴計算部２２１の処理が施されることにより、取得され、登録されるデータであっても良いし、図１の画像取得部３１乃至局所特徴計算部７１、または、図１４の画像取得部３１乃至局所特徴計算部２２１の処理が施されて得られるデータと同様のデータであれば、外部から取得されて登録されるデータであってもよい。

認識結果出力部３６は、顔認識部２２２から供給された判断結果を、例えば、ブザー音、テキスト表示、LED点灯などによって外部に通知したり、判断結果を外部の装置に出力する。具体的には、例えば、認識結果出力部３６は、例えば、ディスプレイなどを含んで構成されるものとしても良く、判定結果を、メッセージなどの形式で表示するものとしてもよい。

このようにして、画像処理装置２０１は、特徴量を比較することにより、得られた人の顔画像が登録されている人の顔画像と一致するか否かの識別を行う。

次に、図１５のフローチャートを参照し、画像処理装置２０１が実行する認識処理２について説明する。

ステップＳ２１１において、顔検出部３２は、画像取得部３１により取得された顔画像を含む画像から顔に対応する部分を検出し、検出された顔画像を、顔特徴点検出部５１および顔アライメント部５２に供給する。

ステップＳ２１２において、顔特徴点検出部５１は、顔の特徴的な部分（顔特徴位置）、例えば、目、鼻、口といった特徴的な部分を検出する。

ステップＳ２１３において、顔アライメント部５２は、顔検出部３２から供給された顔画像に対して、顔特徴点検出部５１により検出された顔特徴点に基づいて、例えば、アフィン変換などによりモーフィング処理を行い、正面から撮像された場合の顔画像に対応するように変換する。変換された顔画像は、局所特徴計算部２２１に供給される。

ステップＳ２１４において、局所特徴計算部２２１は、学習データ格納部２２３から、認識用特徴量の情報を取得する。

ここで、認識用特徴量の情報は、認識器生成に用いられたGabor Featureは、どの特徴点に対するどの組み合わせであるか（例えば、全部で４０個ガボアフィルタが用意されていたら、そのうちのいずれのフィルタの組み合わせのものが、どの特徴点においてどの認識器に用いられたのであるか）を示す情報である。

ステップＳ２１５において、局所特徴計算部２２１は、例えば、図２を用いて説明したような、ガボアフィルタ（Gabor Filter）を用いて、認識用特徴量の情報に合致する特徴点の局所特徴量を算出する。

ステップＳ２１６において、局所特徴計算部２２１は、ガボアフィルタにより得られた局所特徴量と、取得された認識用特徴量の情報に基づいて、例えば、図３を用いて説明したような、認識用特徴量に示された特徴点の局所特徴量の組み合わせを生成し、相関係数算出用情報として、顔認識部２２２に供給する。

ステップＳ２１７において、顔認識部２２２は、顔登録データベース３５から、登録顔の特徴量を読み出す。

ステップＳ２１８において、顔認識部２２２は、学習データ格納部２２３から認識器を読み出し、特徴量を代入して、計算する。具体的には、顔認識部２２２は、相関係数算出用情報として局所特徴計算部２２１から供給された認識用特徴量に示された特徴点の局所特徴量の組み合わせと、顔登録データベース３５から読み出された登録顔の特徴量のうちの認識用特徴量に示された特徴点の局所特徴量の組み合わせに対応するものとの相関係数を演算し、得られた相関係数を特徴量として、学習データ格納部２２３から読み出された認識器に代入して計算する。

すなわち、上述したように、相関係数算出用情報として局所特徴計算部２２１から供給されてくる特徴量は、学習の際、信頼度の高い弱認識器fjkの計算に必要な特徴量であるので、顔認識部２２２は、供給されてくる選択された特徴量を各弱認識器fjkに代入して認識器R(x)を計算する。そして、顔認識部２２２は、各弱認識器fjkの判定結果の重み付けられた投票結果を計算結果として認識結果出力部３６に供給する。

ステップＳ２１９において、認識結果出力部３６は、顔認識部２２２から供給された計算結果に基づいて、対象物体の有無の認識結果を出力する。すなわち、顔認識部２２２より供給されてくる計算結果は、上述した式（１３）で示される演算結果であるので、認識結果出力部３６は、演算結果として「＋１」が供給されてきた場合、認識しようとする対象物体が入力画像に含まれているという結果を出力し、演算結果として「−１」が供給されてきた場合、認識しようとする対象物体が入力画像に含まれていないという結果を出力して、処理が終了される。

以上の処理により、学習データ格納部２２３に格納されている認識用特徴量の情報に基づいて、認識処理に必要な特徴量のみが抽出され、学習データ格納部２２３に格納されている、誤り率ejkの比較的低いＬ個の弱認識器fjkからなる認識器R(x)により、対象物体の認識処理がなされる。

なお、画像処理装置２０１においても、Discrete Adaboost Algorithmに基づいて、学習処理を実行する例について説明してきたが、それ以外のBoosting Algorithmを適用するようにしてもよく、例えば、Gentle Adaboost Algorithmを用いるようにしてもよい。Discrete Adaboost Algorithmと、Gentle Adaboost Algorithmとは、前者の認識器の出力結果が離散変量であるのに対して、後者は、連続変量である点で異なる。しかしながら、前者においては、信頼度が乗じられるため、出力結果は、実質的に連続変量として扱われており、本質的に処理の違いはない。Gentle Adaboost Algorithmを適用した場合、上述した式（１１）、および式（１３）に代わって、上述した式（１４）および式（１５）が用いられることになるが、処理は同様である。

上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体などからインストールされる。この場合、例えば、図１を用いて説明した画像処理装置１１は、図１６に示されるようなパーソナルコンピュータ３０１により構成される。

図１６において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。

入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図１６に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disc-Read Only Memory），ＤＶＤ（Digital Versatile Disc）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disc）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

画像処理装置の構成を示すブロック図である。ガボアフィルタについて説明するための図である。組み合わせの例について説明するための図である。ブースティング処理について説明するための図である。ブースティング処理について説明するための図である。図１の認識器生成部の構成を示すブロック図である。学習時の相関係数の算出について説明するための図である。ブースティング処理に用いられる特徴量について説明するための図である。学習処理について説明するためのフローチャートである。認識器生成処理について説明するためのフローチャートである。認識処理１について説明するためのフローチャートである。４０種類のガボアフィルタを全て用いた４０次元の特徴ベクトルを用いて１種類だけ相関係数を求めた場合における検出精度について説明するための図である。４０種類のガボアフィルタのうちの一部を選択し、８次元の異なる複数の組み合わせによる特徴ベクトルを用いて複数の相関係数を求めた場合における検出精度について説明するための図である。画像処理装置の他の構成例を示すブロック図である。認識処理２について説明するためのフローチャートである。パーソナルコンピュータの構成について説明するための図である。

符号の説明

１１ 画像処理装置， ３１ 画像取得部， ３２ 顔検出部， ３３ 顔画像変換部， ３４ 顔認識処理部， ３５ 顔登録データベース， ３６ 認識結果出力部， ５１ 顔特徴点検出部， ５２ 顔アライメント部， ７１ 局所特徴計算部， ７２ 認識器生成部， ７３ 学習データ格納部， ７４ 顔認識部， １０１ 相関係数算出部， １０２ 学習用モデル特徴量記憶部， １０３ サンプリング部， １０４ 重み設定部， １０５ 並び替え部， １０６ 認識器設定部， １０７ 認識器選択部， １０８ 重み更新部， １２１ 誤り率計算部， ２０１ 画像処理装置， ２１１ 顔認識処理部， ２２１ 局所特徴計算部， ２２２ 顔認識部， ２２３ 学習データ格納部

Claims (22)

1. 学習用の顔画像から、Ｎ次元（Ｎは２以上の整数）の第１の特徴量を取得して、Ｎ次元の前記第１の特徴量を用いて、前記Ｎ次元の前記第１の特徴量を構成する要素を、性質ごとに分類したマトリクスにおいて連続する領域に含まれる前記第１の特徴量を組み合わせて、前記第１の特徴量のＮ次元以下の組み合わせである第１の組み合わせ特徴量を複数生成する組み合わせ生成手段と、
   前記組み合わせ生成手段により生成された複数の前記第１の組み合わせ特徴量と、複数の前記第１の組み合わせ特徴量のそれぞれの次元に合致した、学習用モデルとしての顔画像の特徴量である学習用モデル特徴量との第１の相関係数を算出し、前記第１の相関係数を用いて、ブースティングアルゴリズムにより前記学習用の顔画像の分類処理を行うことにより、認識用の顔画像の分類処理を行うための学習処理を実行し、複数の弱認識器から構成された１つの認識器を生成する学習処理実行手段と
   を備える情報処理装置。
2. 前記Ｎ次元の前記第１の特徴量は、Ｎ種類のガボアフィルタによって取得された特徴量である
   請求項１に記載の情報処理装置。
3. 前記組み合わせ生成手段は、Ｎ種類の前記ガボアフィルタによって取得された特徴量において、前記ガボアフィルタのフィルタ周波数とフィルタの方向によって分類して生成したマトリクスにおいて連続する領域に含まれる前記第１の特徴量を組み合わせて前記第１の組み合わせ特徴量を複数生成する
   請求項２に記載の情報処理装置。
4. 前記組み合わせ生成手段は、Ｎ種類の前記ガボアフィルタによって取得された特徴量において、前記ガボアフィルタのフィルタ周波数とフィルタの方向によって分類して生成したマトリクスにおいて、フィルタ周波数とフィルタの方向が所定の範囲となるような矩形領域に含まれる前記第１の特徴量を組み合わせて前記第１の組み合わせ特徴量を複数生成する
   請求項３に記載の情報処理装置。
5. 前記組み合わせ生成手段は、前記認識用の顔画像から、前記学習処理実行手段により実行された前記学習処理において生成される所定の認識器に基づいて予め決定されているＮ次元以下の所定の第２の特徴量を取得して、前記認識器に基づいて予め決定されている前記第２の特徴量のＮ次元以下の組み合わせである第２の組み合わせ特徴量を、複数、更に生成し、
   前記組み合わせ生成手段により生成された複数の前記第２の組み合わせ特徴量と、複数の前記第２の組み合わせ特徴量のそれぞれの次元に合致した登録特徴量との第２の相関係数を算出し、前記第２の相関係数を用いて、前記認識器を用いた前記認識用の顔画像の分類処理を実行する分類処理実行手段を更に備える
   請求項１に記載の情報処理装置。
6. 分類処理のための学習を行う情報処理装置の情報処理方法において、
   学習用の顔画像から、Ｎ次元（Ｎは２以上の整数）の第１の特徴量を取得し、
   Ｎ次元の前記第１の特徴量を用いて、前記Ｎ次元の前記第１の特徴量を構成する要素を、性質ごとに分類したマトリクスにおいて連続する領域に含まれる前記第１の特徴量を組み合わせて、前記第１の特徴量のＮ次元以下の組み合わせである第１の組み合わせ特徴量を複数生成し、
   複数の前記第１の組み合わせ特徴量のそれぞれの次元に合致した、学習用モデルとしての顔画像の特徴量である学習用モデル特徴量を取得して、複数の前記第１の組み合わせ特徴量と前記学習用モデル特徴量との第１の相関係数を算出し、
   前記第１の相関係数を用いて、ブースティングアルゴリズムにより前記学習用の顔画像の分類処理を実行することにより、認識用の顔画像の分類処理を行うための学習処理を実行し、複数の弱認識器から構成された１つの認識器を生成する
   ステップを含む情報処理方法。
7. 分類処理により分類されるために供給された前記認識用の顔画像から、前記学習処理による学習の結果得られた認識器に基づいて予め決定されているＮ次元以下の第２の特徴量を取得し、
   Ｎ次元以下の前記第２の特徴量を用いて、前記認識器に基づいて予め決定されている前記第２の特徴量のＮ次元以下の組み合わせである第２の組み合わせ特徴量を複数生成し、
   複数の前記第２の組み合わせ特徴量のそれぞれの次元に合致した登録特徴量を取得し、
   複数の前記第２の組み合わせ特徴量と、前記登録特徴量との第２の相関係数を算出し、前記学習処理による学習の結果得られた前記認識器、および、前記第２の相関係数を用いて、前記認識用の顔画像の分類処理を実行する
   ステップを更に含む請求項６に記載の情報処理方法。
8. 分類処理のための学習をコンピュータに実行させるためのプログラムであって、
   学習用の顔画像から、Ｎ次元（Ｎは２以上の整数）の第１の特徴量の取得を制御し、
   Ｎ次元の前記第１の特徴量を用いて、前記Ｎ次元の前記第１の特徴量を構成する要素を、性質ごとに分類したマトリクスにおいて連続する領域に含まれる前記第１の特徴量を組み合わせて、前記第１の特徴量のＮ次元以下の組み合わせである第１の組み合わせ特徴量を複数生成し、
   複数の前記第１の組み合わせ特徴量のそれぞれの次元に合致した、学習用モデルとしての顔画像の特徴量である学習用モデル特徴量の取得を制御して、複数の前記第１の組み合わせ特徴量と前記学習用モデル特徴量との第１の相関係数を算出し、
   前記第１の相関係数を用いて、ブースティングアルゴリズムにより前記学習用の顔画像の分類処理を行うことにより、認識用の顔画像の分類処理を行うための学習処理を実行し、複数の弱認識器から構成された１つの認識器を生成する
   ステップを含む処理をコンピュータに実行させるためのプログラム。
9. 分類処理により分類されるために供給された前記認識用の顔画像から、前記学習処理による学習の結果得られた認識器に基づいて予め決定されているＮ次元以下の第２の特徴量の取得を制御し、
   Ｎ次元以下の前記第２の特徴量を用いて、前記認識器に基づいて予め決定されている前記第２の特徴量のＮ次元以下の組み合わせである第２の組み合わせ特徴量を複数生成し、
   複数の前記第２の組み合わせ特徴量のそれぞれの次元に合致した登録特徴量の取得を制御し、
   複数の前記第２の組み合わせ特徴量と、前記登録特徴量との第２の相関係数を算出し、前記学習処理による学習の結果得られた前記認識器、および、前記第２の相関係数を用いて、前記認識用の顔画像の分類処理を実行する
   ステップを更に含む処理をコンピュータに実行させるための請求項８に記載のプログラム。
10. Ｎ次元（Ｎは２以上の整数）の特徴量を取得することが可能であり、ブースティングアルゴリズムを用いた学習用の顔画像の分類を行う処理である学習処理の結果得られた、複数の弱認識器から構成された１つの認識器を用いて認識用の顔画像を分類する認識処理を行う認識装置において、
    前記認識用の顔画像から、前記認識器に基づいて予め決定されているＮ次元未満の所定の前記特徴量を取得して、前記認識器に基づいて予め決定されている前記特徴量のＮ次元未満の組み合わせである組み合わせ特徴量を複数生成する組み合わせ生成手段と、
    前記組み合わせ生成手段により生成された複数の前記組み合わせ特徴量と、複数の前記組み合わせ特徴量のそれぞれの次元に合致した、登録された顔画像の特徴量である登録特徴量との相関係数を算出し、前記相関係数を用いて、前記認識器を用いた前記認識用の顔画像の分類処理を実行する分類処理実行手段と
    を備え、
    前記認識器に基づいて予め決定されている前記特徴量のＮ次元未満の組み合わせは、前記Ｎ次元の前記特徴量を構成する要素を、性質ごとに分類したマトリクスにおいて連続する領域に含まれる前記特徴量の複数の組み合わせである
    認識装置。
11. 前記特徴量は、複数種類のガボアフィルタのうちのいずれかによって取得された特徴量である
    請求項１０に記載の認識装置。
12. 前記認識器に基づいて予め決定されている前記特徴量のＮ次元未満の組み合わせは、前記ガボアフィルタのフィルタ周波数とフィルタの方向によって分類して生成したマトリクスにおいて連続する領域に含まれる前記特徴量を組み合わせた、複数の組み合わせである
    請求項１１に記載の認識装置。
13. 前記認識器に基づいて予め決定されている前記特徴量のＮ次元未満の組み合わせは、前記ガボアフィルタのフィルタ周波数とフィルタの方向によって分類して生成したマトリクスにおいて、フィルタ周波数とフィルタの方向が所定の範囲となるような矩形領域に含まれる前記特徴量を組み合わせた、複数の組み合わせである
    請求項１２に記載の認識装置。
14. Ｎ次元（Ｎは２以上の整数）の特徴量を取得することが可能であり、ブースティングアルゴリズムを用いた学習用の顔画像の分類を行う処理である学習処理の結果得られた、複数の弱認識器から構成された１つの認識器を用いて認識用の顔画像を分類する認識処理を実行する認識装置の情報認識方法において、
    前記認識用の顔画像から、前記認識器に基づいて予め決定されているＮ次元未満の所定の特徴量を取得し、
    Ｎ次元未満の前記特徴量を用いて、前記認識器に基づいて予め決定されている前記特徴量のＮ次元未満の組み合わせである組み合わせ特徴量を複数生成し、
    複数の前記組み合わせ特徴量のそれぞれの次元に合致した、登録された顔画像の特徴量である登録特徴量を取得し、
    複数の前記組み合わせ特徴量と、前記登録特徴量との相関係数を算出し、前記相関係数を用いて、前記認識用の顔画像を分類する
    ステップを含み、
    前記認識器に基づいて予め決定されている前記特徴量のＮ次元未満の組み合わせは、前記Ｎ次元の前記特徴量を構成する要素を、性質ごとに分類したマトリクスにおいて連続する領域に含まれる前記特徴量の複数の組み合わせである
    情報認識方法。
15. Ｎ次元（Ｎは２以上の整数）の特徴量を取得することが可能であり、ブースティングアルゴリズムを用いた学習用の顔画像の分類を行う処理である学習処理の結果得られた、複数の弱認識器から構成された１つの認識器を用いて認識用の顔画像を分類する認識処理をコンピュータに実行させるためのプログラムであって、
    前記認識用の顔画像からの、前記認識器に基づいて予め決定されているＮ次元未満の所定の特徴量の取得を制御し、
    Ｎ次元未満の前記特徴量を用いて、前記認識器に基づいて予め決定されている前記特徴量のＮ次元未満の組み合わせである組み合わせ特徴量を複数生成し、
    複数の前記組み合わせ特徴量のそれぞれの次元に合致した、登録された顔画像の特徴量である登録特徴量の取得を制御し、
    複数の前記組み合わせ特徴量と、前記登録特徴量との相関係数を算出し、前記相関係数を用いて、前記認識用の顔画像を分類する
    ステップを含み、
    前記認識器に基づいて予め決定されている前記特徴量のＮ次元未満の組み合わせは、前記Ｎ次元の前記特徴量を構成する要素を、性質ごとに分類したマトリクスにおいて連続する領域に含まれる前記特徴量の複数の組み合わせである
    処理をコンピュータに実行させるためのプログラム。
16. Ｎ次元（Ｎは２以上の整数）の特徴量を取得することが可能であり、ブースティングアルゴリズムを用いた学習用の顔画像の分類を行う処理である学習処理の結果得られた、複数の弱認識器から構成された１つの認識器を用いて認識用の顔画像を分類する認識処理を行う認識装置において、
    学習処理の結果得られた前記認識器と、認識用特徴量の情報とを記憶する記憶手段と、
    前記記憶手段により記憶されている前記認識器および前記認識用特徴量を用いて、前記認識用の顔画像から、前記認識器に基づいて予め決定されているＮ次元以下の所定の前記特徴量のうちの前記認識用特徴量に合致する特徴量を取得して、前記認識用特徴量に合致する前記特徴量のＮ次元以下の組み合わせである組み合わせ特徴量を複数生成する組み合わせ生成手段と、
    前記組み合わせ生成手段により生成された複数の前記組み合わせ特徴量と、複数の前記組み合わせ特徴量のそれぞれの次元に合致した、登録された顔画像の特徴量である登録特徴量との相関係数を算出し、前記相関係数を用いて、前記認識器を用いた前記認識用の顔画像の分類処理を実行する分類処理実行手段と
    を備え、
    前記認識器に基づいて予め決定されている前記特徴量のＮ次元以下の組み合わせは、前記Ｎ次元の前記特徴量を構成する要素を、性質ごとに分類したマトリクスにおいて連続する領域に含まれる前記特徴量の複数の組み合わせである
    認識装置。
17. 前記認識用特徴量は、前記認識器において用いられているのが、いずれの特徴点のどの局所特徴量であるかを示す情報である
    請求項１６に記載の認識装置。
18. 前記特徴量は、複数種類のガボアフィルタのうちのいずれかによって取得された特徴量である
    請求項１７に記載の認識装置。
19. 前記認識器に基づいて予め決定されている前記特徴量のＮ次元以下の組み合わせは、前記ガボアフィルタのフィルタ周波数とフィルタの方向によって分類して生成したマトリクスにおいて連続する領域に含まれる前記特徴量を組み合わせた、複数の組み合わせである
    請求項１８に記載の認識装置。
20. 前記認識器に基づいて予め決定されている前記特徴量のＮ次元以下の組み合わせは、前記ガボアフィルタのフィルタ周波数とフィルタの方向によって分類して生成したマトリクスにおいて、フィルタ周波数とフィルタの方向が所定の範囲となるような矩形領域に含まれる前記特徴量を組み合わせた、複数の組み合わせである
    請求項１９に記載の認識装置。
21. ブースティングアルゴリズムを用いた学習用の顔画像の分類を行う処理である学習処理の結果得られた、複数の弱認識器から構成された１つの認識器と、認識用特徴量の情報とを記憶する記憶部を有し、Ｎ次元（Ｎは２以上の整数）の特徴量を取得することが可能であり、認識用の顔画像を分類する認識処理を行う認識装置の情報認識方法において、
    前記記憶部に記憶されている前記認識器および記認識用特徴量を用いて、前記認識用の顔画像から、前記認識器に基づいて予め決定されているＮ次元以下の所定の前記特徴量のうちの前記認識用特徴量に合致する特徴量を取得し、
    前記記憶部に記憶されている前記認識器および前記認識用特徴量を用いて、前記認識用特徴量に合致する前記特徴量のＮ次元以下の組み合わせである組み合わせ特徴量を複数生成し、
    複数の前記組み合わせ特徴量のそれぞれの次元に合致した登録特徴量の取得を制御し、
    生成された複数の前記組み合わせ特徴量と、複数の前記組み合わせ特徴量のそれぞれの次元に合致した、登録された顔画像の特徴量である前記登録特徴量との相関係数を算出し、
    前記相関係数を用いて、前記認識器を用いた前記認識用の顔画像の分類処理を実行する
    ステップを含み、
    前記認識器に基づいて予め決定されている前記特徴量のＮ次元以下の組み合わせは、前記Ｎ次元の前記特徴量を構成する要素を、性質ごとに分類したマトリクスにおいて連続する領域に含まれる前記特徴量の複数の組み合わせである
    情報認識方法。
22. 記憶部に記憶されている、ブースティングアルゴリズムを用いた学習用の顔画像の分類を行う処理である学習処理の結果得られた、複数の弱認識器から構成された１つの認識器と、認識用特徴量の情報とを用いて、Ｎ次元（Ｎは２以上の整数）の特徴量を取得して、認識用の顔画像を分類する認識処理を行う処理をコンピュータに実行させるためのプログラムであって、
    前記記憶部に記憶されている前記認識器および前記認識用特徴量を用いて、前記認識用の顔画像から、前記認識器に基づいて予め決定されているＮ次元以下の所定の前記特徴量のうちの前記認識用特徴量に合致する特徴量を取得し、
    前記記憶部に記憶されている前記認識器および前記認識用特徴量を用いて、前記認識用特徴量に合致する前記特徴量のＮ次元以下の組み合わせである組み合わせ特徴量を複数生成し、
    複数の前記組み合わせ特徴量のそれぞれの次元に合致した登録特徴量の取得を制御し、
    生成された複数の前記組み合わせ特徴量と、複数の前記組み合わせ特徴量のそれぞれの次元に合致した、登録された顔画像の特徴量である前記登録特徴量との相関係数を算出し、
    前記相関係数を用いて、前記認識器を用いた前記認識用の顔画像の分類処理を実行する
    ステップを含み、
    前記認識器に基づいて予め決定されている前記特徴量のＮ次元以下の組み合わせは、前記Ｎ次元の前記特徴量を構成する要素を、性質ごとに分類したマトリクスにおいて連続する領域に含まれる前記特徴量の複数の組み合わせである
    処理をコンピュータに実行させるためのプログラム。

Images