Movatterモバイル変換

2015/3/12【社内勉強会用】

 SIFT：Scale-Invariant Feature Transform 特徴点の検出と特徴量の記述を行う 特徴◦ 拡大縮小に強い◦ 回転に強い◦ 照明変化に強い 用例◦ 異なる画像間でのマッチング パノラマ画像の自動作成とか◦ 一般物体認識

 ざっくり言うと以下の過程をふむ１．特徴点の検出１－１．特徴点となる候補点の探索１－２．候補点の絞り込み２．特徴量の記述２－１．各特徴点の勾配を検出２－２．各特徴点の勾配方向ヒストグラムを計算

 「第1 段階のキーポイント検出では，DoG 処理を用いてスケールスペースにおける極値探索をすることで，キーポイントの位置とスケールを決定する」（中部大学藤吉先生談）

 「スケールスペース」って何？◦ 2次元（x, y）である画像に、「スケール」という次元を加えて、3次元で画像を理解してみようという考え

 「スケール」っていう次元は、具体的にどーやって追加するのか↓ 画像(x,y)を、ある量σだけ平滑化した(x,y,σ)を考える 「平滑化」とは、いわゆる“ぼかした”画像にすることスケールσ

 「平滑化」ってどーやるの？↓平滑化の方法自体はいろいろあるけど、SIFTでは「ガウシアンフィルタ」を使用する・フィルタの式𝑓𝑓 𝑥𝑥, 𝑦𝑦 =12𝜋𝜋𝜎𝜎2 exp(−𝑥𝑥2+𝑦𝑦22𝜎𝜎2 )(3次元目のパラメータがσとなる）

 基本的な考え方注目画素の周辺要素の画素に、適当な倍率を掛けた値の合計を、フィルタ適用後の値とする（例）（２，２）座標の４でフィルタ計算する時。6×(-1)+1×(-1)+6×(-1)+5×(-1)+4×( 8)+3×(-1)+2×(-1)+2×(-1)+1×(-1)=6

 ガウシアンフィルタでは、注目要素周りの倍率を以下の式によって決定する。（（x,y)は注目画素からの距離）◦ 𝑓𝑓 𝑥𝑥, 𝑦𝑦 =12𝜋𝜋𝜎𝜎2 exp(−𝑥𝑥2+𝑦𝑦22𝜎𝜎2 )◦ 普通は適用に離散化して使うらしい ⇒◦ フィルタイメージこれが各要素毎に適用されるσ大 σ小

 ガウス窓と計算量◦ ガウシアンフィルタは真上から見ると、実質的な適用範囲は円形になり、それをガウス窓と言ったりする◦ σが大きくなると、ガウス窓が大きくなり、適用範囲も大きくなり、計算量も大きくなる SIFTではこれを回避するための工夫がされてますが割愛します・・・スケールσ

 特徴点の（候補点）探索↓ スケール方向の差分画像（DoG画像）において、極値をとる点を特徴点とする（DoG：Difference-of-Gaussian）DoG画像

 DoG画像における極値の検出DoG画像ある点(図中のX)において、スケールを含めた近傍26点のいずれよりも大きい（or小さい）↓Xを特徴点（の候補）とする

 なぜ、前述の方法で、「特徴点」が探せるのか↓「特徴点として適した点では、スケールスペースにおいてDoGフィルタの結果が極値を持つ」から・・・よくわからないけど差分が極値（最大or最小）となる⇒変化量が大きい⇒情報量が多いってことみたい

 なぜ、拡大・縮小に強いのか↓同じ画像であれば、拡大・縮小しても、同じ点でDog画像が極値を持つから・・・なお、そのときのσは、拡大率・縮小率に比例する

この点が極値を示したとき、DoG画像2倍した画像でもこの点が極値を示す.また、その時のガウス窓のサイズ（σ）も2倍となる：ガウス窓2倍に拡大

 サブピクセル位置推定特徴点をピクセル単位（整数単位）じゃなくて、もっと細かく出す（補正する） ダメな候補点を除外ダメな候補点たち◦ エッジ上の点◦ 極値をとりはしたものの、値自体が小さい点

 サブピクセル位置推定◦ 候補点の周りでDoG関数をテイラー展開◦ 出てきた関数の導関数＝０となる点を求めて、それを特徴点とする◎要するに、DoG画像の出力値は、(x,y,σ)を変数とする関数なので、それを特徴点周りで近似してやり、その近似式の導関数とかを使って、極値をとる点を算出し直すってことだと思う

 エッジ上の点を除外◦ ヘッセ行列とハリスのコーナー検出の原理を用いて、エッジ上の点を除外 詳細は割愛・・・ DoG出力値が小さいものを除外◦ 閾値以下だったら除外◦ 閾値は、0.03が良いらしい（値は0～1に正規化済み）

 特徴点の周りで輝度勾配ヒストグラムを作成 方向・強度の計算はHOG特徴量と（ほぼ）同じ 方向は36方向◎ポイント強度は、特徴点のスケールのガウシアンフィルタで重み付け↓・このスケールのみ強調されるのでスケール変化に強くなる・特徴点に近いほど強調される

 求めたヒストグラムにて、強度が最大値の80％を超える方向を、この特徴点の方向と定める（複数出てくるときもある）

 特徴点の方向を基準の方向として、再度輝度勾配ヒストグラムを作成する（回転に強い） このとき、対象領域をHOGで言うところの4×4ブロックに分割し、各ブロックごとにヒストグラムを作成する 方向は8方向（45度ずつ）とする 4×4×8＝128次元の特徴量となる あと、正規化もする（照明変化に強い）

⇒基準方向に回転⇒ブロック毎に勾配（8方向）・強度を算出⇒⇒ヒストグラム作成（4×4×8=128次元)

 各画像で抽出した特徴点同士で、総当たり比較う 比較方法はユークリッド距離を使う dが最も小さい点同士を対応点とする 場合によっては制約をつけたりもする◦ （例）最小のdと2番目に小さいdを比較して、2倍以上差がないとダメ

 あらかじめ特徴点を抽出しておいたテンプレート画像を用意 対象画像とテンプレート画像で対応点探索 対応点の位置・スケール・方向を比較して、最も近いテンプレート画像を決定する

 位置情報は無視して、画像を特徴量の集合とみなし、Bag-of-Keypointsを使って分類する Bag-of-KeypointsはBag-of-Wordsの画像版 特徴量の頻度で画像を分類する

 色情報使ってない SURFはSIFTの特徴点検出処理を軽量化したものらしい（その分精度は落ちる） SURFはOpenCVにあるらしい

 http://www.hci.iis.u-tokyo.ac.jp/~ysato/class14/supplements/sift_tutorial-Fujiyoshi.pdf http://www.isl.titech.ac.jp/~nagahashilab/member/longb/iip/LectureNotes/sift_image.pdf http://www.kki.yamanashi.ac.jp/~ohbuchi/courses/2013/sm2013/pdf/sm13_lect03_20131028all.pdf http://d.hatena.ne.jp/colorcle/20091021/1256138848 http://www.ic.is.tohoku.ac.jp/~swk/lecture/ic2009/kagami_ic20090630.pdf

 以下に、デモようのツール（siftDemoV4）が置いてあったので触ってみた◦ http://www.cs.ubc.ca/~lowe/keypoints/ 使い方◦ コマンドプロンプトから実行 入力画像の特徴点をテキストにはく siftWin32.exe <source.pgm >resultkey.txt 入力画像に特徴点を追記した画像を作成する siftWin32.exe -display <source.pgm >result.pgm※画像形式は.pgm限定

 DoG画像のヘッセ行列H =Dxx DxyDxy Dyyを考えた時、その固有値は主曲率に比例する 主曲率：曲面上のある点における最大曲率と最小曲率（厳密には違うけど雰囲気的にはそんな感じ・・・ 二つの主曲率の差が大きい⇒ある方向の変化は大きいけど、別の方向の変化は小さい⇒エッジの可能性が高い Hの固有値の大小＝主曲率の大小から、コーナー（エッジじゃない部分）を検出する

車顔猫↓SIFT特徴量抽出一つ一つが128次元のベクトル⇒⇒⇒クラスタリング↓代表ベクトル作成車顔猫各代表ベクトルに最も近い特徴量の出現頻度から、それぞれの画像を表すヒストグラムを作成

 分類したい画像のSIFT特徴量を抽出↓ 前述の方法で、各代表ベクトルのヒストグラムを作成↓ 学習画像のどのヒストグラムに近いかを判定

Movatterモバイル変換

Change Language

Sift特徴量について

Recommended

More Related Content

What's hot

Viewers also liked

Similar to Sift特徴量について

Sift特徴量について