Movatterモバイル変換

東京工業大学田中正行見えない画像を見るための2次元画像再構成～画像を知る・学ぶ・作る～ＳＳＩＩ２０１４チュートリアル2014年6月11日

概要１．知る－自然画像の性質，ノイズの性質２．作る－2次元画像再構成，2次元画像補間３．学ぶ－学習に基づく2次元画像処理1ノイズ信号

撮影モデル（劣化モデル）2原画像レンズセンサ回路メモリぶれ・ぼけ離散化ノイズ原画像は２次元のグレイ画像とし，圧縮ひずみは考えない．𝒚 = 𝑨𝒙 + 𝒏

結局，2次元画像処理でやりたいこと！3原画像ぼけ画像離散画像ノイズ画像デノイズぶれ復元超解像𝒚 = 𝑨𝒙 + 𝒏

共通の定式化4mmm nxDFy  nAxy 超解像ぶれ復元デノイジング劣化モデル（生成モデル）nBxy  nAxy nxy  nAxy 劣化モデル（生成モデル）劣化モデル（生成モデル）共通の定式化可能𝒚 = 𝑨𝒙 + 𝒏劣化画像yから，原画像xを復元する処理

概要１．知る－自然画像の性質，ノイズの性質（１）自然画像の事前確率（２）ノイズ推定２．作る－2次元画像再構成，2次元画像補間３．学ぶ－学習に基づく2次元画像処理5ノイズ信号

拘束付き最小二乗法6𝒚 = 𝑨𝒙 + 𝒏2222HxAxy I拘束付き最小二乗法y: 観測画像x: 真の画像A: 劣化モデルn: ノイズH: ハイパスフィルタ尤度自然画像の事前確率事後確率最大化（MAP法）観測から観測以外から

事後確率最大化と拘束付き最小二乗法7222222222211'HxAxyHxAxyII)()|()|( xxyyx ppp 事後確率（ベイズの定理）尤度事後確率  2222exp)|(Axyxyp 2222exp)(Hxxp事前確率尤度（ノイズモデル）：ガウスノイズを仮定（自然画像の）事前確率：滑らかな画像を仮定事後確率の対数に－１をかけて拘束付き最小二乗法

事前確率の重要性8例えば，Haarウェーブレットの低周波成分に相当nAxy 22)( Axyx I式の数（行列Ａの行数）が未知数の数（行列Ａの列数）より少ない．問題: 問題に対応する最小二乗コスト:システム行列 A原画像 x観測画像 y観測画像 y•実際の過程 •可能な解Haarウェーブレットの高周波成分は，不定．唯一解を得るためには，付加的な情報（事前確率）が必要．自然画像の事前確率が重要より正確には行列Aの条件数を評価する必要がある2222HxAxy I自然画像の事前確率（拘束項）

自然画像とは9自然画像：近年の人間が自然と目にする画像自然画像以外

自然画像の事前確率とは10自然画像の分布（Possible）数学的に可能性のある画像の分布(Probable)8x8の画像であれば，64次元空間に広がる自然画像は64次元よりもはるかに小さな次元の空間にのみ分布しているこの小さな次元の分布が自然画像の事前確率分布代表例：滑らかさ拘束画像空間分布の模式図画像空間分布の模式図

MAP法（事前確率）に基づく再構成処理11Roth & Black（CVPR 2005），Weiss & Freeman（CVPR 2007） 古典的な事前確率モデルRother (SIGGRAPH 2004), Fergus (SIGGRAPH 2006) パッチに基づく事前確率モデル 適応的な事前確率モデル Expected Patch Log Likelihood (EPLL)Tanaka & Okutomi（CVPR 2008），Cho & Freeman （CVPR 2010）Zoran & Weiss（ICCV 2011）●http://people.csail.mit.edu/danielzoran/

ノイズモデルと推定方法13劣化モデル：𝒚 = 𝑨𝒙 + 𝒏一画素のノイズに着目１．独立なガウスノイズ２．ポアソン・ガウスノイズ３．一般化ガウスノイズ𝑦 = 𝑥 + 𝑛, 𝑛~𝑁(0, 𝜎2)𝑦 = 𝛼𝜌(𝑥) + 𝑛, 𝑛~𝑁(0, 𝜎2)𝑦 = 𝑥 + 𝑛, 𝑛~𝑁 0, 𝜎2 𝑥 , 𝜎2 𝑥 = 𝜎 𝑢2 𝑥 𝛾 + 𝜎 𝑤2𝑁(𝜇, 𝜎2):ガウス分布𝜌(𝑥):ポアソン分布Liu et al, TIP 2013●http://www.ok.ctrl.titech.ac.jp/res/NLE/AWGNestimation.htmlFoi et al, TIP 2008●http://www.cs.tut.fi/~foi/sensornoise.htmlLiu et al, ICIP 2013●http://www.ok.ctrl.titech.ac.jp/res/NLE/sd_nlevel.html

PCAに基づくノイズレベル推定 自然画像– 最小固有値はゼロに近い ガウスノイズ– 固有値は一定値14ゼロと見なせるNatural image Image patchesPCA1 2 3 4 5 6 7 8EigenvaluePrinciple component一定値（ノイズの分散）Image patchesPCAGaussian noise 1 2 3 4 5 6 7 8EigenvaluePrinciple component1 2 3 4 5 6 7 8Natrual imageGaussian noiseImage patchesPCANoisy imageノイズの分散Principle componentEigenvalue ノイズ画像ノイズ信号

PCAに基づくノイズレベル推定結果 テクスチャがあまりない画像 テクスチャがリッチな画像15planemountainテクスチャが少なければ良い結果テクスチャがリッチだと精度は低い1 2 3 4 5 6 7 8Natrual imageGaussian noiseほぼゼロ1 2 3 4 5 6 7 8Natrual imageGaussian noiseゼロより大きいNoise level estimation resultNoise level estimation result

ノイズレベル推定結果 (BSD dataset)16True Zoran et. al.[9] Tai et. al[25] Proposed methodAverage Std.dev RMSE Average Std.dev RMSE Average Std.dev RMSE1 2.129 1.662 1.986 2.059 1.574 1.890 1.512 0.986 1.1055 4.993 1.464 1.455 5.761 1.083 1.320 5.285 0.429 0.50710 9.741 1.589 1.602 10.635 0.825 1.038 10.282 0.389 0.47015 14.643 1.606 1.637 15.553 0.677 0.871 15.254 0.336 0.39520 19.582 1.645 1.689 20.482 0.613 0.778 20.127 0.308 0.32725 24.464 1.649 1.725 25.458 0.549 0.713 25.057 0.384 0.386デモLiu et al, TIP 2013●http://www.ok.ctrl.titech.ac.jp/res/NLE/AWGNestimation.htmlテクスチャレスパッチ抽出を工夫

概要１．知る－自然画像の性質，ノイズの性質２．作る－2次元画像再構成，2次元画像補間（１）データを増やす（２）構造を抽出する（仲間を見つける）（３）ガイドを利用する（助けを借りる）３．学ぶ－学習に基づく2次元画像処理17ノイズ信号

データを増やす18輝度方向にデータを増やす（平均する）デノイズ（画像フィルタ）空間方向にデータを増やすマルチフレーム超解像時間方向にデータを増やす高フレームレイト化

19なぜ高解像度画像が得られるのか？1次元信号の場合 2次元画像の場合測定器測定器信号源時刻時刻時刻同期時間解像度が2倍観測画像画像間の位置関係既知（単純）拡大画像高解像度画像空間解像度が2×2倍半画素ずつ移動

20複数枚の画像からの超解像処理例観測画像(150x30)超解像画像(600x120)観測画像(150x30)超解像画像(600x120)

21デモンストレーションソフトウェア例

輝度方向にデータを増やす（平均する）効果22M個の観測データを平均すると，平均値のノイズ分散は1/Mになる𝑉1𝑀𝑖𝑀𝑦𝑖 =1𝑀𝑉[𝑦𝑖]静止シーンを固定カメラで複数枚撮影画像一枚だけの場合は空間的なフィルタ処理フィルタ真値の等しい画素を平均する

ガウシアンフィルタ23真値の等しい画素を平均する空間的に近傍の画素の真値は等しいと仮定ガウシアンフィルタ位置u画素値y空間的重みjjisjjjisiGyGx)()(ˆuuuuエッジ付近でぼけるui,uj: 画素位置yj: 画素値G:ガウス関数

バイラテラルフィルタjjirjisjjjirjisbiiyyGGyyyGGx)()()()(ˆuuuu空間的な距離に基づく重み画素値の差に基づく重み位置u画素値y24Tomasi, ICCV 1998空間的重み画素値重み画素値重み重み小重み大エッジを保存した平滑化フィルタ真値の等しい画素を平均する空間的かつ輝度的に近傍の画素の真値は等しいと仮定バイラテラルフィルタ

ノンローカルミーンフィルタ25Buades CVPR 2005画像注目パッチ類似度計算位置u画素y注目パッチ類似度小→重み小類似度大→重み大空間方向の重みは利用しない（利用してもよい．）真値の等しい画素を平均する構造（パッチ）が似ている画素の真値は等しいと仮定ノンローカルフィルタ jjipjjTjipnliGGx)()(ˆyyycyy

処理例26入力画像バイラテラルフィルタノンローカルミーンフィルタバイラテラルフィルタノンローカルミーンフィルタParis et al, A Gentle Introduction to Bilateral Filtering and its Applications●http://people.csail.mit.edu/sparis/siggraph07_course/Buades et al, Non-Local Means Denoising●http://www.ipol.im/pub/art/2011/bcm_nlm/

高性能デノイジング28BM3D (Block-matching and 3D) filter,Dabov et al, Image denoising by sparse 3d transform-domain collaborative filtering, TIP2007●http://www.cs.tut.fi/~foi/GCF-BM3D/LSSC (learned simultaneous sparse coding)Mairal et al, Non-local sparse models for image restoration, ICCV2009PLOW （Patch-based Locally Optimal Wiener Filtering for Image Denoising）Priyam et al, Patch-based Near-Optimal Image Denoising, TIP 2012●http://users.soe.ucsc.edu/~priyam/PLOW/パッチベース・ノンローカルアプローチZontak et al, Separating Signal from Noise using Patch Recurrence Across Scales, CVPR 2013http://www.wisdom.weizmann.ac.il/~vision/MultiScaleDenoising.html

パッチベースデノイジング手法 パッチベース手法– 高性能な手法として注目されている。– 小さな四角形の領域を処理単位とする。1. ノイズを含んだ画像からのパッチ生成3. デノイジングされたパッチからの画像再構成2. パッチごとのデノイジングデータベースに基づく手法自然画像データベースの情報を利用する。ローカル手法近傍のパッチの情報を利用する。ノンローカル手法類似したパッチの情報を利用する。3種類29

ノンローカルアプローチ ノンローカルアプローチとは– 自然画像の自己相似性に着目し、画像中に含まれる類似パッチの情報を利用してデノイジングを行う。1st step : CollaborativeHard-thresholding周波数領域例：BM3D Filter 繰り返し処理（ウィナーフィルタ）30

類似パッチを集めることの意味31ノイズ信号自然画像全体をモデル化するのは困難ノイズ分布は変化しない類似パッチを集める信号とノイズの分離を容易にする画像全体類似パッチのみ

ガイドを利用する（助けを借りる）33 ジョイントバイラテラルフィルタ ガイデットフィルタガイド画像の例：RGB-NIR：NIRをガイド画像としてRGB画像をデノイズRGB-D：RGBをガイド画像としてD画像をデノイズノイズ信号ガイド画像目的画像ガイド画像を利用して，信号とノイズを分離Kopf et al, Joint bilateral upsampling, SIGGRAPH 2007実装例：●http://nma.web.nitech.ac.jp/fukushima/research/weightedjointbilateralfilter.html●http://www.mathworks.com/matlabcentral/fileexchange/27468-joint-bilateral-filterHe et al, Guided Image Filtering, ECCV2012, PAMI2013●http://research.microsoft.com/en-us/um/people/kahe/eccv10/

ジョイントバイラテラルフィルタ34位置u画素値y空間的重み画素値重み画素値重み重み小重み大位置uガイド画像ｚ注目画素jjirjisjjjirjisizzGGyzzGGx)()()()(ˆuuuu空間的な距離に基づく重みガイド画像の画素値の差に基づく重みjjirjisjjjirjisbiiyyGGyyyGGx)()()()(ˆuuuu参考：バイラテラルフィルタ

ガイデットフィルタ35Guide patch IInput patch pLineartransformationbaIk  NkkkbaapbaI 22),()(min N: Sampled pixelsε: Smoothness parameter残差項滑らかさ項残差項：小滑らかさ項：大入力画像をガイド画像に使える！残差項：大滑らかさ項：小残差高速処理エッジ保存●http://research.microsoft.com/en-us/um/people/kahe/eccv10/出力画像出力画像ε：小ε：大

ガイドを利用した補間（ガイデットアップサンプリング）37LineartransformationbaIk Interpolation Output image NkkkbaapbaI 22),()(min N: Sampled pixels: Smoothness parameter適切なガイド画像が得られれば，エッジを保存した補間が，高速に実現できる！ガイド画像入力データ

ガイデットアップサンプリングの応用例スペクトル間の相関ガイデットアップサンプリング(He et. al., ECCV2010)マルチスペクトルCFAG R G Or GB G Cy G BG Or G R GCy G B G CyG R G Or G38初期補間ガイド画像Y.Monno et al. , “Multispectral demosaicking using guided filter”, EI2011.ガイド画像はどうするの？→ マルチスペクトルデモザイキング

色差補間とガイド画像の関係39－＋色差補間R −G初期補間GデータRデータ補間R画像G画像RGB画像 R画像色差画像(R-G)高周波エネルギーを低減補間が容易になる！ガイド画像線形変換してみたら？

残差補間40－＋残差画像補間R − R初期補間ガイデットアップサンプリング初期推定RGデータRデータ補間R画像RGB画像 R画像色差画像(R-G) 残差画像（R − R）高周波エネルギーをさらに低減補間がさらに容易になる！ガイデットアップサンプリングmatlab code:●http://www.ok.ctrl.titech.ac.jp/res/DM/RI.htmlガイド画像＆線形変換

概要１．知る－自然画像の性質，ノイズの性質２．作る－2次元画像再構成，2次元画像補間３．学ぶ－学習に基づく2次元画像処理（１）事例ベース超解像（２）スパースコーディング（３）機械学習（Deep learning）42

Freeman et al,Example-Based Super-Resolution, 2002.Kim et al, Example-based learning for single-image super-resolution, DAGM 2008.(●http://www.mpi-inf.mpg.de/~kkim/supres/supres.htm)43事例ベース超解像観測画像（低解像度画像）高解像度画像画像データベース高解像度画像低解像度画像•一枚でも可能•データベースの作成が重要（コスト大）•対応付けの問題失われた（存在しない）高周波成分をデータベースに基づき，推定する処理

スパースコーディング44≅ + + + +5.73 0.00 4.12 0.00 0.00+高解像度画像辞書D高解像度辞書入力パッチ𝒚出力パッチ𝒙 = 𝑫 𝜶入力画像出力画像5.73 0.08スパース係数を推定ライブラリ ●http://spams-devel.gforge.inria.fr/●http://www.cs.technion.ac.il/~elad/software/高解像度画像辞書：D低解像度画像辞書：BDぼけ＆ダウンサンプリングB低解像度画像辞書BD𝜶 = argmin𝜶𝒚 − 𝑩𝑫𝜶 22+ 𝜆 𝜶 1𝒙 = 𝑫 𝜶スパース係数の推定再構成出力パッチスパース係数：少数の係数のみ非ゼロの値を持つ

辞書学習45辞書固定スパース係数推定スパース係数固定辞書更新𝐼 =𝑖min𝜶 𝑖𝒚𝒊 − 𝑫𝜶𝑖 22+ 𝜆 𝜶𝒊 1自然画像データベース高解像度画像辞書低解像度画像辞書BD課題：低解像度画像から推定されるスパース係数と高解像度画像から推定されるスパース係数が異なるスパース係数推定スパース係数推定高解像度画像低解像度画像0.84 0.22 0.00 0.000.000.75 0.34 0.001.231.23

入力低解像度パッチ𝒚カップリングを学習46He et al, Beta Processing Dictionary Learning for Coupled Feature Space with Application to SingleImage Super Resolution, CVPR 2013(●http://web.eecs.utk.edu/~lhe4/)自然画像データベース高解像用辞書 𝑫 𝑯学習低解像用辞書 𝑫 𝑳学習スパース係数間のカップリングMを学習𝜶 𝑯 = 𝑴𝜶 𝑳𝒙 = 𝑫 𝑯 𝜶 𝑯𝒚 = 𝑫 𝑳 𝜶 𝑳出力高解像度パッチ𝒙高解像係数変換低解像用辞書 𝑫 𝑳スパース係数推定高解像用辞書 𝑫 𝑯高解像度パッチ再構成𝜶 𝑳𝑴𝜶 𝑳𝑫 𝑯 𝑴𝜶 𝑳

機械学習（Deep learning）48Schuler et al, A machine learning approach for non-blind image deconvolution, CVPR2013(●http://webdav.is.mpg.de/pixel/neural_deconvolution/)Gao et al, Restricted Boltzmann Machine Approach to Couple Dictionary Training forImage Super-Resolution, ICIP2013.Vincent et al, Extracting and Composing Robust Features with Denoising Autoencoders,ICML2008Nakashika, et al, High-frequency Restoration Using Deep Belief Nets for Super-resolution,International Conference on Signal Image Technology & Internet-Based Systems 2013.

概要１．知る－自然画像の性質，ノイズの性質２．作る－2次元画像再構成，2次元画像補間３．学ぶ－学習に基づく2次元画像処理49ノイズ信号何かのきっかけになれば嬉しいです！Xin Li’s Reproducible Research:http://www.csee.wvu.edu/~xinl/source.html

Movatterモバイル変換

Change Language

SSII2014 チュートリアル資料

Recommended

More Related Content

What's hot

Similar to SSII2014 チュートリアル資料

More from Masayuki Tanaka

SSII2014 チュートリアル資料