Movatterモバイル変換

Akira NaruseDeveloper Technology Engineer, NVIDIAディープラーニング最新技術情報何故GPUはディープラーニングに向いているのか?

AGENDAディープラーニングの現状何故GPUがディープラーニングに向いているのかエヌビディアDIGITSのご紹介

DLが注目されたきっかけ -ILSVRC2012-誤認識率:4.94%, Feb. 6, 2015, Microsoft4.82%, Feb. 11, 2015, Google人間レベルの認識率Accuracy %2010 201420122011 201374%84%Deep LearningCV72%

GTC 2015Deep LearningDeep LearningDeep Learning

GTC: DL SESSIONS408502040608010005101520252014 2015

画像分類、物体認識顔認識音声処理、自然言語処理医療画像解析地層解析(Oil&Gas) レコメンドDL適用分野

DLを用いた車種認識 –NVIDIA CES2015 DEMO-

DLを用いた音声認識 –BAIDU DEEP SPEECH-http://www.ustream.tv/recorded/60113824http://www.ustream.tv/recorded/60113824/highlight/631666From: GTC2015 Keynote sessionDeep Learning: What’s Next, Andrew Ng (Baidu)

画像の説明文の生成 –CNN&RNN-Recognizing the objects in the picture, and assembling word sequences in the textrepresenting the scenery ( Automated Image Captioning) Stanford Univ.http://cs.stanford.edu/people/karpathy/deepimagesent/generationdemo/

ディープラーニングはスケーラブルData & ComputePerformance&AccuracyDeep Learning従来手法Slide courtesy of Adam CoatesYesterday Today Tomorrow

KEYSDLモデル大量データ計算パワー

なぜGPUはディープラーニングに向いているのか?

データ・サイエンティストのワークフロークリティカルパス:Ideaが沸いてからTestが完了するまでサイクルを速く回すことが重要IdeaCodeTrainTestR&D cycle

データ・サイエンティストのワークフローIdeaCodeTrainTest膨大な計算量+ CUDA

DLトレーニングシステムCaffe Theano TorchGPUsChainerDLフレームワークDLアプリケーション

DLトレーニングシステムCaffe Theano TorchGPUsChainerDLフレームワークDLアプリケーションcuBLAS, cuDNN

CNN: Convolution Neural Networkフルコネクション (全結合層) cuBLASコンボリューション (畳み込み層) cuDNNLeNet5 [LeCun et al.,1998]

全結合層Forward (前進)Layer 1 Layer 2 Layer 3 Layer 4

全結合層Backward (誤差逆伝播)Layer 1 Layer 2 Layer 3 Layer 4

全結合層x[N] y[M]w[N][M]𝑦 𝑖 = 𝐹𝑗(𝑤 𝑖 𝑗 × 𝑥 𝑗 )

全結合層x[N] y[M]w[N][M]x =w[N][M] x[N] y[M]行列ベクトル𝑦 𝑖 = 𝐹𝑗(𝑤 𝑖 𝑗 × 𝑥 𝑗 )

行列とベクトルの乗算全結合層x[N] y[M]w[N][M]x =w[N][M] x[N] y[M]メモリバンド幅で性能が決まるXeon E5-2690v3 Tesla K4068 GB/s 288 GB/sピークメモリバンド幅行列ベクトル

全結合層x[N] y[M]w[N][M]x =w[N][M] x[N] y[M]ミニバッチ: 複数データで同時学習行列ベクトル

行列と行列の乗算全結合層x[K][N] y[K][M]w[N][M]x =w[N][M] x[K][N] y[K][M]高い演算能力を発揮できるXeon E5-2690v3 Tesla K400.88 TFLOPS 4.29 TFLOPSピーク演算性能(単精度)行列行列

行列演算ライブラリ: cuBLAScuBLAS 6.5 on K40m, ECC ON, input and output data on device.MKL 11.0.4 on Intel IvyBridge single socket 12 -core E5-2697 v2 @ 2.70GHzcuBLAS 6.5 on K40m, ECC on, input and output data on device.m=n=k=4096, transpose=no, side=right, fill=lowerGPU向け行列演算ライブラリ(BLAS完全準拠)DLで使われるのは単精度の行列積(SGEMM)

畳み込み層出力特徴量マップ入力特徴量マップ(画像)処理内容: 画像処理のフィルタと類似ガウシアンフィルタ (ぼかし)ソーベルフィルタ (エッジ抽出)他多数画像処理フィルタの特徴フィルタサイズ:小メモリバンド幅が重要フィルタサイズ:大演算性能が重要

畳み込み層出力特徴量マップ入力特徴量マップ多数のフィルタフィルタの係数が学習対象

畳み込み層出力特徴量マップ入力特徴量マップ

畳み込み層畳み込み演算画像処理では、用途に合わせて個別チューニングDLの用途、組み合わせが膨大…出力特徴量マップ入力特徴量マップ

畳み込み層多数パラメータo フィルターのサイズo 入力特徴量マップの数o 入力特徴量マップのサイズo 出力特徴量マップの数o 出力特徴量マップのサイズo ミニバッチのサイズo ストライディング量o パディング量o …個別チューニングは大変出力特徴量マップ入力特徴量マップ

畳み込み層cuDNN行列演算アプローチ出力特徴量マップ入力特徴量マップ

畳み込み層I0 I1 I2I3 I4 I5I6 I7 I8F0 F1F2 F3入力フィルタ(2x2)O0 O1O2 O3出力

畳み込み層I0 I1 I2I3 I4 I5I6 I7 I8F0 F1F2 F3F0 F1 F2 F3I0I1I3I4I1I2I4I5I3I4I6I7I4I5I7I8入力フィルタ出力入力(並び替え)

畳み込み層F0 F1 F2 F3G0 G1 G2 G3I0I1I3I4I1I2I4I5I3I4I6I7I4I5I7I8多数フィルタ出力入力(並び替え)フィルタ

入力(並び替え)畳み込み層F0 F1 F2 F3J0J1J3J4J1J2J4J5J3J4J6J7J4J5J7J8I0I1I3I4I1I2I4I5I3I4I6I7I4I5I7I8G0 G1 G2 G3ミニ・バッチ(複数データで同時学習)出力フィルタF0 F1 F2 F3G0 G1 G2 G3

畳み込み層F0 F1 F2 F3J0J1J3J4J1J2J4J5J3J4J6J7J4J5J7J8I0I1I3I4I1I2I4I5I3I4I6I7I4I5I7I8G0 G1 G2 G3出力行列と行列の乗算高い演算能力を発揮できるフィルタ(並び替え)cuDNN: 行列演算への変換も含め、全てを処理入力(並び替え)G0 G1 G2 G3F0 F1 F2 F3

LENET5LeNet5 [LeCun et al.,1998]OutputsFilter(Expanded)Inputs16100 * batch size150150

GOOGLENETGoogLeNet [Szegedy et al.,2014]OutputsFilter(Expanded)Inputs1923136 * batch size576576LENET5 GOOGLENET0.24 x Bs 346 x Bs1回の演算量(MFLOP)

cuDNN API畳み込み演算cudnnConvolutionForward()cudnnConvolutionBackward[Bias|Filter|Data]()活性化cudnnActivationForward()cudnnActivationBackward()プーリングcudnnPoolingForward()cudnnPoolingBackward()ソフトマックスcudnnSoftmaxForward()cudnnSoftmaxBackward()…

GPUはディープラーニングの全フェーズを加速cuBLASLeNet5 [LeCun et al.,1998]

性能測定結果AlexNet [A. Krizhevsky et al.,2012]2.5M18M23M43M0102030405016 Core CPU GTX Titan Titan BlackcuDNN v1Titan XcuDNN v2画像数(M)1日あたりの学習画像数 (Caffe)E5-2698 v3 @ 2.3GHz / 3.6GHz Turbo

cuDNN v3学習の高速化(主にMaxwell向け)2D畳み込み演算の高速化FFTコンボリューション対応より大きなモデル16ビット浮動小数点ストレージ9月リリース予定RC版がダウンロード可能 (登録必要)https://developer.nvidia.com/cuDNN0.0x0.5x1.0x1.5x2.0x2.5xAlexnet OverFeat VGGcuDNN v2  cuDNN v3学習性能: 最大2倍cuDNN 3 performance vs. previous version on Ubuntu 14.04 LTS withNVIDIA® GeForce® TITAN X and Intel® Core™ i7-4930K @ 3.40GHz

IdeaCodeTrainTestデータ・サイエンティストのワークフローIdeaCodeTrainTestR&D cycle

DIGITSGPUディープラーニングトレーニングシステム (Web UI)USERINTERFACEVisualizeLayersConfigureDNNProcessDataGPUGPU HW CloudGPU ClusterMulti-GPUTheanoTorchMonitorProgressCaffecuDNN, cuBLASCUDAデータサイエンティスト向けDNNモデルの設計学習状況・結果の可視化多数の学習の管理

DIGITS1. データ準備IdeaCodeTrainTest

DIGITS2. モデル設定IdeaCodeTrainTest

DIGITS3. 実行と監視IdeaCodeTrainTest

DIGITS4. 可視化IdeaCodeTrainTest

DIGITSdeveloper.nvidia.com/digits github.com/NVIDIA/DIGITS

IdeaCodeTrainTestデータ・サイエンティストのワークフローDIGITScuBLAScuDNN

Movatterモバイル変換

Change Language

なぜGPUはディープラーニングに向いているか

Embed presentation

Recommended

More Related Content

What's hot

Similar to なぜGPUはディープラーニングに向いているか

More from NVIDIA Japan

なぜGPUはディープラーニングに向いているか