Downloaded 29 times
![Copyright©2016 NTT corp. All Rights Reserved. 17Atari games(57個)半分以上のゲームで人間を超えたDQN(NIPS 2013)←Qを関数近似で汎化V. Mnih et al., "Playing atari with deep reinforcement learning”DQN (Nature 2015) ←NIPS DQNのθの更新を改良V. Mnih et al., "Human-level control through deep reinforcement learning”Double DQN (arXiv:1509.06461 [cs])←本質的な改良Hado van Hasselt et al., “Deep Reinforcement Learning with Double Q-learning”Double Q-learning(NIPS 2010)←理解に役立つHado van Hasselt et al., “Double Q-learning”Dueling Network(2016)←ネットワークを工夫ZiyuWang et al., “Dueling Network Architectures for Deep Reinforcement Learning”FRMQN(2016)←いい感じで記憶を持たせるJunhyuk Oh et al., “Control of Memory, Active Perception, and Action in Minecraft”Intrinsic Motivation (2016)←探索に重みをつけるっぽいMarc G. Bellemare et al., “Unifying Count-Based Exploration and Intrinsic Motivation”時間が余れば最近のDQN](/image.pl?url=https%3a%2f%2fimage.slidesharecdn.com%2fyamada20160723-160726110338%2f75%2fReinforcement-Learning-17-2048.jpg&f=jpg&w=240)
MY
Uploaded byMasanori Yamada
PPTX, PDF4,703 views
Reinforcement Learning(方策改善定理)
強化学習の基礎方策改善定理の証明
Related topics:
![[Dl輪読会]introduction of reinforcement learning](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fdlintroductionofreinforcementlearning-161121061444-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fnerf20200327slideshare-200326131430-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2f20190426akuzawa-190426020057-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![SSII2020 [OS2-02] 教師あり事前学習を凌駕する「弱」教師あり事前学習](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2f200611ssii2020os2weaksupervision-200609142553-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[DL輪読会]逆強化学習とGANs](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2firlgans-171128063119-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2fts2-01-210607042910-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
![[Oracle Code Night] Reinforcement Learning Demo Code](/image.pl?url=https%3a%2f%2fcdn.slidesharecdn.com%2fss_thumbnails%2f20210831orajam7crypto-210921030945-thumbnail.jpg%3fwidth%3d640%26amp%3bheight%3d640%26amp%3bfit%3dbounds&f=jpg&w=240)
Reinforcement Learning(方策改善定理)
- 1.Copyright©2016 NTT corp.All Rights Reserved.強化学習の基礎NTT研究所 山田真徳
- 2.Copyright©2016 NTT corp.All Rights Reserved. 2教師あり学習 教師なし学習 強化学習機械学習は大きくわけて３つラベルがついていないものの性質を調べる(基本はクラスタリング)ラベル(教師データ)があるもの使い教師データと同じ写像を見つける(基本は回帰か分類)f:x→yy=f(x)本質は教師データ{x,y}からfを決める問題 距離などを参考に色(ラベル)がわからない状態でクラスタイリング良さの方向だけを与えておいて、環境を探索して良い方向に行くように教師を自ら生成して学習する行動の最適化問題参考画像https://qiita-image-store.s3.amazonaws.com/0/72529/dc77a4fe-85a1-a69e-e0e3-571e2e04a33f.png
- 3.Copyright©2016 NTT corp.All Rights Reserved. 3目的強化学習(Q学習)の基礎となる方策改善定理を理解する
- 4.Copyright©2016 NTT corp.All Rights Reserved. 4方針：未来の報酬期待値が最大になるように学習する強化学習目的：行動選択の最適化教師あり学習とも(普通の)教師なし学習とも違う環境探索型の学習
- 5.Copyright©2016 NTT corp.All Rights Reserved. 5DQN(Deep Q NeuralNetwork)学習：戦略を学ぶ例
- 6.Copyright©2016 NTT corp.All Rights Reserved. 6環境と相互作用がある学習良いという方向を決めて教師を自ら生成①行動選択①②環境の更新②③③報酬決定 状態:行動:報酬:方策:これを学習したい！環境で決まるユーザーが与える状態のマルコフ性を仮定
- 7.Copyright©2016 NTT corp.All Rights Reserved. 7マルコフ決定過程(MDP)：アクションつきマルコフ過程のことマルコフ過程：1つ前の状態にしかよらないという近似近似マルコフ決定過程
- 8.Copyright©2016 NTT corp.All Rights Reserved. 8Rの期待値Q関数：Rをその場の状態と行動で決める定義よりVとQの関係を明確にV関数：Rをその場の状態だけで決めるπは固定
- 9.Copyright©2016 NTT corp.All Rights Reserved. 9手順1. πに従い確率的に行動 を決定2. により が確率的に決定3. 現在の報酬が決定4. 将来の報酬の合計 を計算5. 将来の報酬が最大になるようにπを修正6. 2に戻るポイント Q, 6どうやってRからπを修正するか？γ:割引率A, ε-greedy法というものを使えばいい
- 10.
- 11.Copyright©2016 NTT corp.All Rights Reserved. 11以下を示したいQを計算してε-greedyでπを修正すること⇔Rの最大とする方策π*を求めること
- 12.
- 13.Copyright©2016 NTT corp.All Rights Reserved. 13①方策改善定理(改善の保証)次のターンのみaをπ’で取る②ε-greedyが方策改善になっている以下の２つを示せばよい
- 14.Copyright©2016 NTT corp.All Rights Reserved. 14①方策改善定理(改善の保証)後で示すVの漸化式方程式の一般式になっている(報酬の収束を仮定し最後は と の違いは効かない)
- 15.Copyright©2016 NTT corp.All Rights Reserved. 15証明MDP便利な表現
- 16.Copyright©2016 NTT corp.All Rights Reserved. 16②ε-greedyも方策改善になっている平均化された最大値≧合計１になる非負の重み付き平均´
- 17.Copyright©2016 NTT corp.All Rights Reserved. 17Atari games(57個)半分以上のゲームで人間を超えたDQN(NIPS 2013)←Qを関数近似で汎化V. Mnih et al., "Playing atari with deep reinforcement learning”DQN (Nature 2015) ←NIPS DQNのθの更新を改良V. Mnih et al., "Human-level control through deep reinforcement learning”Double DQN (arXiv:1509.06461 [cs])←本質的な改良Hado van Hasselt et al., “Deep Reinforcement Learning with Double Q-learning”Double Q-learning(NIPS 2010)←理解に役立つHado van Hasselt et al., “Double Q-learning”Dueling Network(2016)←ネットワークを工夫ZiyuWang et al., “Dueling Network Architectures for Deep Reinforcement Learning”FRMQN(2016)←いい感じで記憶を持たせるJunhyuk Oh et al., “Control of Memory, Active Perception, and Action in Minecraft”Intrinsic Motivation (2016)←探索に重みをつけるっぽいMarc G. Bellemare et al., “Unifying Count-Based Exploration and Intrinsic Motivation”時間が余れば最近のDQN