masatoi https://blog.hatena.ne.jp/masatoi/ masatoi’s blog https://masatoi.hateblo.jp/ 強化学習 Suttonの教科書に良く出てくる表現で、学習の過程で方策の評価、改善が行われるものをon-policy、そうではないものをoff-policyと呼ぶ。on-policyの手法としては動的計画法*1やSarsaがあり、off-policyの手法にはQ-learningがある。Q-learningは価値の更新を行うが、方策の更新は行わない。価値の学習状況により行動選択確率が変わっていくような行動選択手法*2を用いることができるが、これは方策を改善していくことにはならない？ on-policyの強化学習手法は価値の改善と方策の改善の両方を行い、その両方が相互依存関係にある。つまり改善された価値に基… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fmasatoi.hateblo.jp%2Fentry%2F20060715%2F1152943285" title=" on-policyとoff-policy - masatoi’s blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2006-07-15 15:01:25 rich https://masatoi.hateblo.jp/entry/20060715/1152943285 1.0 100%