TadaoYamaoka https://blog.hatena.ne.jp/TadaoYamaoka/ TadaoYamaokaの開発日記 https://tadaoyamaoka.hatenablog.com/ dlshogi コンピュータ将棋 強化学習 強化学習において、サンプル効率が低いという課題の対処として、リプレイバッファを使用して過去の方策で生成したデータも学習に使用するということが行われている。 一般的に挙動方策（経験を蓄積する際の方策）と推定方策（学習する方策）が異なる場合をオフポリシーと呼ぶ。 逆に一致する場合をオンポリシーと呼ぶ。方策勾配法などのオンポリシーの手法で、サンプル効率を高めるためにリプレイバッファを使用することは、経験的に破壊的に大きなポリシー更新につながることがある。 AlphaZeroの強化学習 AlphaZeroもリプレイバッファを用いておりオフポリシーで学習を行っている。 ただし、AlphaZeroはシミュ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftadaoyamaoka.hatenablog.com%2Fentry%2F2021%2F02%2F02%2F224357" title="将棋AIの実験ノート：オフポリシー補正 - TadaoYamaokaの開発日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2021-02-02 22:43:57 rich https://tadaoyamaoka.hatenablog.com/entry/2021/02/02/224357 1.0 100%