TadaoYamaoka https://blog.hatena.ne.jp/TadaoYamaoka/ TadaoYamaokaの開発日記 https://tadaoyamaoka.hatenablog.com/ dlshogi コンピュータ将棋 深層強化学習の手法に、Prioritized experience replay (PER)（優先順位付き経験再生）という方法がある。 リプレイバッファに蓄積した経験データに優先順位を付けて、優先順位が高いほどより多くサンプリングする手法だ。優先順位の尺度には、TD誤差が用いられる。 現在のネットワークの予測と、nステップ後のの差が大きいほど優先的にサンプリングする。 サンプリングしたデータの優先度は、その時点の推論結果によって更新される。 将棋AIへの応用 この考えを、dlshogiの学習に採用したいと思っているが、将棋AIでは、勝敗と探索後のルートノードQ値を学習しているため、一度付けた優… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftadaoyamaoka.hatenablog.com%2Fentry%2F2021%2F02%2F25%2F220351" title="将棋AIの実験ノート：初期局面集の優先順位付きサンプリング - TadaoYamaokaの開発日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2021-02-25 22:03:51 rich https://tadaoyamaoka.hatenablog.com/entry/2021/02/25/220351 1.0 100%