TadaoYamaoka https://blog.hatena.ne.jp/TadaoYamaoka/ TadaoYamaokaの開発日記 https://tadaoyamaoka.hatenablog.com/ dlshogi dlshogiを改造して遊びたい方のために、dlshogiの学習則についてちゃんと書いてなかったので書いておく。主に、学習部のソースtrain_rl_policy_with_value_using_hcpe_bootstrap.pyの解説になっている。 AlphaZeroの学習則 AlphaZeroの学習則は、 となっている。 dlshogiではこれとは異なる学習則を使用している。 ルートノードの分布の使用有無 まず、AlphaZeroでは、MCTSのシミュレーション結果のルートの子ノードの訪問回数の分布（上式の）を使用しているが、dlshogiでは分布ではなく指し手を使用している。 これは、… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftadaoyamaoka.hatenablog.com%2Fentry%2F2020%2F05%2F31%2F114435" title="dlshogiの学習則 - TadaoYamaokaの開発日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://chart.apis.google.com/chart?cht=tx&chl=%5Cdisplaystyle%0Al%28%5Ctheta%29%3D%28z-v%29%5E2%20-%20%5Cboldsymbol%7B%5Cpi%7D%5ET%20%5Clog%20%5Cboldsymbol%7Bp_%5Ctheta%7D%20%2B%20c%20%5C%7C%5Ctheta%5C%7C%5E2%0A Hatena Blog https://hatena.blog 2020-05-31 11:44:35 rich https://tadaoyamaoka.hatenablog.com/entry/2020/05/31/114435 1.0 100%