TadaoYamaoka https://blog.hatena.ne.jp/TadaoYamaoka/ TadaoYamaokaの開発日記 https://tadaoyamaoka.hatenablog.com/ コンピュータ将棋 dlshogi SWA dlshogiの学習にSWA(Stochastic Weight Averaging)を実装して、測定した。 SWA SWA(Stochastic Weight Averaging)は、一定間隔での重みを平均化することで、ニューラルネットワークのテスト精度を改善するテクニックである。 一般的なアンサンブルの手法では予測の結果を平均化するが、SWAでは重みを平均化することで実現する。 SWAの実装 SWAの実装は、PyTorchの実装を参考にした。 この実装では、学習開始時点からの平均を計算するようになっているが、強化学習に適用する場合は、古いステップの重みは忘れていった方が良い。 そこで、平均… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftadaoyamaoka.hatenablog.com%2Fentry%2F2020%2F01%2F18%2F142703" title="将棋AIの進捗 その38(SWA) - TadaoYamaokaの開発日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/T/TadaoYamaoka/20200118/20200118134510.png Hatena Blog https://hatena.blog 2020-01-18 14:27:03 rich https://tadaoyamaoka.hatenablog.com/entry/2020/01/18/142703 1.0 100%