TadaoYamaoka https://blog.hatena.ne.jp/TadaoYamaoka/ TadaoYamaokaの開発日記 https://tadaoyamaoka.hatenablog.com/ コンピュータ将棋 nnue-pytorch 前回、nnue-pytorchでdlshogiの棋譜を学習して、floodgateの棋譜でテストを行うと、評価損失(val_loss)が上昇する事象が起きることを書いた。いろいろ条件を変えて実験したところ、最適化をデフォルトのRanderから、Momentum SGDに変更すると評価損失(val_loss)が下がることがわかったため、精度と強さの比較を行った。 Momentum SGD実装 PyTorchのデフォルトのtorch.optim.SGDを使用し、パラメータはdlshogiの学習で使用しているものと同じ値(momentum=0.9、nesterov=True、weight_decay… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftadaoyamaoka.hatenablog.com%2Fentry%2F2022%2F08%2F14%2F192614" title="nnue-pytorchを試す その３ - TadaoYamaokaの開発日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/T/TadaoYamaoka/20220814/20220814190300.png Hatena Blog https://hatena.blog 2022-08-14 19:26:14 rich https://tadaoyamaoka.hatenablog.com/entry/2022/08/14/192614 1.0 100%