TadaoYamaoka https://blog.hatena.ne.jp/TadaoYamaoka/ TadaoYamaokaの開発日記 https://tadaoyamaoka.hatenablog.com/ dlshogi コンピュータ将棋 前回、深層強化学習において、モデルの枝刈りによりスケーリングが可能であることを示した論文を紹介した。dlshogiの強化学習でもモデルの枝刈りが効果があるか試したいと考えているが、まずはモデルの枝刈りのみを行って、精度と探索速度にどう影響するかを調べてみる。 モデルの枝刈り モデルの枝刈り(pruning)は、休止状態のニューロンを削除することで、モデルサイズを削減し、推論速度を向上させる手法である。PyTorchには枝刈りの方法として、unstructuredとstructuredの2種類の方法が用意されている。unstructuredは、層のパラメータ全体から一定の割合でパラメータを削除す… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftadaoyamaoka.hatenablog.com%2Fentry%2F2024%2F03%2F07%2F223103" title="dlshogiモデルの枝刈りを試す - TadaoYamaokaの開発日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2024-03-07 22:31:03 rich https://tadaoyamaoka.hatenablog.com/entry/2024/03/07/223103 1.0 100%