TadaoYamaoka https://blog.hatena.ne.jp/TadaoYamaoka/ TadaoYamaokaの開発日記 https://tadaoyamaoka.hatenablog.com/ 将棋AI 大規模言語モデルやStable Diffusionなどの拡散モデルのファインチューニングには、LoRAという手法が使われることが多い。 全てのパラメータを微調整するよりも効率的に学習できる。LoRAを将棋AIのモデルに適用して、棋風の学習に使えるか試してみた。 将棋AIのモデル 将棋AIのモデルには、dlshogiの学習済みモデルを使用する。 dlshogiのモデルは、ResNetで構成されている。 LoRA 標準のLoRAは、全結合層に対して適用されるため、ResNetで使用している畳み込み層には適用できない。 LoRAを、畳み込み層にも適用できるようにしたものにLoConがある。LoCon… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftadaoyamaoka.hatenablog.com%2Fentry%2F2024%2F01%2F06%2F113401" title="将棋AIの棋風学習にLoRAを適用 - TadaoYamaokaの開発日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/T/TadaoYamaoka/20240106/20240106105134.png Hatena Blog https://hatena.blog 2024-01-06 11:34:01 rich https://tadaoyamaoka.hatenablog.com/entry/2024/01/06/113401 1.0 100%