bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ LLM Colaboratory Python 自然言語処理 LLMにGroup Relative Policy Optimization (GRPO)をLoRAと組み合わせて、GPUリソースが少なくても学習させることができる手法をUnslothさんが提案されていたので、ためしてみます。サンプルのColabモデルでベースモデルをSakanaAI/TinySwallow-1.5B-Instructにし、あとはデフォルトままです。小型でありながら日本語能力が高いモデルです。8BモデルだとColab L4環境で（おそらくメモリーの関係で）学習ができなかったので、1.5Bでトライしました。 生成結果は下記となりました。日本語が破綻するかなもと思ったのですが、問題… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2025%2F02%2F07%2F192324" title="UnslothのGRPO notebook（Colab）でTinySwallow-1.5B-Instructを学習させてみる。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-02-07 19:23:24 rich https://bwgift.hatenadiary.jp/entry/2025/02/07/192324 1.0 100%