go5paopao https://blog.hatena.ne.jp/go5paopao/ ABEJA Tech Blog https://tech-blog.abeja.asia/ LLM ABEJAでデータサイエンティストをしている服部です。 今回はGRPOなどのLLMの強化学習の中で実際に起こりうる少しマイナーだけど重要かもしれない強化学習のRollout時に発生するトピックについての記事です。 過去にもAgenticRLに関しての記事も書いてますので、こちらも興味ある方いましたら読んでいただけると幸いです。 tech-blog.abeja.asia 本記事は何となくでもGRPOなどの手法で何をしているか知っている前提の記事になっています。 上記記事をベースにした内容をW&B様のホワイトペーパーにも寄稿しており、こちらには強化学習の基礎から書かれているのでこちらももし良ければ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech-blog.abeja.asia%2Fentry%2Fllm-rl-rollout-correction-202606" title="On-policy のはずが Off-policy になる：LLM 強化学習 の rollout mismatchと対策(rollout correction) - ABEJA Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/g/go5paopao/20260603/20260603004017.png Hatena Blog https://hatena.blog 2026-06-08 14:49:34 rich https://tech-blog.abeja.asia/entry/llm-rl-rollout-correction-202606 1.0 100%