miu4930 https://blog.hatena.ne.jp/miu4930/ Vポイントマーケティング｜TECH LABの Tech Blog https://techblog.vpoint.co.jp/ AI 生成AI LLM こんにちは、CCCMKホールディングスTECH LABの三浦です。 今年もあと1か月ですね。振り返ってみると色々とあった1年ですが、個人的には夏の厳しい暑さが印象に残っています。残りわずかですが、2024年の最後まで頑張ろうと思います。 学習中のトークンごとの損失の変化 不要なトークンを学習中に除くSelective Language Modelingというテクニック SLMによる効果 まとめ 今回は最近読んで印象に残った論文の内容についてまとめてみたいなと思います。次の論文です。 【Title】Rho-1: Not All Tokens Are What You Need 【Authors】… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.vpoint.co.jp%2Fentry%2F2024%2F12%2F10%2F081653" title="事前学習におけるトークンの選択の重要性についての論文&quot;RHO-1:Not All Tokens Are What You Need&quot;を読みました。 - Vポイントマーケティング｜TECH LABの Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/m/miu4930/20241209/20241209161827.jpg Hatena Blog https://hatena.blog 2024-12-10 08:16:53 rich https://techblog.vpoint.co.jp/entry/2024/12/10/081653 1.0 100%