akiFQC https://blog.hatena.ne.jp/akiFQC/ SB Intuitions TECH BLOG https://www.sbintuitions.co.jp/blog/ 基本編はこちら→Sarashina-Embedding-v1-1B: 日本語LLMをベースにしたテキスト埋め込み(1/2)~基本編~ TL;DR 10億パラメータの日本語言語モデルであるSarashina2.1-1Bを事前学習モデルとした日本語テキスト埋め込みモデルを学習。 弱教師あり学習と教師あり学習の二段階の対照学習。 JMTEBベンチマークで最高水準のスコアを達成。特にRetrieval、Classification等でハイスコア。 弱教師あり学習と教師あり学習の二段階学習によってモデル性能が向上。 事前学習のトークン数を増やすと後段のテキスト埋め込みモデルの性能が向上。 弱教師あり学習… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwww.sbintuitions.co.jp%2Fblog%2Fentry%2F2025%2F02%2F03%2F180848" title="Sarashina-Embedding-v1-1B: 日本語LLMをベースにしたテキスト埋め込み(2/2)~発展編~ - SB Intuitions TECH BLOG" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/a/akiFQC/20250122/20250122152124.png Hatena Blog https://hatena.blog 2025-02-03 18:08:48 rich https://www.sbintuitions.co.jp/blog/entry/2025/02/03/180848 1.0 100%