sc_bakushu https://blog.hatena.ne.jp/sc_bakushu/ ローカルLLM自由帳 (Local LLM Diary) https://sc-bakushu.hatenablog.com/ 前回の記事で、「LightChatAssistant 2x7B」が日本語チャットモデルのベンチマークでもかなり高いスコアを示すことを確認しました（スコア上はCohereの「Command-R 35B」に近い水準です）。 体感的にもベンチマーク的にも優れた日本語チャットモデルで、サイズが小さいことも考えるととても魅力的です。 sc-bakushu.hatenablog.com 作者さんがモデルカードで説明されている制作プロセスを読むと、単純に「ChatNTQ 7B」と「Antler-7B」をMoEマージする前に、ChatVectorという手法により各モデルに微調整を施しているようです。 となると… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fsc-bakushu.hatenablog.com%2Fentry%2F2024%2F04%2F11%2F145055" title="MergeKitによるMoEマージだけで日本語性能は上がるか？ - ローカルLLM自由帳 (Local LLM Diary)" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2024-04-11 14:50:55 rich https://sc-bakushu.hatenablog.com/entry/2024/04/11/145055 1.0 100%