sc_bakushu https://blog.hatena.ne.jp/sc_bakushu/ ローカルLLM自由帳 (Local LLM Diary) https://sc-bakushu.hatenablog.com/ 前回の記事につづき、「LightChatAssistant 2x7B」に高いチャット性能をもたらした要素について調べています。 基本的には、1）ベースモデルとしての「ChatNTQ JA 7B」の日本語性能の高さ、2) MoEマージで総パラメータ数が増えることによる全般的な性能向上、3) 小説生成モデル「Antler-7B」とのマージによるモデル特長の相互補完、の3点でかなりの部分が説明できそうです。 一方で、モデル作者のSdff-Ltbaさんはマージ前のモデルに対してChat Vectorという処理を施し、チャット能力を高めたと説明されています。よって、Chat Vectorがどの程度の性能… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fsc-bakushu.hatenablog.com%2Fentry%2F2024%2F04%2F12%2F205423" title="【LLM論文を読む】Chat Vector：LLMに新たな言語での指示追従とアラインメントを付与するシンプルなアプローチ - ローカルLLM自由帳 (Local LLM Diary)" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/sc_bakushu/20240411/20240411164406.png Hatena Blog https://hatena.blog 2024-04-12 20:54:23 rich https://sc-bakushu.hatenablog.com/entry/2024/04/12/205423 1.0 100%