ayousanz https://blog.hatena.ne.jp/ayousanz/ yousanのメモ https://ayousanz.hatenadiary.jp/ AI 初めに 環境 準備 cloneとライブラリのインストール 必要なフォルダの作成 config ファイルを作成 LLMのマージ オプション モデルをhuggingfaceに公開 モデルカードの作成 モデルのアップロード 初めに 自分でもMoEが作れるみたいなので、実際にやってみます mergekitを使ってMoEモデルを作ってみました。・rinna/youri-7b-instruction・rinna/youri-7b-chatchatモデルとinstructionモデルを繋げる効果がどのくらいあるかわからないけれど、動くところまで確認できた。時間があればJGLUE試してみる。https://t… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fayousanz.hatenadiary.jp%2Fentry%2F2024%2F01%2F15%2F002802" title="Mergekitでcalm2-7b-chatとyouri-7b-instructionで日本語モデルMoEを作成する - yousanのメモ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2024-01-15 00:28:02 rich https://ayousanz.hatenadiary.jp/entry/2024/01/15/002802 1.0 100%