bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ AI LLM Python Colaboratory 自然言語処理 RWKVはTransformerとRNNの両方を盛り込んだ少し変わったモデル。地道に継続学習させたり新しいモデルを出し続けている。 半年前にも試していた。面白い試みなので、時々どうなったんだろうと気になる存在です。 bwgift.hatenadiary.jp RWKV-6-WORLDというモデルも出ていたので試してみました。 RWKV-x060-World-7B-v2.1-20240507-ctx4096をfp16i8のオプションでトライしました。ColabはT4のハイメモリ環境です。期待に反して予測に時間がかかる。プログラムの最適化の問題なのでしょうか・・・。日本語でもしっかり回答できていま… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2024%2F09%2F10%2F224653" title="rwkv-6-worldをColabで久しぶりに試してみる - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2024-09-10 22:46:53 rich https://bwgift.hatenadiary.jp/entry/2024/09/10/224653 1.0 100%