owiewowe https://blog.hatena.ne.jp/owiewowe/ 19日に更新してた https://owiewowe.hatenablog.com/ win11 home、i7、32G、GTX1060 6G で動いたで終わっているのでお目汚しですが、ChatRWKV です。やり方は以下のサイト様そのままで pytorch、cuda あたりの準備は端折ります。*1qiita.comChatRWKV をgithub.comgit で落としてきたところに、使うモデルデータ RWKV-4-Pile-3B-Instruct-test1-20230124.pthhuggingface.coを v2 フォルダに入れて v2 フォルダの chat.py の args.strategy を args.strategy = 'cuda fp16i8' に、if… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fowiewowe.hatenablog.com%2Fentry%2F2023%2F05%2F19%2F000000_4" title="GTX1060 6G にて ChatRWKV (RWKV-4-Pile-3B-Instruct-test1-20230124.pth) を試してみた - 19日に更新してた" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/o/owiewowe/20230506/20230506134126.png Hatena Blog https://hatena.blog 2023-05-19 00:00:00 rich https://owiewowe.hatenablog.com/entry/2023/05/19/000000_4 1.0 100%