bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ LLM Colaboratory Python 自然言語処理 Sakana.AIより提案されたTAIDという学習手法を用いたモデルTinySwallow-1.5Bを試します。Colab T4環境で実施しました。VRAM占有率は1744MiB / 15360MiB でした。すでに多くの方が試していますが、このサイズを自分で動かさない手はありません。利用するならInstructバージョンということで、Instrucモデルを試してみました。 1.5Bですが、日本語に関しては性能が高いさすがの印象でした。このモデルでは回答も饒舌です。参照テキストを持たせるとしっかり参照した回答が得られたのでRAG用途でも利用しやすそうです。Langchainでの要約はハルシネー… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2025%2F02%2F01%2F093813" title="SakanaAI/TinySwallow-1.5B-Instruct-GGUFをollamaとcolabでためしてみる。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-02-01 09:38:13 rich https://bwgift.hatenadiary.jp/entry/2025/02/01/093813 1.0 100%