espio999 https://blog.hatena.ne.jp/espio999/ Technically Impossible https://impsbl.hatenablog.jp/ IT AI 2023年03月23日追記 この投稿での事例は、1トークンの推論に約１分を要する。とにかく動作させてみることを念頭にしている。swapを用いず、小規模なモデルをオン・メモリで動作させることで、実用に適うパフォーマンスで動作させることができる。そのような事例を、次の投稿で紹介している。関心があれば参照してほしい。 impsbl.hatenablog.jp 本文 いわゆる「AI」をPCで運用するには、GPUとVRAMをはじめとする潤沢な計算リソースが求められる。"ggerganov/ggml"*1を利用すると、GPT (Generative Pre-trained Transformer)のように… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fimpsbl.hatenablog.jp%2Fentry%2FGPTOnLinuxPCwith8GB-RAM" title="GPU無し、コンテナもPythonも使わない、RAM=8GBのLinux PCでGPT - Technically Impossible" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/e/espio999/20230319/20230319215046.png Hatena Blog https://hatena.blog 2023-03-22 00:00:00 rich https://impsbl.hatenablog.jp/entry/GPTOnLinuxPCwith8GB-RAM 1.0 100%