espio999 https://blog.hatena.ne.jp/espio999/ Technically Impossible https://impsbl.hatenablog.jp/ AI IT Windows いわゆる「AI」をPCで運用するには、GPUとVRAMをはじめとする潤沢な計算リソースが求められるところ、推論を実行するだけならばRaspberry Piでも対応できる*1。それが実用的であるかはおいて、普及機レベルのPCでも対応可能だ。"ggerganov/ggml"*2, "gpt-2"は、RAM搭載量が8GBでも実行可能とし、 RAMを16GB搭載していれば、"gpt-j"も実行可能だ。この投稿では、その手順と実行パフォーマンスを紹介する。テスト環境にはMicrosoft Surface Pro 4と自作のデスクトップPCを用いている。それぞれのスペックに加え、"gpt-2"、"gpt-… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fimpsbl.hatenablog.jp%2Fentry%2FggmlOnWindowsPCwith8GB-RAM" title="GPU無し、コンテナもPythonも使わない、RAM=8GBのWindows PCでGPT - ggml編 - Technically Impossible" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/e/espio999/20230913/20230913221139.png Hatena Blog https://hatena.blog 2023-09-15 00:00:00 rich https://impsbl.hatenablog.jp/entry/ggmlOnWindowsPCwith8GB-RAM 1.0 100%