Vengineer https://blog.hatena.ne.jp/Vengineer/ Vengineerの妄想 https://vengineer.hatenablog.com/ はじめに 昨日のGroqp祭りに便乗したことにより、昨日のブログのアクセスが1,554と通常の2～3倍になりました。 vengineer.hatenablog.com また、Google からの流入が増えているので、Groq で Google検索してみたら、なんと、2番目に出るようになっていました。当分、変らないでしょうね。 今日は、groq.com の chat で動いている LIama 2 70B は、どのぐらいのお値段で動くかを妄想したいと思います。 LIama 2 70B は、568個の chip で動いている。 ここに、下記のように書いてあります。説明のために引用します。 1. I … 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fvengineer.hatenablog.com%2Fentry%2F2024%2F02%2F21%2F173000" title="Groq で LIama 2 70B を推論システムとして使った時の規模とお値段を妄想する - Vengineerの妄想" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/V/Vengineer/20240221/20240221170904.png Hatena Blog https://hatena.blog 2024-02-21 17:30:00 rich https://vengineer.hatenablog.com/entry/2024/02/21/173000 1.0 100%