touch-sp https://blog.hatena.ne.jp/touch-sp/ パソコン関連もろもろ https://touch-sp.hatenablog.com/ 言語モデル Gradio はじめに前回「CyberAgentLM3-22B-Chat」や「Llama-3-ELYZA-JP-8B」や「gemma-2-9b-it」で同じことをしました。 touch-sp.hatenablog.com touch-sp.hatenablog.com touch-sp.hatenablog.com 今回は「llama-3-youko-8b-instruct」です。モデルの量子化今回は量子化を行いませんでした。float16でモデルを読み込みました。Gradioで実行 import gradio as gr from transformers import AutoModelForCausa… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftouch-sp.hatenablog.com%2Fentry%2F2024%2F07%2F27%2F205940" title="rinnaが公開している「llama-3-youko-8b-instruct」をGradioを使ってローカルで使用する - パソコン関連もろもろ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn.image.st-hatena.com/image/square/adad63b72f1d6545b2ba2538c3fc2923b2fd5989/backend=imagemagick;height=80;version=1;width=80/https%3A%2F%2Fcdn.blog.st-hatena.com%2Fimages%2Fcircle%2Fofficial-circle-icon%2Fcomputers.gif Hatena Blog https://hatena.blog 2024-07-27 20:59:40 rich https://touch-sp.hatenablog.com/entry/2024/07/27/205940 1.0 100%