yuutookun https://blog.hatena.ne.jp/yuutookun/ Gunosy Tech Blog https://tech.gunosy.io/ こんにちは。 LLM事業部のUTです。 概要 promptfoo の紹介 起動 CI での評価 GitHub Action まとめ 概要 OpenAI による ChatGPT 登場の衝撃から1年ほど経ちましたが、 LLM を活用する企業はものすごく増えました。 OpenAI だけでなく、大手クラウドや Hugging Face などを通して各企業も提供しています。 遊びで使う分にはどの LLM を使うかは適当で良いかと思いますが、プロダクトとして提供する場合利用を想定しているシーンに対して、最適なモデルを選びたいと思うのは必然でしょう。 また LLM を利用してレスポンスを受けるに当たり、最も… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech.gunosy.io%2Fentry%2Fpromptfoo" title="LLMのプロンプトをCI/CDで評価する。promptfooを使って - Gunosy Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/y/yuutookun/20240112/20240112201505.png Hatena Blog https://hatena.blog 2024-01-16 09:30:00 rich https://tech.gunosy.io/entry/promptfoo 1.0 100%