swx-murakami https://blog.hatena.ne.jp/swx-murakami/ サーバーワークスエンジニアブログ https://blog.serverworks.co.jp/ Amazon Bedrock 機械学習 サーバーワークスの村上です。 お客様の生成AI活用支援では、RAGの運用を支援する機会も多いです。 このブログでは、RAGのオフライン評価についてご紹介します。 なぜ評価をするのか オフライン評価とは シーン設定 RAGの導入は済んでいる ユーザーの使用履歴を保存している 結論 AWSのRAG評価機能を使う場合 やること①評価データセットを作成する やること②RAG評価ジョブを作成する やること③精度が悪いケースを特定する やること④以前のバージョンとメトリクスを比較する Ragasを使う場合 やること①Response Relevancyの算出 やること②Faithfulnessの算出 やる… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.serverworks.co.jp%2Frag-offline-eval" title="RAGのオフライン評価ファーストステップ - サーバーワークスエンジニアブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/swx-murakami/20250319/20250319065203.png Hatena Blog https://hatena.blog 2025-03-19 19:16:51 rich https://blog.serverworks.co.jp/rag-offline-eval 1.0 100%