acro-sasaki https://blog.hatena.ne.jp/acro-sasaki/ Taste of Tech Topics https://acro-engineer.hatenablog.com/ NLP GPT 皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。Acroquestでは検索とAzure OpenAI Serviceを組み合わせたQAシステムを提供中です。 こういったシステムを運用していく中で課題になるのが精度評価と改善の仕組みです。今年7月の記事でPrompt Flowを使った回答評価を検証してみましたが、今回はOSSのragasというツールを使って検証してみます。 ragasとは ragasはRAG（Retri… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Facro-engineer.hatenablog.com%2Fentry%2F2023%2F11%2F29%2F000000" title="ragasを使ってRAGシステムを定量的に評価する - Taste of Tech Topics" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://user-images.githubusercontent.com/557338/268251349-b6c0db98-a0a9-4414-9ad3-372d8ceab4c7.png Hatena Blog https://hatena.blog 2023-11-29 00:00:00 rich https://acro-engineer.hatenablog.com/entry/2023/11/29/000000 1.0 100%