dcm_fujihira https://blog.hatena.ne.jp/dcm_fujihira/ ENGINEERING BLOG ドコモ開発者ブログ https://nttdocomo-developers.jp/ AI・機械学習 アドベントカレンダー2023 TL;DR RAGアプリを運用するにあたってLLMOpsの考え方が重要になり、Azure OpenAI ServiceのPrompt Flowの活用を開始した。 RAGアプリの精度を担保するため、Prompt Flowに搭載されている評価Flowの性能を検証した。 回答内容の正確性の評価性能を上げるため、評価Flowを自作した。 自己紹介 NTTドコモ データプラットフォーム部（以下DP部）藤平です。 NTTドコモでは様々なサービスで機械学習を取り入れることでサービス価値の向上を目指しています。 データプラットフォーム部（以下DP部）ではこうした機械学習の適用を含め、全社におけるデータ活用をミ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fnttdocomo-developers.jp%2Fentry%2F20231211_1" title="Prompt Flowで評価Flowを自作してRAGのイケてるLLMOpsを実現してみた - ENGINEERING BLOG ドコモ開発者ブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/d/dcm_fujihira/20231204/20231204101112.png Hatena Blog https://hatena.blog 2023-12-11 09:00:00 rich https://nttdocomo-developers.jp/entry/20231211_1 1.0 100%