kentakemoto https://blog.hatena.ne.jp/kentakemoto/ CADDi Tech Blog https://caddi.tech/ AI / ML 機械学習エンジニアの竹本です。普段は、製造業の膨大なドキュメントを対象にしたRetrieval-Augmented Generation（RAG）の検証に取り組んでおり、その一環として社内検証向けのベンチマークデータセットを作成しました。同じ課題を抱えるエンジニアの方の参考になればと思い、本記事を書きました。 TL;DR 作りたい。でも動き出せなかった 当時の思い込みと、今の自分からの答え合わせ 1. LLM-as-a-Judgeに頼るしかないと思っていた 当時の状況 データセットを作ってみると 2. データセットを作れるのか？ そしてCSやユーザーに頼っていいのか？ 当時の状況 CSに相談し… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fcaddi.tech%2F2026%2F05%2F14%2F110000" title="RAGの評価データセットをユーザーと一緒に作って、思った以上に良かった - CADDi Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2026-05-14 11:00:00 rich https://caddi.tech/2026/05/14/110000 1.0 100%