ThisIsOne https://blog.hatena.ne.jp/ThisIsOne/ Shikata Ga Nai https://cysec148.hatenablog.com/ LLM Hello there, ('ω')ノ ～最終的に判断するのは「人」だからこそ、設計が重要～ AIの回答が完璧でも、「使えなければ意味がない」。 RAGでは、検索精度や生成品質に加えて、「現場の目線で有効だったか？」を人間がチェックすることが重要です。 ✅ なぜ人手評価が必要なのか？ 理由 内容 自動評価だけでは判断できない 正解の形がひとつではない自然言語では、正否の自動判定が難しい 文脈理解が必要な場合が多い 過去の会話・職種・制度の背景など、人間の読解力が必要 曖昧な表現の判断 「わかりやすい」「適切なトーン」など主観的評価が必要 改善ポイントの発見 なぜミスをしたのかを具体的に言語化で… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fcysec148.hatenablog.com%2Fentry%2F2025%2F07%2F14%2F184244" title="第75回：人手による評価とその工夫点 - Shikata Ga Nai" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-07-14 18:42:44 rich https://cysec148.hatenablog.com/entry/2025/07/14/184244 1.0 100%