akihiro_tomita_legalscape https://blog.hatena.ne.jp/akihiro_tomita_legalscape/ Legalscapeテックブログ https://tech.legalscape.co.jp/ AI LLM こんにちは、LegalscapeでAIエンジニアを務めている富田です。 0. 問題意識 LLMを用いたプロダクト開発において、避けて通れないのが「評価（Evaluation）」です。 抽出タスクのように正解が一意に定まる（Ground Truthがある）タスクであれば、F1スコアなどの定量評価が可能ですが、LLMの本領である「生成」の結果をどう評価するべきでしょうか。 評価手法の一つに、プロンプトに評価基準を与えてLLM自身に判定させる、いわゆるLLM-as-a-Judgeがあります。特に、「既存モデルvs 新規モデル」というサイド・バイ・サイド（Side-by-Side）評価は、モデルを入れ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech.legalscape.co.jp%2Fentry%2F2026%2F02%2F04%2F093000" title="その評価、本当に「モデルの改善」ですか？ LLM-as-a-Judgeに潜む「Position Bias」の一例 - Legalscapeテックブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/a/akihiro_tomita_legalscape/20260129/20260129120904.png Hatena Blog https://hatena.blog 2026-02-04 09:30:00 rich https://tech.legalscape.co.jp/entry/2026/02/04/093000 1.0 100%