yasaka_uta https://blog.hatena.ne.jp/yasaka_uta/ RevComm Tech Blog https://tech.revcomm.co.jp/ 生成AI Research はじめに こんにちは。Research Engineerの髙瀬です。 最近のAI開発では、モデルが生成したテキストの品質を人間が手動でチェックする代わりに、別のLLM（大規模言語モデル）に採点させる「LLM-as-a-Judge」という手法が広く使われるようになっています。 以前の記事でも、LLM-as-a-JudgeをGPT-4とChatGPTで実際のタスクに適用し、「実務採用前に精度検証をすること」の重要性を紹介しました。 tech.revcomm.co.jp 今回はその一歩先の問いを扱います。 「評価者のLLMが、自分自身の回答を不当に高く評価してしまうのではないか？」 従来の人手評価と… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech.revcomm.co.jp%2Fmeasuring-self-bias-in-llm-as-a-judge" title="LLM-as-a-Judgeで「えこひいき」が起きる？―― セルフバイアスを統計的に測る手法の紹介 - RevComm Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/r/revcomm-tech/20260624/20260624125257.png Hatena Blog https://hatena.blog 2026-06-24 12:52:55 rich https://tech.revcomm.co.jp/measuring-self-bias-in-llm-as-a-judge 1.0 100%