yama_flush_winter https://blog.hatena.ne.jp/yama_flush_winter/ SB Intuitions TECH BLOG https://www.sbintuitions.co.jp/blog/ Evaluation LLM こんにちは。 SB Intuitions で LLM の評価を担当している 岡 照晃、柴田 知秀 です。 本記事では我々が構築・公開した日本語のベンチマーク『JamC-QA（Japanese Multiple Choice QA, ジャムシーキューエー）』[岡+, 25]を前後編に分けて紹介しています。 前編 では JamC-QA 構築の背景、構築方法やどういった問題が含まれるのか紹介しました。 後編では JamC-QA を使った事前学習モデルの性能比較評価とその結果の考察を行なっていきます。 事前学習モデルの評価方法はこちらのブログ記事で詳しく紹介していますので併せてご覧ください。 性能評価… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwww.sbintuitions.co.jp%2Fblog%2Fentry%2F2025%2F09%2F09%2F113132" title="『JamC-QA』: 日本の文化や風習に特化した質問応答ベンチマークの構築・公開（後編） - SB Intuitions TECH BLOG" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/y/yama_flush_winter/20250908/20250908121705.png Hatena Blog https://hatena.blog 2025-09-09 11:31:32 rich https://www.sbintuitions.co.jp/blog/entry/2025/09/09/113132 1.0 100%