masakuri777 https://blog.hatena.ne.jp/masakuri777/ SB Intuitions TECH BLOG https://www.sbintuitions.co.jp/blog/ Evaluationチームの 栗原 理聡 です。 本記事では、新たに公開する日本語マルチターン対話能力評価ベンチマーク「J-MultiChallenge」について、データ概要・構築フロー・様々なモデルでの性能評価と分析の結果をまとめます。 概要 1. 背景 1.1 MultiChallengeとは 2. J-MultiChallenge 2.1 Sarashina3 translateでの自動翻訳と人手品質チェック・修正 2.2 翻訳による不成立データのチェック・作り替え 2.3 外部知識を必要とする問題のチェック・ラベル付け 2.4 ジャッジ質問の過去ターン参照前提データのチェック・修正 2… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwww.sbintuitions.co.jp%2Fblog%2Fentry%2F2026%2F09%2F28%2F110000" title="J-MultiChallenge：日本語マルチターン対話能力評価ベンチマークの公開 - SB Intuitions TECH BLOG" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/m/masakuri777/20260812/20260812162622.png Hatena Blog https://hatena.blog 2026-09-28 11:00:00 rich https://www.sbintuitions.co.jp/blog/entry/2026/09/28/110000 1.0 100%