thr3a https://blog.hatena.ne.jp/thr3a/ 動かざることバグの如し https://blog.turai.work/ llm 環境 FlexEval v0.17.1 JamC-QAベンチマークとは JamC-QAは、SB Intuitionsが開発した、日本固有の知識に特化した多肢選択式（4択）の質問応答ベンチマークだ。英語ベンチマークの翻訳ではなく、 日本の文化や風習に特化したベンチマークってのが最大の特徴である。 主な仕様は以下のとおり。 出題形式は多肢選択式（4択） 文化・風習・風土・地理・日本史・行政・法律・医療の8領域から出題 既存ベンチマークの翻訳版ではなく、全問題が人手でゼロから作成 問題数は約2300問 「墓前に供えてはいけない花は？」のような、日本で暮らしていないと知り得ないローカルな知識を問う 高… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.turai.work%2Fentry%2F20260430%2F1777476127" title="Gemma4の日本語文化理解力をJamC-QAで測ったら普通に凄かった - 動かざることバグの如し" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2026-04-30 00:22:07 rich https://blog.turai.work/entry/20260430/1777476127 1.0 100%