ABA https://blog.hatena.ne.jp/ABA/ ABAの日誌 https://aba.hatenablog.com/ EsoLang-Bench は、LLM がコーディング能力で見せる高い成績は訓練データの暗記に支えられているだけで、真の推論能力ではないのではないかという疑いを検証するベンチマークだ。訓練データが Python の 1,000〜100,000 分の 1 しか存在しない Befunge や Brainfuck のような、書くのも読むのも困難な難解プログラミング言語 (esoteric language, esolang) でコードを書かせることで、暗記では対処できない状況を作り出している。80 問を 4 段階の難度に分け、5 つの esolang でコードを生成、正誤を判定する。 結果、Pyth… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Faba.hatenablog.com%2Fentry%2F2026%2F03%2F23%2F194652" title="LLM は本当に esolang が書けないのか - ABAの日誌" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2026-03-23 19:46:52 rich https://aba.hatenablog.com/entry/2026/03/23/194652 1.0 100%