kyorosukeke https://blog.hatena.ne.jp/kyorosukeke/ とある投資家の学習帳 https://kyorosukeke.hatenablog.com/ 1. 問題の所在：事前学習スケーリングの飽和と新たな軸 大規模言語モデルの性能向上を支えてきた「スケーリング則」——計算量とデータ量を増やすほど性能が向上するという経験則——は、事前学習の文脈においては明確な限界に近づきつつある。利用可能なテキストデータの実質的な枯渇、電力・半導体供給の制約がその主因である。 ただし「スケーリングの終焉」と解釈するのは早計であり、正確ではない。スケーリングの軸が移動した、という表現が適切である。具体的には、事前学習時の計算量から推論時の計算量（test-time compute）へと主戦場が移行した。 2. 事前学習が構築するもの：確率的地形としてのマップ 事… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fkyorosukeke.hatenablog.com%2Fentry%2F2026%2F05%2F21%2F160722" title="大規模言語モデルにおける推論時スケーリングの構造とデータ地形の非対称性 - とある投資家の学習帳" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2026-05-21 16:07:22 rich https://kyorosukeke.hatenablog.com/entry/2026/05/21/160722 1.0 100%