peisuke726 https://blog.hatena.ne.jp/peisuke726/ ABEJA Tech Blog https://tech-blog.abeja.asia/ はじめに μP（Maximal Update Parametrization）とは μPが解決する根本的な問題 なぜハイパーパラメータ転移が困難なのか：SPの根本問題 μPの仕組み 順伝播における「初期状態」の安定化 学習を支配する「パラメータ更新」のスケーリング ハイパーパラメータの計算例 μPの実装 Qwen2.5で実験 まとめ We Are Hiring! はじめに こんにちは。Labsチームの藤本です。ABEJA Qwen先生にタイトルを作ってもらったら割と強いタイトルになってしまいました。 大規模言語モデル（LLM）の学習を始め、Deep Learningにおいては最適なハイパーパラ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech-blog.abeja.asia%2Fentry%2Fmup-qwen2_5-202505" title="ハイパーパラメータ調整時間を激減、μPでLLMを爆速最適化する話 - ABEJA Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/h/hiroyuki_abeja/20250604/20250604092831.png Hatena Blog https://hatena.blog 2025-06-04 09:29:34 rich https://tech-blog.abeja.asia/entry/mup-qwen2_5-202505 1.0 100%