go5paopao https://blog.hatena.ne.jp/go5paopao/ ABEJA Tech Blog https://tech-blog.abeja.asia/ 1. はじめに 2. 先行研究からの学び 3. 前提 4. アーキテクチャ変更候補 活性化関数の変更 (SwishGLU) Transformer layerの並列化 biasパラメータ除去 Input-Output Embeddingの共有 (Weight tying) 5. 小規模モデルでの実験 実験設定 Transformer layerの並列化 SwishGLUの適用 Bias parameterの除去 bias削除の実験 最初もしくは最後のbiasだけを残す Input-Output Embeddingの共有 (Weight tying) 6. 中規模モデルでの実験 実験設定 モデル… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech-blog.abeja.asia%2Fentry%2Fabeja-gpt-model-202208" title="ABEJA GPTモデルにおけるアーキテクチャの工夫 - ABEJA Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/h/hiroyuki_abeja/20220809/20220809153955.png Hatena Blog https://hatena.blog 2022-08-10 10:06:14 rich https://tech-blog.abeja.asia/entry/abeja-gpt-model-202208 1.0 100%