satojkovic https://blog.hatena.ne.jp/satojkovic/ stMind https://stmind.hatenablog.com/ 2024年の最初のエントリーはGPTです。 GPTモデルを自作して、OpenAIが公開している学習済みのパラメータをロード、テキスト生成までの一連の処理を実行します。 モデル 正確にはGPT2のTransformerブロックを自作します。 アーキテクチャの大部分はGPTと同じですが、以下の変更（pre-norm）が行われています。 LayerNormはAttentionとMLPの前で適用 追加のLayerNormをTransformerブロックの後で適用 Transformerブロックを除くText & Position埋め込みとNext Token生成は、 picoGPTのコードを利用します… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fstmind.hatenablog.com%2Fentry%2F2024%2F01%2F08%2F162734" title="GPTを自作して学習済みパラメータでテキスト生成 - stMind" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/satojkovic/20240108/20240108142513.png Hatena Blog https://hatena.blog 2024-01-08 16:27:34 rich https://stmind.hatenablog.com/entry/2024/01/08/162734 1.0 100%