inarizuuuushi https://blog.hatena.ne.jp/inarizuuuushi/ Sabrou-mal サブロウ丸 https://inarizuuuushi.hatenablog.com/ Transformer自作 本稿ではEncoderとDecoderをmulti-block化します。これでTransformerの基本的な構造は実装できたことになります。 Encoderでは、Attention → FeedForwardを一つのブロックとして、これを複数個積み上げます。このブロックでは入力と出力の次元は同じなので、ブロックの境目で特に処理が必要になることはありません。 DecoderではAttention → Attention → FeedForwardをブロックとしてこれを繰り返します。こちらもEncoderと同様にブロックの入力と出力の次元は変わらないので、特別な処理なくブロックを積み重ねることが… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Finarizuuuushi.hatenablog.com%2Fentry%2F2022%2F06%2F24%2F090000" title="Transformerによる翻訳システム自作; part5 multi layer block - Sabrou-mal サブロウ丸" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2022-06-24 09:00:00 rich https://inarizuuuushi.hatenablog.com/entry/2022/06/24/090000 1.0 100%