inarizuuuushi https://blog.hatena.ne.jp/inarizuuuushi/ Sabrou-mal サブロウ丸 https://inarizuuuushi.hatenablog.com/ Transformer自作 本稿では翻訳モデルのプロトタイプとして簡易化したTransformerを作成します。英語→日本語の翻訳モデルを下図の構成で作成します。 上図は"dog is cute"をencoder、"犬はかわいい。"をdecoderに入力して"犬はかわいい。"を推論させるように学習させている様子です。 翻訳元の英語はそのまま入力し、日本語は一つのtokenをスライドさせた文章を予測させます。（つまり文末を除いた文章を入力して、文頭を除いた文章を予測させる。） 次回以降でAttentionをMasked Multi-head attentionにしたり、positional encodingを追加したりしま… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Finarizuuuushi.hatenablog.com%2Fentry%2F2022%2F06%2F16%2F090000" title="Transformerによる翻訳システム自作; part2 プロトタイプの作成（シンプルなTransformer） - Sabrou-mal サブロウ丸" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/i/inarizuuuushi/20220530/20220530221209.png Hatena Blog https://hatena.blog 2022-06-16 09:00:00 rich https://inarizuuuushi.hatenablog.com/entry/2022/06/16/090000 1.0 100%