inarizuuuushi https://blog.hatena.ne.jp/inarizuuuushi/ Sabrou-mal サブロウ丸 https://inarizuuuushi.hatenablog.com/ Transformer自作 Transformer構造(の一部)を用いた深層学習アーキテクチャは自然言語処理におけるデファクトスタンダードになっています。 そこで、その心は何たるかを知るためにTransformerによる日英翻訳モデル作成をできるだけ自作することを目指します。 以降複数の記事に分けて作成していきます。目標は 深層学習の主要なコンポーネントである変換層、活性化関数、オプティマイザーの準伝播と誤差逆伝播を実装し、その計算原理や計算コストを明らかにする にします。言い換えると、自作を通して曖昧な箇所をなくしていこう、という心持ちです。 また、深層学習で自作といえば次の本を思い浮かべる人も多いのではないでしょうか… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Finarizuuuushi.hatenablog.com%2Fentry%2F2022%2F06%2F10%2F090000" title="Transformerによる翻訳システム自作 - Sabrou-mal サブロウ丸" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://hbb.afl.rakuten.co.jp/hgb/16fffe74.28aed498.16fffe75.522f85e1/?me_id=1213310&item_id=18172266&pc=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fbook%2Fcabinet%2F7584%2F9784873117584.jpg%3F_ex%3D128x128&s=128x128&t=picttext Hatena Blog https://hatena.blog 2022-06-10 09:00:00 rich https://inarizuuuushi.hatenablog.com/entry/2022/06/10/090000 1.0 100%