EngineerNoi https://blog.hatena.ne.jp/EngineerNoi/ ITエンジニア ノイのブログ https://engineernoi.hatenablog.com/ こんにちは！ノイです。 今日は自然言語処理で注目されているtransformerについてです。 Transformerは自然言語処理の核心部分であり、従来のNPLモデルの性能を大幅に上回りました。学習スピードが速いのが特徴です。 RNNやLSTM、CNNがなく、再帰が使われていません。再帰がattentionに置き換えられています。 入力 Transformerのエンコード側attentionサブレイヤーとフィードフォワードネットワークサブレイヤーを通過 出力 Transformerのデコード側2つのattentionサブレイヤーとフィードフォワードネットワークサブレイヤーを通過 YouTub… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fengineernoi.hatenablog.com%2Fentry%2F2022%2F12%2F11%2F134350" title="transformerとは(基本) - ITエンジニア ノイのブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://www25.a8.net/svt/bgt?aid=210603843248&wid=001&eno=01&mid=s00000000018015044000&mc=1 Hatena Blog https://hatena.blog 2022-12-11 13:43:50 rich https://engineernoi.hatenablog.com/entry/2022/12/11/134350 1.0 100%