y-kamiya https://blog.hatena.ne.jp/y-kamiya/ MEMOcho- https://jsapachehtml.hatenablog.com/ 以前copy taskまで実装したものについてまとめた transformerを理解するために実装 - MEMOcho- 今回はそれを実際のデータで学習するところを実装したのでメモ 目次 sentenceのtoken化 長過ぎる文を削除 fp16対応 colabでの学習 評価指標 実行結果 seq2seq tutorial IWSLT2015 kftt sentenceのtoken化 自然言語の文をニューラルネットワークで扱うためにはまず各ワードをid化するなどの処理が必要がある。 しかし、ただ単にワード毎に数字をふるだけではtoken数が膨大になってしまい以下のような問題がある メモリに乗り… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fjsapachehtml.hatenablog.com%2Fentry%2F2020%2F05%2F04%2F200757" title="transformerを理解するため実装してみる(実データで学習) - MEMOcho-" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/y/y-kamiya/20200502/20200502173114.png Hatena Blog https://hatena.blog 2020-05-04 20:07:57 rich https://jsapachehtml.hatenablog.com/entry/2020/05/04/200757 1.0 100%