midnightseminar https://blog.hatena.ne.jp/midnightseminar/ StatsBeginner: 初学者の統計学習ノート https://blog.statsbeginner.net/ 研究でTransformerを使いたいので（去年ちょっと実際に使いましたが）、基本から勉強しようと思い、先日自分でTransformerに英日翻訳を学習させてみたのですが（エントリ1・エントリ2）、GPUを複数枚並列で動かせる環境を手に入れたので、コーパスとモデルを少し大きくしてみました。 対訳ペア数は、128万から175万へ（Wikimatrixという新しいコーパスを追加）。 Transformerのブロック数を、両側3層から両側6層へ。 ただしByte-Pair Encodingの語彙数を、3万から2万に減らしました。なぜか新しい環境では3万でやるとクラッシュして動かなかったためです。なお… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.statsbeginner.net%2Fentry%2F2023%2F09%2F18%2F121340" title="英日翻訳Transformerを少しだけ大きくしてみた結果 - StatsBeginner: 初学者の統計学習ノート" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/m/midnightseminar/20230918/20230918120138.png Hatena Blog https://hatena.blog 2023-09-18 12:13:40 rich https://blog.statsbeginner.net/entry/2023/09/18/121340 1.0 100%