nikkie-ftnext https://blog.hatena.ne.jp/nikkie-ftnext/ nikkie-ftnextの日記 https://nikkie-ftnext.hatenablog.com/ NLP(自然言語処理) はじめに 「彼と出会った瞬間、私の人生が変わったの。（略） 世界が輝きだしたの」 （『四月は君の嘘』より） 四月は君の嘘 / alu.jp えぬえるぴーや1のnikkieです。 いやー、BERTは自然言語処理の世界を変えてしまいましたねー！ 「そんなBERTをもっと知りたい！」と、この週末『Transformerによる自然言語処理』の写経に取り組みました2。 目次 はじめに 目次 『Transformerによる自然言語処理』 3章 RoBERTaモデルのゼロからの事前訓練 RoBERTa事前訓練を写経 動作環境 RoBERTa事前訓練の流れ fill-maskタスクで事前訓練の確認 「考えなが… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fnikkie-ftnext.hatenablog.com%2Fentry%2Fpretrain-bert-practice" title="BERTの事前訓練をColabで動かしてみました（『Transformerによる自然言語処理』3章写経） - nikkie-ftnextの日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://m.media-amazon.com/images/I/41SmuREMw8L._SL500_.jpg Hatena Blog https://hatena.blog 2022-04-24 23:49:40 rich https://nikkie-ftnext.hatenablog.com/entry/pretrain-bert-practice 1.0 100%