nikkie-ftnext https://blog.hatena.ne.jp/nikkie-ftnext/ nikkie-ftnextの日記 https://nikkie-ftnext.hatenablog.com/ NLP(自然言語処理) はじめに 今日も素振りにとりくーみこ！1 nikkieです！ 先日、『Transformerによる自然言語処理』の中のRoBERTaの事前訓練を写経したという記事を書きました： "考えながら写経"していて、いくつか掘り下げたい事項が出てきています。 今回はデータの読み込みにフォーカスします。 目次 はじめに 目次 今回解消する積み残し 参考例：examplesのlanguage-modeling/run_mlm.py 動作環境 datasetsライブラリで書き換え 書き換え解説 書き換えて3章 書き換えたことの検証 終わりに 今回解消する積み残し datasetは、🤗的にはdatasetsを使… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fnikkie-ftnext.hatenablog.com%2Fentry%2Freplace-linebylinetextdataset-datasets-library" title="『Transformerによる自然言語処理』のRoBERTa事前訓練のコードを、データをhuggingface/datasetsで読み込むように書き直す - nikkie-ftnextの日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://m.media-amazon.com/images/I/41SmuREMw8L._SL500_.jpg Hatena Blog https://hatena.blog 2022-05-06 15:33:37 rich https://nikkie-ftnext.hatenablog.com/entry/replace-linebylinetextdataset-datasets-library 1.0 100%