bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ LLM BERT Colaboratory 自然言語処理 日本語ModernBERTで10epochsくらい学習させて止まってたので、50epochsまで学習させたモデルを作成しました。Huggingfaceにモデルをアップロードにもチャレンジしてみました。Colab T4環境です。回しっぱなしで、お仕事終わってふとみると早々にlossが下がっていました。Learing rateを落としてもよかったかも。 NER用のモデルは変わらずstockmarksさんのwikipediaによるデータセットを用います。詳しくは、過去記事を見てください。 F1 ScoreではEpoch16時の0.870399が最高ですが、Lossが下がったところから考えれば、0.8… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2025%2F02%2F19%2F221704" title="最後に日本語ModernBERTでColabでNERしてhuggingfaceにuploadしてみる。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-02-19 22:17:04 rich https://bwgift.hatenadiary.jp/entry/2025/02/19/221704 1.0 100%