bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ Modern-BERT-Jaにパラメータ違いが公開されました。大きく差はでないんじゃないかと予測しつつやってみなきゃわからないということで挑戦してみました。30Mと310Mで学習させてみました。F1-Scoreは310Mが0.881, 30Mが0.873と0.008ポイント差。予測結果を見ると、各予測ラベルのスコアの差でも310Mが当然高くでています。語句によっては大きな差になっているものも散見されました。小型のものが利用できるかは、NERの目的によるところとなると思いますが、使いやすい場面もあるのではと思っています。そもそも、実際に利用する場合は教師データも異なります。日本語最長のトークンを… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2025%2F02%2F28%2F215706" title="ModernBERT-Ja-310m/30mとColabでNERを試してみる。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-02-28 21:57:06 rich https://bwgift.hatenadiary.jp/entry/2025/02/28/215706 1.0 100%