bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ Colab BERT Python 自然言語処理 ModernBERTをNERのタスクについてチャレンジしていました。最終的にまとめずに放置していたので整理しました。題材は、stockmark/ner-wikipedia-datasetを利用します。 こちらを参考にします。 www.sbintuitions.co.jp モデルは、こちらのものをありがたく利用します。 huggingface.co 基本的には、トークナイザーをSudachi仕様にするという流れです。SentencePieceより細かく形態素解析をすることになるので、計算コストは上昇します。しかし、NERの場合は得たい固有表現を取れないと面白くありません。そこで、参考文献を基にト… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2025%2F08%2F03%2F173919" title="日本語ModernBERTをNERで利用してみる。トークナイザーを整理した。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-08-03 17:39:19 rich https://bwgift.hatenadiary.jp/entry/2025/08/03/173919 1.0 100%