bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ LLM BERT Colaboratory Python 自然言語処理 NER（固有名詞抽出）に再び挑戦します。ruri-v3-pt-310m/ruri-v3-310mをStockmark作WikipediaのNER向けdatasetを使って学習させてみます。このモデルでは分かち書きが不要です。しかしながら、学習済みSentencePieceのtokenizerによるトークンとNERの文字単位ラベルとずれると精度が少し落ちてしまいます。SentencePieceの利用は、NERのタスクに向かないのでしょうけれども、私ではこのサイズ感の事前学習モデルを構築するのは厳しい。それであきらめても面白くないので、拙い工夫をチャレンジしてみます。 まずは、NERの文字ラベルと… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2025%2F04%2F27%2F210526" title="ruri-v3-pt-310m/ruri-v3-310mでNERをやってみる - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-04-27 21:05:26 rich https://bwgift.hatenadiary.jp/entry/2025/04/27/210526 1.0 100%