bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ LLM Colaboratory BERT Python 自然言語処理 KoichiYasuokaさんからHatena Blogにコメントを頂きました。tokenizerに工夫をしては？というものでした。「日本の首相」が「日本の 首相」に分かち書きされています。これでは「日本」を取り出せない。つまり、 今まで：日本の 首相 改善 ：日本 の 首相 としたい。納得です。Yasuokaさん、ありがとうございます。 サンプルコードも付けていただいたので、さっそく試してみました。F1-scoreは0.929362と、前回の0.870399より高くなっています。期待通りの結果となりました。このtokenizerの仕様はもったいないですね。今回、利用したTokenizer改だ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2025%2F02%2F20%2F220323" title="Tokenizerを見直してmodernBERTでNERをColabでためしてみる。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-02-20 22:03:23 rich https://bwgift.hatenadiary.jp/entry/2025/02/20/220323 1.0 100%