hppint https://blog.hatena.ne.jp/hppint/ SB Intuitions TECH BLOG https://www.sbintuitions.co.jp/blog/ 概要 こんにちは、SB Intuitions株式会社インターンの塚越です。 先日、日本語・英語合わせて約4.4T tokensを学習した日本語ModernBERTというモデルを構築・公開しました。 公開したモデルがどんなモデル、どんな性能なのかについては日本語ModernBERTの開発: 開発と評価編 (1/3)を、開発過程で加えた工夫や分析については日本語ModernBERTの開発: 分析編 (2/3)をご覧ください。 さて、日本語自然言語処理をする上で、トークナイザや分かち書き器をどう扱うかは、多くの方が頭を悩ませたことがある話題だと思います。 本記事では、これらが日本語ModernBER… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwww.sbintuitions.co.jp%2Fblog%2Fentry%2F2025%2F05%2F26%2F115839" title="日本語ModernBERTの開発: トークナイザと性能の関係編 (3/3) - SB Intuitions TECH BLOG" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/h/hppint/20250513/20250513160257.png Hatena Blog https://hatena.blog 2025-05-26 11:58:39 rich https://www.sbintuitions.co.jp/blog/entry/2025/05/26/115839 1.0 100%