bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ BERT Colaboratory Python 自然言語処理 BERTが軽量モデルという位置づけになったのは、いつからだろうか。GPU性能の向上で軽量で分類や固有表現抽出を高速に低リソースで実施できるようになりました。今更・・・と思われるかもしれませんが、後で試したいことがあるので、素振りです。 ModernBERTの日本語モデルcl-nagoya/ruri-v3-pt-30mをライブドアニュースのデータセットを使って、分類タスクのファインチューニングを実施します。このモデルは、pretrained versionなので助かります。モデルの公開ありがとうございます。 さっそくColabの環境を整えます。Numpyのバージョンをダウングレードし、trans… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2025%2F07%2F01%2F203318" title="ModernBERT, cl-nagoya/ruri-v3-pt-30mを使ってColabで分類のファインチューニングを試みる。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-07-01 20:33:18 rich https://bwgift.hatenadiary.jp/entry/2025/07/01/203318 1.0 100%