miu4930 https://blog.hatena.ne.jp/miu4930/ Vポイントマーケティング｜TECH LABの Tech Blog https://techblog.vpoint.co.jp/ BERT こんにちは、CCCMKホールディングス技術開発の三浦です。 冬になるといつも手にしもやけが出来るのですが、気候が温かくなってそのしもやけが良くなってくると、もうすぐ春なんだなぁと感じます。 さて事前学習済みのBERTを別のタスク用のデータセットで再学習(Fine-Tuning)することで、それほど大きなデータセットを用意しなくても高い精度のモデルを作ることが出来るのですが、最近このFine-Tuningが他の学習方法、具体的には深層学習でない方法と比較してもあまり精度が高くならないケースに遭遇しました。事前学習済みのモデルを使うことで計算負荷が抑えられるとはいえ、深層学習の処理はそれ以外の機械… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.vpoint.co.jp%2Fentry%2F2023%2F03%2F07%2F104156" title="BERTのFine-Tuningを安定させる方法を試してみました！ - Vポイントマーケティング｜TECH LABの Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/m/miu4930/20230306/20230306194315.jpg Hatena Blog https://hatena.blog 2023-03-07 10:41:56 rich https://techblog.vpoint.co.jp/entry/2023/03/07/104156 1.0 100%