kaeru_nantoka_py https://blog.hatena.ne.jp/kaeru_nantoka_py/ かえるのプログラミングブログ https://kaeru-nantoka.hatenablog.com/ BERT こんにちはかえるるるです。 【この記事は自然言語処理アドベントカレンダー2019の 13日目の記事です。(https://qiita.com/advent-calendar/2019/nlp)】 2018年に BERT が出現して以来、今日まで BERT, XLNet, RoBERTa, ALBERT, T5 と Transformer ベースのモデルが精度の面で話題になりました。 その精度を担保しているポイントになっているのは事前学習という手法で、そこで学習したパラメータを使用すると汎用的なタスクにおいて高い精度をだせるようになっていることが知られています。 そこで今回は、BERT で使用さ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fkaeru-nantoka.hatenablog.com%2Fentry%2F2019%2F12%2F13%2F193154" title=" BERT の事前学習タスク NSP と SOP の精度差を日本語の公開コーパスを用いて簡単に検証した。 - かえるのプログラミングブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2019-12-13 19:31:54 rich https://kaeru-nantoka.hatenablog.com/entry/2019/12/13/193154 1.0 100%