y_nakajo https://blog.hatena.ne.jp/y_nakajo/ アルゴリズムとかオーダーとか https://y-nakajo.hatenablog.com/ 今回は深層学習の自然言語モデルである、BERTについて色々触っていたのでその記録を簡単にまとめたいと思う。 ひょんなことから、BERTの事前学習からやらなければならなかったので、実際に用いたライブラリや環境、学習に必要な時間などについて書いていく。 BERTのライブラリ 学習環境 AMI Instance Type inf1.2xlarge p2系 p3.2xlarge p3.8xlarge g4dn.8xlarge g4dn.12xlarge 今回学んだこと BERTのライブラリ BERTのライブラリとしては、huggingfaceのTransformersを利用。 huggingface.… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fy-nakajo.hatenablog.com%2Fentry%2F2022%2F03%2F13%2F182459" title="BERTのpre-trainingをやってみた　〜雑記〜 - アルゴリズムとかオーダーとか" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2022-03-13 18:24:59 rich https://y-nakajo.hatenablog.com/entry/2022/03/13/182459 1.0 100%