Hironsan https://blog.hatena.ne.jp/Hironsan/ Ahogrammer https://hironsan.hatenablog.com/ transformers 先日、Transformersの事前学習済みモデルをダウンロードして保存する必要があったのでその方法を紹介。 結論として、モデルのダウンロードはおなじみのfrom_pretrainedで行い、保存はsave_pretrainedで行う。 ちなみに、これをしたかった理由は、モデルをS3にアップロードしてSageMakerのエンドポイントにデプロイしたかったため。 from transformers import AutoTokenizer, AutoModelForQuestionAnswering # Download a model and a tokenizer. tokenizer = … 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fhironsan.hatenablog.com%2Fentry%2Fhow-to-download-transformers-pretrained-models" title="Transformersの事前学習済みモデルをダウンロードして保存する - Ahogrammer" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2020-06-17 06:50:41 rich https://hironsan.hatenablog.com/entry/how-to-download-transformers-pretrained-models 1.0 100%