gotutiyan https://blog.hatena.ne.jp/gotutiyan/ gotutiyan’s blog https://gotutiyan.hatenablog.com/ 機械学習・深層学習 pytorch とある手法の再現実装をするために学んだので覚え書き． transformersのGPT-2を使って文のパープレキシティ（perplexity）を計算するための実装について書きます． フレームワークはPyTorch，python3.8.10で試しています． インストール 一文のパープレキシティを計算 トークナイズ パープレキシティの計算 複数文のパープレキシティを一度に計算（バッチ化） トークナイズ パープレキシティの計算 インストール # 仮想環境作るなら # python -m venv env # source env/bin/activate pip install torch tran… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fgotutiyan.hatenablog.com%2Fentry%2F2022%2F02%2F23%2F133414" title="GPT-2を使って文のパープレキシティを計算する - gotutiyan’s blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2022-02-23 13:34:14 rich https://gotutiyan.hatenablog.com/entry/2022/02/23/133414 1.0 100%