raishi12 https://blog.hatena.ne.jp/raishi12/ raishi12’s diary https://raishi12.hatenablog.com/ 書いてる理由 NLPやるぞー レビューがポジティブかネガティブかを判断する 参考 pytorchによる発展ディープラーニング 概要 IMDbという映画のレビューのテキスト(英語)を使って、テキストがポジティブかネガティブかを判定するためのモデルを作る。ためのデータの準備。 学習するのに必要な形式では入っていないので、学習できるように整形していく。 例えば、レビューには、とかの改行コードや!とか?などの記号が入っているので、これらを削除する前処理をする。 などなど。 ちなみに、前回まで日本語のデータで説明してたのにいきなり英語のデータになるのはすません。日本語のレビューデータ持って来ればいいんだ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fraishi12.hatenablog.com%2Fentry%2F2020%2F03%2F25%2F012134" title="Pytorchでtransformer(その0 IMBd datasetの準備) - raishi12’s diary" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2020-03-25 01:21:34 rich https://raishi12.hatenablog.com/entry/2020/03/25/012134 1.0 100%