sh111h https://blog.hatena.ne.jp/sh111h/ エイエイレトリック https://eieito.hatenablog.com/ nlp ngram language model 4記事にわたり、複数の古典的ngram言語モデルについて試しに実装してきました。 torchtextのデータセットを使ってきたので、pytorchで簡単な言語モデルを作ってみます。 元となる論文があるわけではないですが、ネット上に多数実装が多数あるので、それらを参考にしました。 実装コードは gist を参照してください。一番下に埋め込んでます。 参考資料について軽くまとめます。 アーキテクチャ NgramModel( (embedding): Embedding(28782, 100) (linear1): Linear(in_features=200, out_features=128, … 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Feieito.hatenablog.com%2Fentry%2F2022%2F05%2F02%2F100000" title="ngram言語モデルについてまとめる (neural language model) - エイエイレトリック" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/sh111h/20220501/20220501171239.png Hatena Blog https://hatena.blog 2022-05-02 10:00:00 rich https://eieito.hatenablog.com/entry/2022/05/02/100000 1.0 100%