kitanokumo https://blog.hatena.ne.jp/kitanokumo/ studylog/北の雲 https://studylog.hateblo.jp/ nlp chainer 低火力ディープラーニングにつきまとう問題として第一にGPUのメモリ問題がある。 個人で用意できるレベルのハードではとにかく足りない。以下言語モデル構築の話。 wikipediaの1/50コーパスをneologdで分かち書きしたときに語彙は25万ぐらい。 これを全部語彙として採用してChainerのEmbedに投げると6G~8GクラスのGPUだとメモリ不足で学習できない。なので低頻度語として一部を切り捨てる必要がある。 仮に10万を語彙として採用し、それ以外の15万は低頻度として切り捨ててそれらを「低頻度単語()」としてEmbedに専用のIDを一つ付与して学習すると、文出力の時にこうなる。 これ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fstudylog.hateblo.jp%2Fentry%2F2016%2F09%2F26%2F162028" title="NN言語モデルの低頻度単語とメモリ問題 - studylog/北の雲" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2016-09-26 16:20:28 rich https://studylog.hateblo.jp/entry/2016/09/26/162028 1.0 100%