kitanokumo https://blog.hatena.ne.jp/kitanokumo/ studylog/北の雲 https://studylog.hateblo.jp/ nlp mecab-ipadic-neologdを使って形態素解析すると語彙が増えすぎてしまうんじゃないかという心配があったので調べてみた。 (追記訂正：最初のデータは間違っていました。ごっそり消してwikipediaの詳細データだけ掲載します。すみません。) コーパスのテキスト量と増加率の関係を見たかったのでwikipediaの日本語版を項目数(記事数)で483分割して処理。コーパスNo.がおおよそのコーパステキスト量に該当します。コーパスNo.10はNo.1のおおよそ10倍のテキスト量。ただあくまで「項目数」での分割なので正確なデータでは無いです。 コーパスNo デフォルト NEolodg 増加率… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fstudylog.hateblo.jp%2Fentry%2F2015%2F10%2F11%2F183612" title="mecab-NEologdを使うと語彙はどのくらい増えるのか - studylog/北の雲" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2015-10-11 18:36:12 rich https://studylog.hateblo.jp/entry/2015/10/11/183612 1.0 100%