dkfj https://blog.hatena.ne.jp/dkfj/ プログラマでありたい https://blog.takuros.net/ 技術メモ 自然言語処理 KOF 2008 の発表資料 大量データの処理の実際の話。特に気になるのが、ドキュメントのベクトル化。確かにベクトルの方向で類似文章を見つけることは出来ると思うのですが、id:naoyaさん自身が言う通り辞書の単語数×ドキュメント数の計算をしないといけません。大量データを処理する場合、現実にはなかなか難しいと思っていました。 その辺りは、下記のようにさらっと流されています。転置インデックスを利用と書いているので、関連するドキュメントだけ抜き出して計算ということなんでしょうか。TRIEといえばMecabで有名ですが、色々な所で使われているんですね。 現実的な計算時間で計算するには ・行列がスパー… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.takuros.net%2Fentry%2F20081113%2F1226548664" title="大量データの処理方法　はてなさんの場合 - プログラマでありたい" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2008-11-13 12:57:44 rich https://blog.takuros.net/entry/20081113/1226548664 1.0 100%