hiroppon https://blog.hatena.ne.jp/hiroppon/ 中年engineerの独り言 - crumbjp https://crumbjp.hateblo.jp/ mongodb 一連の自然言語処理をMONMOちゃん上で実現する試みの第２弾 前回は形態素解析まで行った。今回は、形態素解析結果から、そのドキュメントの特徴を表す『ベクトル』を算出する、ベクタライズを行う。 monmo-NLProcessing github https://github.com/monmo/monmo-NLProcessing TF-IDF 自然言語処理における代表的なベクタライズ手法。 考え方 ドキュメント中、何回も出現する単語はそのドキュメントを表す重要な単語である。 多くのドキュメント中に出現する単語は普遍的な単語なので重要ではない。 シンプルだ。 TF-IDFの要素 N 総ドキュメン… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fcrumbjp.hateblo.jp%2Fentry%2F20130829%2F1377756731" title=" 自然言語解析 in MONMO（中編） - 中年engineerの独り言 - crumbjp" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2013-08-29 15:12:11 rich https://crumbjp.hateblo.jp/entry/20130829/1377756731 1.0 100%