miz_tech https://blog.hatena.ne.jp/miz_tech/ /Users/mizchi/workplace/ https://miz-tech.hatenadiary.org/ dbcls Python DBCLSでやってる自然言語処理の話。 TF * IDFは ある単語が、その単語を含む文書において、全体の文書と比較しながら「どれぐらい非凡か」ということを示す。スコア = (ドキュメントに含まれる特定の単語の数/ドキュメントに含まれる全単語数) / log(全ドキュメント数 / 特定の単語を含むドキュメント数) 専門文書に含まれる専門用語を、青空文庫のログで比較して専門用語のスコアを高くとれるか、ということに使う。 まだ単語の抽出が済んでないので、スコアはあとで。 要: MeCabとMeCabのPythonバインディング #/usr/bin/python #-*- encoding:utf-… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fmiz-tech.hatenadiary.org%2Fentry%2F20100520%2F1274339341" title=" 専門用語抽出するための TF-IDF をPython で書いた - /Users/mizchi/workplace/" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2010-05-20 16:09:01 rich https://miz-tech.hatenadiary.org/entry/20100520/1274339341 1.0 100%