Shiro-Neko https://blog.hatena.ne.jp/Shiro-Neko/ 白猫のメモ帳 https://shironeko.hateblo.jp/ Java 自然言語処理 こんばんは。猫様に椅子を取られて座るところがありません。さて、今回はTF-IDFを使って文章要約を試してみます。 要約と謳ってはいますが、重要な文を抜き出すだけなのでご注意を。 TF-IDFってなんだ 今回のポイント、TF-IDFについて簡単に説明します。TF-IDFは、「TF」と「IDF」という 二つの指標を用いて、文章中の各単語の重要度を表現する値です。 TF(Term Frequency) = 単語の出現頻度 TFは、とある文章の中で、とある単語が何回出現するかという指標です。 たとえば次のような文章を見てみます。 今日は朝から雨が降っている。 わたしは雨はそんなに嫌いではないが、出かけ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fshironeko.hateblo.jp%2Fentry%2F2016%2F12%2F12%2F003556" title="TF-IDFでニュースを要約する - 白猫のメモ帳" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> http://chart.apis.google.com/chart?cht=tx&chl=%20%5Cdisplaystyle%20TF%20%3D%20%5Cfrac%7B%E5%AF%BE%E8%B1%A1%E3%81%AE%E6%96%87%E3%81%AB%E3%81%8A%E3%81%91%E3%82%8B%E5%AF%BE%E8%B1%A1%E3%81%AE%E5%8D%98%E8%AA%9E%E3%81%AE%E5%87%BA%E7%8F%BE%E5%9B%9E%E6%95%B0%7D%7B%E5%AF%BE%E8%B1%A1%E3%81%AE%E6%96%87%E3%81%AE%E5%85%A8%E5%8D%98%E8%AA%9E%E6%95%B0%7D Hatena Blog https://hatena.blog 2016-12-12 00:35:56 rich https://shironeko.hateblo.jp/entry/2016/12/12/003556 1.0 100%