y_uti https://blog.hatena.ne.jp/y_uti/ y_uti のブログ https://y-uti.hatenablog.jp/ Python の NLTK を使って、ランダム文生成で遊んでみました。学習に使うコーパスが必要なので wikipedia のデータを貰ってきます。「要約」が一番小さそうなので、それにしました。それでも 1.2GB くらいあります。 $ wget http://dumps.wikimedia.org/jawiki/latest/jawiki-latest-abstract.xmlデータを眺めてみると、abstract タグの中を抽出すればよさそうです。XML をパーズしなくても行単位で切り出せそうなので、こんな感じで。ちなみに、これで 110MB くらいになりました。 $ grep '^<abs… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fy-uti.hatenablog.jp%2Fentry%2F20120624%2F1340499403" title="NLTK でランダム文生成 - y_uti のブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2012-06-24 09:56:43 rich https://y-uti.hatenablog.jp/entry/20120624/1340499403 1.0 100%