nowokay https://blog.hatena.ne.jp/nowokay/ きしだのHatena https://nowokay.hatenablog.com/ java 指定したURLの記事本文を取ってくる処理がほしいなぁと思って、しかしいろいろ考えるのは面倒と思ったけど、少なくともJavaで簡単に使えるものがなさそうなので実装した。 参考にしたのはこちら。 HTMLからの本文自動抽出 - アドファイブ日記（ミラー版） テキストが長いタグは本文、直下のタグは本文への寄与が多い、のようにしてスコアを求め、そして全体テキストに対してスコアが高ければ本文だろう、という感じ。 上記サイトと変えたところは、<li>タグの点数をさげているところ。読売の記事が最後に各カテゴリの説明をもっていて、記事より長くなりがちでそちらが抽出されることが多そうなので、点数をさげた。 前回… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fnowokay.hatenablog.com%2Fentry%2F2023%2F02%2F21%2F041440" title="Web記事の本文をJavaで抽出する - きしだのHatena" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/n/nowokay/20230221/20230221035848.png Hatena Blog https://hatena.blog 2023-02-21 04:14:40 rich https://nowokay.hatenablog.com/entry/2023/02/21/041440 1.0 100%