dskomei https://blog.hatena.ne.jp/dskomei/ 見習いデータサイエンティストの隠れ家 https://www.dskomei.com/ 自然言語処理 スクレイピング 要約 Python 自然言語処理のタスクは、Transformer が現れて以来一段と盛り上がっています。これまで精度がいまいちだったタスクで、人間以上の精度になってきています。それは、文章の要約タスクでも同様です。文章要約は、与えれた文章の中で重要なワードや文を抜き取り、場合によっては言い換え、意味がわかる自然な文章を作るタスクです。ただ文章を短くすればよいというわけではなく、意味がわかるようにまとめなければいけないというところが、他の自然言語処理のタスクと比べて難しい所以です。 精度の高い要約モデルを作るためには、莫大なデータで事前学習済みのモデルを fine-tuning します。しかし、日本語の文章と要約… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwww.dskomei.com%2Fentry%2F2021%2F10%2F12%2F220934" title="Pythonを使って日本語の要約データを取得する - 見習いデータサイエンティストの隠れ家" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/d/dskomei/20211012/20211012214411.png Hatena Blog https://hatena.blog 2021-10-12 22:09:34 rich https://www.dskomei.com/entry/2021/10/12/220934 1.0 100%