upura https://blog.hatena.ne.jp/upura/ u++の備忘録 https://upura.hatenablog.com/ python 自然言語処理 問題文 nlp100.github.io 問題の概要 カテゴリ分類に有用そうな特徴量を抽出します。ここでは、問題文の指示通りの最低限の特徴量を作ります。sklearnに用意されている「CountVectorizer()」が利用可能です。 記事の見出しを単語列に変換したものが最低限のベースラインとなるであろう． データセット内に「TMP」という一時的なカラムを作成し、X_train・X_valid・X_testを結合しておくことで、特徴量抽出の処理を一度で済ましています。 import joblib import pandas as pd from sklearn.feature_extract… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fupura.hatenablog.com%2Fentry%2F2020%2F07%2F26%2F000124" title="言語処理100本ノック 2020「51. 特徴量抽出」 - u++の備忘録" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2020-07-26 00:01:24 rich https://upura.hatenablog.com/entry/2020/07/26/000124 1.0 100%