kanjirz50 https://blog.hatena.ne.jp/kanjirz50/ Sansan Tech Blog https://buildersbox.corp-sansan.com/ R&D 連載 こんにちは。 DSOC R&D グループの高橋寛治です。 前回のTF-IDFで、使ってはいたけれど触れなかった文書や単語の表現方法について述べます。 実際に文書をベクトルとして表現し、コサイン類似度を計算することで理解を深めます。 scikit-learnを使わずにできる限りnumpyを利用してコードを記述してみます。 ノートブックはこちらにあります。 ベクトルで取り扱うと計算しやすい 自然言語を取り扱う研究では、文書や単語といったように自然言語を何らかの単位で取り扱います。 自然言語処理でも活用される機械学習手法は、数式で表現されるものであり、データやその演算はベクトルで取り扱われています。… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbuildersbox.corp-sansan.com%2Fentry%2Ftech13_bagofwords" title="【Techの道も一歩から】第13回「文書や単語をどうやって表現するかコサイン類似度で学ぶ」 - Sansan Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/sansantech/20260224/20260224190140.jpg Hatena Blog https://hatena.blog 2018-10-02 12:00:00 rich https://buildersbox.corp-sansan.com/entry/tech13_bagofwords 1.0 100%