sh111h https://blog.hatena.ne.jp/sh111h/ 株式会社ホクソエムのブログ https://hoxominc.hatenablog.com/ ホクソエムサポーターの白井です。 今回は日本語の word2vec に着目し、日本語の学習済み word2vec の評価方法について紹介します。 自然言語は非構造化データであるため、単語や文章を計算機で扱いやすい表現に変換する必要があります。 そのための方法の1つに word2vec があり、Bag of Words (BoW) や tf-idf とならんでよく用いられます。 一般に、word2vec は Mikolovが提案した手法 (CBOW, Skip-gram) をはじめ、 GloVe や fastText など、単語をベクトルで表現する単語分散表現のことを指します。 word2vec… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fhoxominc.hatenablog.com%2Fentry%2F2020%2F02%2F20%2F090000" title="学習済み日本語word2vecとその評価について - 株式会社ホクソエムのブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://i.imgur.com/McqbhJv.png Hatena Blog https://hatena.blog 2020-02-20 09:00:00 rich https://hoxominc.hatenablog.com/entry/2020/02/20/090000 1.0 100%