ichou1 https://blog.hatena.ne.jp/ichou1/ ichou1のブログ https://work-in-progress.hatenablog.com/ Keras （「RとKerasによるディープラーニング」より）Kerasネットワークは、入力として数値テンソルだけを受け付ける。テキストはそのままの形では渡せないため、変換が必要になる。 テキストを数値テンソルに変換することをベクトル化（vectorizing）と呼ぶ。全てのベクトル化プロセスは、テキストに何らかのトークン化（tokenization）の方法を適用し、生成されたトークン（token）を数値ベクトルに対応付ける。 （文字、単語、N-gramといった、テキストを分割して得られるさまざまな単位のことを集合的にトークンと呼ぶ）トークンに数値ベクトルを対応付ける方法はいくつかあり、よく使われるのは以… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwork-in-progress.hatenablog.com%2Fentry%2F2019%2F02%2F11%2F181615" title="Kerasメモ（Embeddingレイヤ） - ichou1のブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/i/ichou1/20190227/20190227205843.png Hatena Blog https://hatena.blog 2019-02-11 18:16:15 rich https://work-in-progress.hatenablog.com/entry/2019/02/11/181615 1.0 100%