Hironsan https://blog.hatena.ne.jp/Hironsan/ Ahogrammer https://hironsan.hatenablog.com/ TensorFlow 自然言語処理 自然言語処理で欠かせない処理にテキストのトークン化があります。テキストをトークン化することで、その後のボキャブラリの構築やID化の処理を行うことができるようになります。本記事では、トークン化をTensorFlow Textの機能を使って実現する方法について紹介します。 準備 本記事ではTensorFlow Textを使ってテキストのトークン化を行います。TensorFlow TextはTensorFlow 2.0向けにテキスト操作のためのクラスや関数を提供してくれるパッケージです。その中のメインの機能として、テキストのトークン化をするための機能を提供しています。使い始めるために、以下のようにし… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fhironsan.hatenablog.com%2Fentry%2Ftokenizing-text-with-tensorflow-text" title="TensorFlow Textを使ってテキストのトークン化をする - Ahogrammer" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2019-09-16 21:47:53 rich https://hironsan.hatenablog.com/entry/tokenizing-text-with-tensorflow-text 1.0 100%