sinchir0 https://blog.hatena.ne.jp/sinchir0/ Sansan Tech Blog https://buildersbox.corp-sansan.com/ データ分析 機械学習 自然言語処理 Python ディープラーニング 3行で はじめに Sentencepieceとは subwordとは Sentencepieceでの取り組み SentencepieceとMeCabの比較 利用するデータセット 利用したコード 適当なTweetを分かち書きしてみる Tweet全部を分かち書きし、頻度順に並べてみる まとめ 注釈 3行で Sentencepieceの論文概要を説明した。 自身のTweetを用いて、SentencepieceとMeCabの分割点の違いを調べた。 Sentencepieceでは生文から生成された特徴的な分割が見られた。一方、今回のような少ない学習データでは上手く分割できない。 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbuildersbox.corp-sansan.com%2Fentry%2F2021%2F06%2F21%2F110000" title="自分のTweetを使ってSentencepieceとMeCabの分かち書きの比較を行う - Sansan Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/sansantech/20260224/20260224170710.png Hatena Blog https://hatena.blog 2021-06-21 11:00:00 rich https://buildersbox.corp-sansan.com/entry/2021/06/21/110000 1.0 100%