mtbr https://blog.hatena.ne.jp/mtbr/ mtbrの日記 https://mtbr.hatenadiary.org/ segmentation 2単語の連結を基本操作としてえらび、 各ステップで連結を貪欲に行うことを選んだ時点で、 計算すべきことが 2 つできた。連結の適用： もっとも簡単なのは、コーパス全体を大きさ２の窓で走査して、連結を適用するもの。 ただし、コーパス全体がセグメントを要素とする連結リストでないと、効率的でない。すべての 2-gram の出現位置を計算しておくと、 連結の適用自体は出現回数分のオーダーの時間となる。 出現位置の初回の計算はしょうがないからやるけれど、 次からは、変化分、追加分だけを更新する。 まず、連結された 2-gram のエントリは消す。 連結の適用とともに、連結されたセグメントの前後 A,B … 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fmtbr.hatenadiary.org%2Fentry%2F20051209%2Fsegmentation" title=" 連結対象を選ぶことと、連結をコーパス全体に適用すること - mtbrの日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2005-12-09 00:00:00 rich https://mtbr.hatenadiary.org/entry/20051209/segmentation 1.0 100%