Gemma https://blog.hatena.ne.jp/Gemma/ Gemmaの日記 https://gemma.hatenadiary.org/ 1行のシェルスクリプトで単語リストを作る TAOUP:7.2 Pipes, Redirection, and Filtersを参考にした。 tr -c '[:alnum:]' '[\n*]' | grep -v '^[0-9]*$' | sort -iu 1番めのコマンドで、アルファベット数字以外を改行に変換する。 2番めのコマンドで、数字だけの行を消す。 3番めのコマンドで、行をソートする、ついでに重複を省く。 これで単語リストができる。 文書群はRFCを用いる。英文テキスト243MB。ftp://ftp.rfc-editor.org/in-notes/tar/RFC-all.tar.gz … 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fgemma.hatenadiary.org%2Fentry%2F20081015%2F1224094169" title=" 検索インデックスを作ろう 前編 〜シェルスクリプトの力〜 - Gemmaの日記" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2008-10-15 03:09:29 rich https://gemma.hatenadiary.org/entry/20081015/1224094169 1.0 100%