Akiniwa https://blog.hatena.ne.jp/Akiniwa/ 忘れないようにメモっとく https://akiniwa.hatenablog.jp/ awk awkで重複行を高速削除する。 行の重複削除で調べるとよく出てくるのが、sort & uniqを使ったコマンド。 ソートはファイルが大きくなると、実行にかなり時間がかかってしまいますね。 ソートせずに高速実行できるのが、次のawkコマンド。 awk '!colname[$1]++{print $1}' こういうファイルがあって、一列目の名前を取得したいとき、!colname[$1]は、データをキーにした連想配列で、インクリメントされる。 ボブ りんご | colname["ボブ"] → 0 {print $1} マイケル まんが | colname["マイケル"] → 0 {print $1}… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fakiniwa.hatenablog.jp%2Fentry%2F2014%2F04%2F04%2F203256" title="awkで重複行を高速削除する。 - 忘れないようにメモっとく" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2014-04-04 20:32:56 rich https://akiniwa.hatenablog.jp/entry/2014/04/04/203256 1.0 100%