tagomoris https://blog.hatena.ne.jp/tagomoris/ たごもりすメモ https://tagomoris.hatenablog.com/ Hadoop Hive YARN使っててHDFSにログを吐くよう設定してるとアホみたいにたまっていくので削除しないとやばい。 とりあえず10日経過したら削除するようにした。 ( for searchpath in '/tmp/hive-*' '/mr-history/done/*/*' '/mr-history/tmp/*' '/yarn/user/*/.staging' '/yarn/log/apps/*/logs'; do hdfs dfs -ls "$searchpath" | grep -v '^Found [0-9]* items' | \ perl -MTime::Piece -MTime::Second… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftagomoris.hatenablog.com%2Fentry%2F20130201%2F1359718195" title="YARN/Hiveな環境で大量の一時ファイルとログをごりごり削除する - たごもりすメモ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2013-02-01 20:29:55 rich https://tagomoris.hatenablog.com/entry/20130201/1359718195 1.0 100%