mtoyoshi https://blog.hatena.ne.jp/mtoyoshi/ mtoyoshi開発メモ https://mtoyoshi.hateblo.jp/ nginxのltsv形式のアクセスログをfluentd経由でS3に保存すると、type fileで出力したものと同じで、以下のようなフォーマットとなる。 日付 タグ jsonフォーマットのデータ 実際にはgzに圧縮されて。S3のデータをインプットにEMR(hive)で計算しようにも使いづらい印象。 というのは、いろんなサイトで見かけるサンプルはたいていtsv形式のものをS3に保存してあって、それをインプットに計算するというものが多いからだ。・・・うーん、うーん、と困って色々見ていたところ、以下のサイトを発見し、このフォーマットでも問題ないことが分かった。http://memocra.blogs… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fmtoyoshi.hateblo.jp%2Fentry%2F2013%2F06%2F24%2F202752" title="EMRで利用する際のログについて - mtoyoshi開発メモ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2013-06-24 20:27:52 rich https://mtoyoshi.hateblo.jp/entry/2013/06/24/202752 1.0 100%