tagomoris https://blog.hatena.ne.jp/tagomoris/ たごもりすメモ https://tagomoris.hatenablog.com/ HTTPアクセスログをHiveが読める書式への変換やその他必要なデータ変換などストリーム処理で行いつつ転送して最終的にHDFSに時間ごとに書き込むぜー、というシステムを作ってる途中なんだけど、だいたい部品が揃いつつあるところでいったんまとめて書き出してみて見落としがないかどうか考えてみるテスト。実在のシステムとは異なる可能性があるので(特に後日これを読む人は)あまり真に受けないほうがよいです。あと解析処理自体はHadoop上でHiveでやるのが大前提で、そこにデータをもっていくまでがここに書く話です。(12/1 考えた末、構成を変えることにしたのでエントリ後半に追記した。) 前提システム 既に… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftagomoris.hatenablog.com%2Fentry%2F2011%2F11%2F29%2F174959" title="Webサーバログ転送・ストリーム処理系私案 - たごもりすメモ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> http://cdn-ak.f.st-hatena.com/images/fotolife/t/tagomoris/20111129/20111129190324.png Hatena Blog https://hatena.blog 2011-11-29 17:49:59 rich https://tagomoris.hatenablog.com/entry/2011/11/29/174959 1.0 100%