taka_maenishi https://blog.hatena.ne.jp/taka_maenishi/ MicroAd Developers Blog https://developers.microad.co.jp/ Apache Hadoop Digdag Parquet Apache Hive データ基盤 はじめまして。サーバサイドエンジニアの前西と申します。主にETL処理*1のバッチ開発を行っています。 マイクロアドでは、広告配信ログやアクセスログなどのデータを元にして、様々な加工を行った上で蓄積を行なっています。 今回の記事では、私が普段業務で扱っているデータの蓄積処理について、生ログが加工されてデータの利用者側へと渡るまでの流れをご紹介できればと思います。 データ基盤 以前の記事でも紹介されていますが、マイクロアドではデータ基盤にHadoopを利用しています。 developers.microad.co.jp 下図のように、Kafkaに集約された数TB規模の広告配信ログ・アクセスログはFl… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fdevelopers.microad.co.jp%2Fentry%2F2020%2F06%2F03%2F182343" title="マイクロアドのログ蓄積の流れ - MicroAd Developers Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/t/taka_maenishi/20200603/20200603184736.png Hatena Blog https://hatena.blog 2020-06-03 18:23:43 rich https://developers.microad.co.jp/entry/2020/06/03/182343 1.0 100%