yuutookun
https://blog.hatena.ne.jp/yuutookun/
Gunosy Tech Blog
https://tech.gunosy.io/
AWS
ApacheHudi
ApacheSpark
広告技術部のUT@mocyutoです。 こちらの記事はGunosy Advent Calendar 2021の4日目の記事です。 昨日は内田さんの その設定、pyproject.tomlに全部書けます - Gunosyデータ分析ブログ でした 今回はApache Hudiを用いたユーザデータ基盤の刷新を紹介します。 背景 仕組み 課題 対応策 データの持ち方を変える Apache Hudiとは 構成 Glue + PySpark Athenaによる抽出 移行し終えて 背景 Gunosyの広告システムではユーザに対して最適な広告を届けるために、接触済みのユーザに対して何度も同じ広告を出さないよう…
190
<iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech.gunosy.io%2Fentry%2Fapache_hudi" title="更新できるデータレイクを作る 〜Apache Hudiを用いたユーザデータ基盤の刷新〜 - Gunosy Tech Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe>
https://cdn-ak.f.st-hatena.com/images/fotolife/y/yuutookun/20211204/20211204102309.png
Hatena Blog
https://hatena.blog
2021-12-04 10:19:33
更新できるデータレイクを作る 〜Apache Hudiを用いたユーザデータ基盤の刷新〜
rich
https://tech.gunosy.io/entry/apache_hudi
1.0
100%