nagais https://blog.hatena.ne.jp/nagais/ コネヒト開発者ブログ https://tech.connehito.com/ AWS インフラ データ分析 こんにちは。インフラエンジニアの永井(shnagai)です。 最近、家族ノートという「ママリ」内の検索データとQ&Aデータ(現在開発中)を可視化したデータ分析サービスの立ち上げに携わっています。 info-kazokunote.mamari.jp 今回は、家族ノートで使っているデータ基盤の一部であるBigQuery+StepFunctionsで作ったデータレイクの仕組みについてご紹介します。 内容は、ざっくりとこんな話を書こうと思います。 データ基盤作りに至った経緯 AWS→BigQueryにデータ移送するアーキテクチャのpros&cons StepFunctions+Embulk(Farga… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech.connehito.com%2Fentry%2F2021%2F05%2F18%2F154725" title="家族ノートを支えるBigQuery+StepFunctionsで作るデータレイク - コネヒト開発者ブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/n/nagais/20210517/20210517102541.png Hatena Blog https://hatena.blog 2021-05-18 15:47:25 rich https://tech.connehito.com/entry/2021/05/18/154725 1.0 100%