swfz https://blog.hatena.ne.jp/swfz/ notebook https://swfz.hatenablog.com/ GoogleCloudPlatform Dataflow Apache Beam Python とりあえず触ってみようという感じのノリで使ってみた Python自体初学なので勉強含めてやってみる Cloud Dataflow Dataflow: ストリーム処理とバッチ処理 | Google Cloud cloud.google.com ETLなどで使う感じ AWSだとGlueみたいな感じの立ち位置なのかな? 中身はApache BeamでDataflowではApache Beamの実行環境のプロビジョニングをフルマネージドで行ってくれる また、Beam自体は同じコードでストリーム処理とバッチ処理を両方対応できるらしい 今回はバッチで試してみる ローカルで試してみる まずはexampleの… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fswfz.hatenablog.com%2Fentry%2F2020%2F04%2F28%2F043518" title="Cloud Dataflowを使ってみる - notebook" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/swfz/20200428/20200428043506.png Hatena Blog https://hatena.blog 2020-04-28 04:35:18 rich https://swfz.hatenablog.com/entry/2020/04/28/043518 1.0 100%