yomon8 https://blog.hatena.ne.jp/yomon8/ YOMON8.NET https://yomon.hatenablog.com/ Azure GoogleCloud Dataflow Python Apache Beam Azure Table StorageのデータをCloud Dataflow (Apache Beam）から扱ってみたのでメモ。 対象のAzure Table Storage 対象としたTable Storageの中身です。mytable という名前にしました。このデータをDataflowを使ってBigQueryに挿入してみます。 準備 データセットだけ作っておきます。 $ bq mk my_dataset Azure Table Storageをクエリするのに、 azure-cosmosdb-tableという3rd Partyモジュールが必要なのでsetup.pyを以下のように作成しておきま… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fyomon.hatenablog.com%2Fentry%2F2019%2F12%2Fazure_storage_table_to_bigquery_by_dataflow" title="Azure Table StorageのデータをCloud Dataflowを使ってBigQueryに挿入する - YOMON8.NET" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/y/yomon8/20191206/20191206231248.png Hatena Blog https://hatena.blog 2019-12-06 23:15:58 rich https://yomon.hatenablog.com/entry/2019/12/azure_storage_table_to_bigquery_by_dataflow 1.0 100%