jon20 https://blog.hatena.ne.jp/jon20/ ZOZO TECH BLOG https://techblog.zozo.com/ Ruby BigQuery AWS Google Cloud インフラ データ こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利用していましたが、Amazon Web Services(AWS)上にもIQONに関するリソースが存在します。そのため、IQONはGCPとAWSの2つのクラウドで運用していました。 しかし、サービス終了に… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.zozo.com%2Fentry%2Fbigquery-to-s3" title="10TB超えのBigQuery巨大データを高速にS3に同期する - ZOZO TECH BLOG" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/v/vasilyjp/20201021/20201021154303.jpg Hatena Blog https://hatena.blog 2020-10-23 11:00:00 rich https://techblog.zozo.com/entry/bigquery-to-s3 1.0 100%