syo_matsuda https://blog.hatena.ne.jp/syo_matsuda/ Tech Waves https://tech-waves.hakuhodody-one.co.jp/ Snowflake 実務お役立ち おはようございます、祥です。 以前Snowpipeに関する記事を書いたのですが、TaskからSnowpipeへの移行方法がS3とGCSで異なるため、今回はそちらをまとめてみたいと思います。 💡急ぎの方向けの要約はこちら メッセージの蓄積開始タイミングを考慮して切り替えを実施しましょう S3はPIPE作成と連動していますが、GCSはPub/Sub作成と連動している関係上、別途Pub/Sub側でキューの削除対応が必要となるケースがあります TaskからSnowpipeへの移行にはREFRESHオプションの利用が便利です データロードだけで完璧な重複排除を目指すのではなく、後続の処理で重複排除できる… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech-waves.hakuhodody-one.co.jp%2Fentry%2Ftask-to-snowpipe-s3-gcs" title="TaskからSnowpipeへ切り替える際の移行手順をS3とGCSで比較をしてみた - Tech Waves" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/h/hakuhodody-one/20251125/20251125090008.png Hatena Blog https://hatena.blog 2025-11-25 09:00:00 rich https://tech-waves.hakuhodody-one.co.jp/entry/task-to-snowpipe-s3-gcs 1.0 100%