yoshitaku_jp https://blog.hatena.ne.jp/yoshitaku_jp/ よしたく blog https://yoshitaku-jp.hatenablog.com/ Azure Azure Data Factoryを使って、新規・変更済みファイルのみをデータレイク間でコピーする。新規・変更済みファイルのみを移動対象とすることで、無駄なデータ移動が発生せず、料金も抑えることができるようになる。 準備 パイプライン パラメーターを２つ用意する。このパラメーターは、トリガーから値を受け取る際に必要になる。受け渡された値の期間にファイルの変更があった場合、変更対象となりファイルがコピーされる。今回は次の名称にした。 LastModified_From LastModified_To アクティビティ コピーアクティビティを使用し、ソースの設定項目を変更する。シンク側は特に設定す… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fyoshitaku-jp.hatenablog.com%2Fentry%2F2022%2F01%2F09%2F120000" title="Azure Data Factoryを使って、新規・変更済みファイルのみをデータレイク間でコピーする - よしたく blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/y/yoshitaku_jp/20220107/20220107172214.png Hatena Blog https://hatena.blog 2022-01-09 12:00:00 rich https://yoshitaku-jp.hatenablog.com/entry/2022/01/09/120000 1.0 100%