daikihanda https://blog.hatena.ne.jp/daikihanda/ BeeX Tech blog https://techblog.beex-inc.com/ SQL Server Embulk Digdag Amazon S3 構成図 制約 お客様要件による制約 オンプレシステム要件による制約 オンプレ・EC2間データ連携 データ連携方法 データ連携スケジュール EC2・AWS間データ連携 データ連携方法 データ連携スケジュール ハマったポイント Parquetファイルのサイズには注意 一部Embulkが対応していないデータ型がある オンプレ側DBへのデータ投入順の意識が必要 意識した点 使用したOSS Embulk Digdag おわりに こんにちは、半田(@handy)です。 オンプレ上のSQL ServerにあるデータをAWSにアップロードして分析をしたい場合、使用するツールによって様々な構成が考えられます。 … 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.beex-inc.com%2Fentry%2F2020%2F12%2F25%2F000000" title="SQL ServerのデータをEmbulkでAWS上に連携する構成のご紹介 - BeeX Tech blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/d/daikihanda/20250725/20250725175117.png Hatena Blog https://hatena.blog 2020-12-25 00:00:00 rich https://techblog.beex-inc.com/entry/2020/12/25/000000 1.0 100%