swx-tatsuya-yamamoto https://blog.hatena.ne.jp/swx-tatsuya-yamamoto/ サーバーワークスエンジニアブログ https://blog.serverworks.co.jp/ はじめに こんにちは、山本です。 今回は、AWS Glue を使って Amazon S3 にあるデータを Amazon Redshift に取り込むと、ジョブを再実行するたびに同じレコードが重複して登録される現象の解決方法について当記事で紹介します。 AWS Glue は Amazon S3 などに保存されているデータを分析用の Amazon Redshift などに適宜データを加工して保存する便利なサービスです。 しかし、ジョブ（ Amazon S3 データ抽出から Amazon Redshift へのデータ出力までの処理）の内容によってはAWS Glue ジョブの特性上、加工したデータが重… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.serverworks.co.jp%2F2025%2F09%2F26%2F135210" title="Amazon Glue ジョブ内の処理で 出力先 Amazon Redshift 内にデータ重複が発生する現象の解決方法 - サーバーワークスエンジニアブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/s/swx-tatsuya-yamamoto/20250924/20250924163320.png Hatena Blog https://hatena.blog 2025-09-26 13:52:10 rich https://blog.serverworks.co.jp/2025/09/26/135210 1.0 100%