bach-bwv-849 https://blog.hatena.ne.jp/bach-bwv-849/ Nealle Developer's Blog https://nealle-dev.hatenablog.com/ TOROCCO データ基盤 この記事は ニーリーアドベントカレンダー10日目です。 こんにちは！Analyticsチームの上田です。 データ分析基盤を運用していると、「データの鮮度を上げたい」「転送コストを下げたい」という欲求は尽きないものです。ちょうど私たちもETLの改善に取り組んでいたのですが、そこには思わぬ落とし穴が潜んでいました。。🥲 今年の反省は今年のうちにということで、得た学びを共有したいと思います！🙏 3行まとめ データ転送コスト削減のため転送方式を 全件洗替え転送 → 差分転送 に切り替えたところ、転送漏れが発生 原因は、Django ORMのsave(update_fields=...) 利用時に、更新… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fnealle-dev.hatenablog.com%2Fentry%2F2025%2F12%2F10%2F103955" title="ETL差分転送の落とし穴 - Django ORM利用時の注意点と対策 - Nealle Developer&#39;s Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/b/bach-bwv-849/20251210/20251210091034.png Hatena Blog https://hatena.blog 2025-12-10 10:39:55 rich https://nealle-dev.hatenablog.com/entry/2025/12/10/103955 1.0 100%