jungsua https://blog.hatena.ne.jp/jungsua/ APC 技術ブログ https://techblog.ap-com.co.jp/ Fivetran Databricks はじめに エーピーコミュニケーションズGLB事業部Lakehouse部の鄭(ジョン)です。 この記事ではCDC(チェンジデータキャプチャ)について紹介致します。 そして、DatabricksとFivetranのCDC検証を行います。 効率的なパイプライン設計について興味がある方にお勧めします。 目次 はじめに 目次 CDC(チェンジデータキャプチャ) 概念および長所 方法 ➀ ログベースCDC ② トリガーベースCDC ③ タイムスタンプベースCDC ➃ 差異ベースCDC ユースケース ➀ リアルタイムデータ統合 ② データマイグレーションおよび複製 ➂ リアルタイムイベント処理 ➃ 監査およ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.ap-com.co.jp%2Fentry%2F2024%2F04%2F22%2F174951" title="データエンジニアリングの核心技術：CDCを利用した効率的なパイプライン設計(with Databricks/ Fivetran) - APC 技術ブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/j/jungsua/20240417/20240417181929.jpg Hatena Blog https://hatena.blog 2024-04-22 17:49:51 rich https://techblog.ap-com.co.jp/entry/2024/04/22/174951 1.0 100%