ywchen https://blog.hatena.ne.jp/ywchen/ APC 技術ブログ https://techblog.ap-com.co.jp/ Databricks はじめに こんにちは、GLB事業部Lakehouse部の陳（チェン）です。 久しぶりのブログ投稿になる本日は、Databricksにおけるデータを取り込む際、スキーマ変更対応の機能の紹介です。 はじめに 前提条件 想定状況 テストデータ それぞれの悩みに対応する解決法 パタン：(a) 取り込むスキーマ不変 パタン：(b)-1 事前コード変更による対応 パタン：(b)-2 新規カラムとして追加 パタン：(b)-3 新しいカラムをまとめて保存しておく おわりに 最後に これまでの実務上、データパイプラインを作成する際、最初に悩むところはデータの取り込みです。 おおよその場合、データパイプラインを構… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.ap-com.co.jp%2Fentry%2F2024%2F07%2F03%2F153519" title="データパイプラインにおけるデータ取り込みの設計 - APC 技術ブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/y/ywchen/20230912/20230912152004.png Hatena Blog https://hatena.blog 2024-07-03 15:35:19 rich https://techblog.ap-com.co.jp/entry/2024/07/03/153519 1.0 100%