Moriya https://blog.hatena.ne.jp/Moriya/ Gekko0114 備忘録 https://moriya.hatenadiary.com/ Delta Lake S3, Azure data lake storage, HDFSなどのデータレイクファイルストレージに構築されるOSSのストレージレイヤー。１つのテーブルに対して、ストリーミング・バッチ処理の両方に対応できる。 構造化・非構造化データを単一システムに集約してデータサイロ（他からアクセスできないデータ）を解消する。コスト効率・スケーラビリティの高いレイクハウスを構築する。 Delta Lakeのデータは、オープンなParquet形式で保存される。AuditログやコミットログなどのメタデータはJSONで保持する。 ACID transactionが担保されている。 データス… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fmoriya.hatenadiary.com%2Fentry%2F2023%2F08%2F26%2F231330" title="Delta Lakeのdocumentを読んだメモ - Gekko0114 備忘録" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2023-08-26 23:13:30 rich https://moriya.hatenadiary.com/entry/2023/08/26/231330 1.0 100%