KSKSKSKS2 https://blog.hatena.ne.jp/KSKSKSKS2/ 終末 A.I. https://ksksksks2.hatenadiary.jp/ ツール データエンジニア DeequはAWSがリリースしているデータテストを行うためのライブラリです（Deequの説明ではUnit Testと表現されています）。 ここで言うデータテストは、ETL処理やデータマート作成処理などの意図通り動いているどうか、取り込んだデータが昔と変化していないかを確認するための検証処理のことを指しています。 ETL処理などを最初に作成したタイミングでは、その処理が意図したものになっているか確認すると思います。一方で、日次のバッチ処理や、動き続けているストリーム処理について、本当に意図したようにデータが加工されているかどうかは、通常の方法では処理自体が成功したかどうかくらいしか確認するすべが… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fksksksks2.hatenadiary.jp%2Fentry%2F20210807%2F1628327594" title="データテストライブラリー「Deequ」を触ってみた - 終末 A.I." class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2021-08-07 18:13:14 rich https://ksksksks2.hatenadiary.jp/entry/20210807/1628327594 1.0 100%