quoll00 https://blog.hatena.ne.jp/quoll00/ Carpe Diem https://christina04.hatenablog.com/ BigQuery MongoDB 概要 オンプレからクラウドに移行（マイグレーション）した場合や、クラウド上でセルフホスティングしていたDBをマネージドDBに移行した場合に問題となるのが「データは欠損なく移行されたか」です。 データの数が少なければプログラミングで差分チェックなどを書けますが、億単位の数であったりTB単位のサイズといったオーダーでは自前でプログラミングして差分を出すのは現実的では有りません。 そこで分散処理に強いBigQueryを利用することで、大規模データのマイグレーションにおいても完全性のチェックが実現できます。 環境 mongoexport 100.5.0 gsutil 5.5 bq v2.0.72 アー… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fchristina04.hatenablog.com%2Fentry%2Fintegrity-assurance-when-database-migration" title="マイグレーションデータの完全性をチェックする方法 - Carpe Diem" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/q/quoll00/20220802/20220802061653.png Hatena Blog https://hatena.blog 2022-08-02 06:21:03 rich https://christina04.hatenablog.com/entry/integrity-assurance-when-database-migration 1.0 100%