swamp09 https://blog.hatena.ne.jp/swamp09/ ESM アジャイル事業部 開発者ブログ https://blog.agile.esm.co.jp/ こんにちわ、swamp09です。 先日Railsプロジェクトで遭遇した大規模データのインポートについてお話しします。 ある外部システムから大規模なデータの連携をファイルで行うことになり、ファイルからの大規模データのインポートについていくつか方法を試しました。 大規模データは、月次で連携され毎回データをインポートします。 例として、その大規模データはユーザーデータで CSV 形式で受け取るとして、users.csv を毎月ファイルで受け取りインポートすると思ってください。 最初にやったのは、取り込む CSV ファイルを分割し並列で読み込む方法です。CSVファイルのサイズが1GB以上あり、データ数… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.agile.esm.co.jp%2Fentry%2F2021%2F05%2F26%2F184022" title="RDBMS付属のツールで大規模データをインポートする - ESM アジャイル事業部 開発者ブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2021-05-26 18:40:22 rich https://blog.agile.esm.co.jp/entry/2021/05/26/184022 1.0 100%