highlink-hr1 https://blog.hatena.ne.jp/highlink-hr1/ High Link テックブログ https://tech.high-link.co.jp/ 基盤開発 はじめに こんにちは, 基盤開発チームの奥山(okue)です. High Link では, BigQuery を活用してデータの分析や可視化, 機械学習への活用を行っています. アプリケーション DB の BigQuery へ転送には, AWS ECS Fargate + Embulk という構成でバッチ処理を実行していましたが, いくつか運用上の問題点がありました. 本記事では, BigQuery へDBのデータを転送するバッチ処理を, AWS Step Functions + AWS ECS Fargate + Embulk で実装し改善した話をします. 改善前の構成と問題点 構成 改善前… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech.high-link.co.jp%2Fentry%2Fbigquery-embulk-batch-improvement" title=" BigQueryへEmbulkで転送するバッチ処理を改善した話 - High Link テックブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/h/highlink-hr1/20240703/20240703120253.png Hatena Blog https://hatena.blog 2022-09-29 18:16:43 rich https://tech.high-link.co.jp/entry/bigquery-embulk-batch-improvement 1.0 100%