takagi_mutsuo https://blog.hatena.ne.jp/takagi_mutsuo/ MicroAd Developers Blog https://developers.microad.co.jp/ Python BigQuery はじめに マイクロアドでサーバサイドエンジニアをしているタカギです。 今回はPythonアプリから参照するデータをMySQLからBigQuery1へ切り替えた話になります。 背景 マイクロアドでは様々なデータを扱っています。 広告配信で発生するログはCDH2に蓄積および集計され、その後MySQL、Redis、分析用CDHクラスタ、BigQueryなど別のデータベースに転送され、分析や請求など様々な用途に利用されます。 その中の1つに、1日で1500万件弱のレコード数を扱うMySQLのテーブルがあり、とあるapiからの参照クエリのレスポンス速度が問題になっていました。 その対応策として、データソ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fdevelopers.microad.co.jp%2Fentry%2F2022%2F06%2F13%2F100000" title="Pythonアプリから参照するデータをMySQLからBigQueryへ切り替える - MicroAd Developers Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/t/takagi_mutsuo/20220613/20220613133718.png Hatena Blog https://hatena.blog 2022-06-13 10:00:00 rich https://developers.microad.co.jp/entry/2022/06/13/100000 1.0 100%