masafumi_uemura https://blog.hatena.ne.jp/masafumi_uemura/ FLINTERS Engineer's Blog https://blog.flinters.co.jp/ AI BigQuery Digdag こんにちは、植村です。今回は弊チームで使用しているワークフローエンジンのdigdag(AWS, EC2)からGCPへアクセスしてBigQueryを動かした時のお話を書きます。やりたいこと：DigdagからBigQueryのExport機能を使用してGCSにデータを格納するGCPの環境は既にできているとします。手順は以下の通りになります。 BigQueryからデータを取得してGCSに格納するクエリを作成する BigQuery API クライアント ライブラリを使用してPythonから1のSQLを使用する Digdag secretsによりGCPへサービスアカウントキー(Json)を登録 digd… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.flinters.co.jp%2Fentry%2F2023%2F04%2F06%2F120233" title="DigdagからBigQueryを動かす - ChatGPTを使用してエラーを解決した話 - FLINTERS Engineer&#39;s Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn.user.blog.st-hatena.com/default_entry_og_image/159027440/1679028613755759 Hatena Blog https://hatena.blog 2023-04-06 12:02:33 rich https://blog.flinters.co.jp/entry/2023/04/06/120233 1.0 100%