Grahamian https://blog.hatena.ne.jp/Grahamian/ Data Analystのメモ帳 https://grahamian.hatenablog.com/ AWS上で完結するデータ分析基盤を構築する機会があったのでメモです。 案外こういう設計で作れるんだよって話がネットになかったので、細かい話はおいといて、全体としてこういう設計で素早く作れるって話を書きます。 データ分析基盤の設計としてはシンプルです。 アーキテクチャ図 データレイクとしてS3にデータを貯める Glueで読み込む データウェアハウスとしてRedshiftで分析する という構造です。 順番に紹介します データレイクへデータを蓄積する まずはデータレイクの構築を目指します。 DMSを使うことができるならば簡単にデータを格納することができます。 parquetで出力することもできるので… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fgrahamian.hatenablog.com%2Fentry%2F2024_06_03_aws_data_analytics_platform" title="AWS Redshift Serverless / Spectrum / Glue / DMS / S3 を使って素早くシンプルなデータ分析基盤を構築する - Data Analystのメモ帳" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/G/Grahamian/20240603/20240603233004.jpg Hatena Blog https://hatena.blog 2024-06-03 23:32:09 rich https://grahamian.hatenablog.com/entry/2024_06_03_aws_data_analytics_platform 1.0 100%