yohei-a https://blog.hatena.ne.jp/yohei-a/ ablog https://yohei-a.hatenablog.jp/ AWS VPC内に Spark Job と Python Shell のジョブを作成した際に使用する IP アドレス数を確認した。1ジョブの1回の実行当たり、Spark Job は Worker 数、Python Shell は 1 つのIPアドレスを消費する。 ジョブの種類 使用するIPアドレス数 Worker数/DPU Spark Job Worker数 10 workers Python Shell 1つ 1/16 DPU,1 DPU Spark job Python shell 検証を行った構成 共通 VPC Endpoint 使用する VPC に com.amazonaws.ap-north… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fyohei-a.hatenablog.jp%2Fentry%2F20230915%2F1694744446" title="VPC内 Glue Job が使用するIPアドレス数 - ablog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/y/yohei-a/20230915/20230915112038.png Hatena Blog https://hatena.blog 2023-09-15 11:20:46 rich https://yohei-a.hatenablog.jp/entry/20230915/1694744446 1.0 100%