nhn-techorus https://blog.hatena.ne.jp/nhn-techorus/ Chorus Journal | NHN テコラスがお届けする技術メディア https://journal.nhn-techorus.com/ AWS 著者：nemod Amazon S3 イベント通知を使用した加速クロールを業務で利用する機会がありました。そこで得られた知見などをここで共有したいと思います。 AWS Glueとは何か、AWS Glue Crawlerとは何かという基本的な情報は省きますので、こちらを知りたい場合は以下の資料などでの参照をお願いします。 AWS BlackBelt Glue 「AmazonS3イベント通知を使用した加速クロール」とは何か 簡単にまとめると「GlueCrawlerがS3イベントとSQSを使うことで、通常よりも読み込むデータ量が少なくなり、結果的にコスト削減や処理速度が上がる仕組み」となります。 通常のクローラーの場… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fjournal.nhn-techorus.com%2Fentry%2Farchives%2F21903" title="AWS Glueの「AmazonS3イベント通知を使用した加速クロール」とは何か - Chorus Journal | NHN テコラスがお届けする技術メディア" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/n/nhn-techorus/20261006/20261006174550.png Hatena Blog https://hatena.blog 2022-12-22 11:00:31 rich https://journal.nhn-techorus.com/entry/archives/21903 1.0 100%