sfujiwara https://blog.hatena.ne.jp/sfujiwara/ 酒日記 はてな支店 https://sfujiwara.hatenablog.com/ fluentdで集約したログをRedshiftに投入するのに、これまでは fluent-plugin-redshift を使っていたのですが、諸々の理由でこれを置き換えるツールをGoで書きました。 Rin - Redshift data Importer by SQS messaging. プロダクション環境に投入して、2週間ほど快調に動作しているので記事を書いておきます。 アーキテクチャと特徴 S3にデータが保存されたタイミングで、Amazon SNS または SQS にメッセージを飛ばすイベント通知機能がありますので、それを利用しています。 (何者か) S3 にデータを保存する (flue… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fsfujiwara.hatenablog.com%2Fentry%2F2015%2F05%2F18%2F110741" title="Amazon SQSを利用してS3からRedshiftにデータ投入するRinというツールを書いた - 酒日記 はてな支店" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2015-05-18 11:07:41 rich https://sfujiwara.hatenablog.com/entry/2015/05/18/110741 1.0 100%