y_uuki https://blog.hatena.ne.jp/y_uuki/ ゆううきブログ https://blog.yuuk.io/ Architecture DataPipeline Redis Database この記事は第1回ウェブシステムアーキテクチャ(WSA)研究会の予稿です。 cronのようなタイムスケジューラーにより、定期的に実行されるバッチ処理の課題を解決するアーキテクチャを最近考えている。 この記事では、単一のタイムスケジューラによるcronベースの手法に代えて、データに対してタイマーと処理を仕込むことでスケールさせやすい構造にできないか、という提案を試みる。 はじめに Webサービスにおいて、リクエストに対してHTMLのレスポンスを返却する以外のワークロードの多様化が進んでいる。 最近であれば、機械学習による時間周期による大規模なデータ処理が求められることも多い。 その他、月次の課金バ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fblog.yuuk.io%2Fentry%2F2017%2Ftimefuze-architecture" title="TimeFuzeアーキテクチャ構想 - 処理とデータとタイマーを一体化したデータパイプライン - ゆううきブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> http://cdn-ak.f.st-hatena.com/images/fotolife/y/y_uuki/20171225/20171225164606.png?1514187988 Hatena Blog https://hatena.blog 2017-12-25 16:53:00 rich https://blog.yuuk.io/entry/2017/timefuze-architecture 1.0 100%