kaias1jp https://blog.hatena.ne.jp/kaias1jp/ プログラミングなんてわからないんですけど〜 https://www.kaias1jp.com/ fediversesearchは、基本となるサーバー部とWebUIに関してはほぼ完成しました。クローラーに関しては初期に作成したコードがあり「クロールする」という点では動いていたのですが、運用する場合に「どこがボトルネックになっているのか調査しにくい」構造になっていました。 そこで、既存のコードからクロールに関するロジックはもらいながらもredis+sidekiqベースでの非同期処理に移行しました。非同期になることで、バッチ処理的なコードがすっきりしたものになるとともに、sidekiqのWeb画面で処理時間が明らかに異常な場合にどの分散SNSサーバーを見に行っているのかがわかるようになったので… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwww.kaias1jp.com%2Fentry%2F2021%2F06%2F18%2F224541" title="fediversesearchのクローラーを開発しています - プログラミングなんてわからないんですけど〜" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/k/kaias1jp/20210618/20210618100820.png Hatena Blog https://hatena.blog 2021-06-18 22:45:41 rich https://www.kaias1jp.com/entry/2021/06/18/224541 1.0 100%