hiroppon https://blog.hatena.ne.jp/hiroppon/ 中年engineerの独り言 - crumbjp https://crumbjp.hateblo.jp/ mongodb 実は数年前（MongoDB 1.6〜1.8の時期）にログをリアルタイムに全てmongodbに叩き込んで期間毎に解析する仕組みを作ろうとして挫折した事がある。理由は幾つかあったのだが主に cappadコレクションでは解析時の負荷とログ投入負荷が重なってしまう。 → 最終的には書き込みが負けてoplogが溢れる。 時系列カラムをshard keyにするとchunk migrationが辛すぎる。 そもそもshardingの信頼性が・・・ という理由だった。 今ならストレージエンジンが早くなったし再挑戦しても良いかもしれない。 ログは非同期に準リアルタイムに拾って投入。 出力元＋時間でshard k… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fcrumbjp.hateblo.jp%2Fentry%2F20130320%2F1363785182" title=" 時系列データとMongoDB2.4の新機能Hash based sharding - 中年engineerの独り言 - crumbjp" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2013-03-20 22:13:02 rich https://crumbjp.hateblo.jp/entry/20130320/1363785182 1.0 100%