vasilyjp https://blog.hatena.ne.jp/vasilyjp/ ZOZO TECH BLOG https://techblog.zozo.com/ こんにちはVASILYエンジニアの塩崎です。 iQONでは提携先ECサイトからアイテム情報をクロールしています。 クローラーの仕組みを大幅に変更することによって、1ヶ月間で400サイト分のクローラーを製作することができるようになりました。 今までの仕組みですと、2年間で80サイト分ですので、製作速度は100倍になりました。 今回はその仕組みをざっと紹介したいと思います。 ユーザーさんの欲しいアイテムがない！ そもそも、なんでこんなにアリエナイスピードでクローラーを作る必要があったんでしょうか？ iQONにはブランドLIKEという機能があり、ユーザーさんが特定のブランドをお気に入り登録することが… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.zozo.com%2Fentry%2Fcrawler" title="iQONを支える、400サイトのクローラーの裏側 - ZOZO TECH BLOG" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> http://vasily.jp/content/images/tech-blog/shiozaki_20150930/20150930-091012.png Hatena Blog https://hatena.blog 2015-10-13 13:07:43 rich https://techblog.zozo.com/entry/crawler 1.0 100%