vasilyjp https://blog.hatena.ne.jp/vasilyjp/ ZOZO TECH BLOG https://techblog.zozo.com/ Web Ruby on Rails こんにちは、フロントエンジニアの茨木です。 本記事ではRailsアプリでクロールディレクティブを安全・効率的に設定する仕組みをご紹介したいと思います。 Web上にあるページは、クローラーと呼ばれるロボットに巡回されて検索エンジンにインデックス登録されます。大規模なサイトにおいてはページを効率よくインデックス登録させる必要があります。その際にクロールディレクティブと呼ばれる様々な設定が必要ですが、管理が複雑になってきます。この問題に対して、VASILYでの解決方法をご紹介します。同じような境遇の方々の参考になれば幸いです。 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftechblog.zozo.com%2Fentry%2Frails_crawl_directives" title="Railsアプリでクロールディレクティブを安全・効率的に設定する仕組み - ZOZO TECH BLOG" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/v/vasilyjp/20170420/20170420121535.jpg Hatena Blog https://hatena.blog 2017-04-25 11:34:00 rich https://techblog.zozo.com/entry/rails_crawl_directives 1.0 100%