gfx https://blog.hatena.ne.jp/gfx/ Islands in the byte stream https://gfx.hatenablog.com/ noindex tagがあるにも関わらずインデックスされているケースを見かけたので調べてみたところ、googlebotに関してはどうやらそういう仕様があるようです。 noindex tag は常にインデックスの削除を行うのだと思っていたのでちょっと驚きました。 メタタグを使用して検索インデックス登録をブロックする - Search Console ヘルプ 重要: noindex メタタグを有効にするには、robots.txt ファイルでページをブロックしないでください。ページが robots.txt ファイルでブロックされると、クローラは noindex タグを認識しません。そのため、たとえば… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fgfx.hatenablog.com%2Fentry%2F2017%2F03%2F31%2F232145" title="&lt;meta name=&quot;robots&quot; content=&quot;noindex&quot;/&gt; でも検索エンジンにインデックスされるケースがある - Islands in the byte stream" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2017-03-31 23:21:45 rich https://gfx.hatenablog.com/entry/2017/03/31/232145 1.0 100%