本网站的favicon.ico文件存放在/admin/css目录下。

robots.txt写入：

Disallow: /admin

禁止所有爬虫对admin目录的访问。

理所应当，也禁止了对/admin/css目录下favicon.ico的访问

过了一个月，查看各大搜索引擎，发现大部分搜索引擎还是收录了favicon.ico

唯一的例外是谷歌。

为了检测是否是谷歌对我的favicon.ico文件支持不佳，于是我又修改了robots.txt

写入：

Disallow: /admin/data/

Allow: /admin/css/

三天以后，再次查看各大搜索引擎，发现谷歌恢复了对favicon.ico的抓取

显然除了谷歌外，其他搜索引擎均为完全遵守robots.txt协议