窥探各搜索引擎对robots.txt协议的遵守

星期二 2026年8月4日 王佳明 生活 搜索引擎  robots.txt  favicon.ico   0人
窥探各搜索引擎对robots.txt协议的遵守

本网站的favicon.ico文件存放在/admin/css目录下。

robots.txt写入:

Disallow: /admin

禁止所有爬虫对admin目录的访问。

理所应当,也禁止了对/admin/css目录下favicon.ico的访问

过了一个月,查看各大搜索引擎,发现大部分搜索引擎还是收录了favicon.ico

唯一的例外是谷歌。

为了检测是否是谷歌对我的favicon.ico文件支持不佳,于是我又修改了robots.txt