窥探各搜索引擎对robots.txt协议的遵守 星期二 2026年8月4日 王佳明 生活 搜索引擎 robots.txt favicon.ico 0人 本网站的favicon.ico文件存放在/admin/css目录下。robots.txt写入:Disallow: /admin禁止所有爬虫对admin目录的访问。理所应当,也禁止了对/admin/css目录下favicon.ico的访问过了一个月,查看各大搜索引擎,发现大部分搜索引擎还是收录了favicon.ico唯一的例外是谷歌。为了检测是否是谷歌对我的favicon.ico文件支持不佳,于是我又修改了robots.txt