窥探各搜索引擎对robots.txt协议的遵守
星期二 2026年8月4日 王佳明 生活 搜索引擎 robots.txt favicon.ico 0人
本网站的favicon.ico文件存放在/admin/css目录下。
robots.txt写入:
Disallow: /admin
禁止所有爬虫对admin目录的访问。
理所应当,也禁止了对/admin/css目录下favicon.ico的访问
过了一个月,查看各大搜索引擎,发现大部分搜索引擎还是收录了favicon.ico
唯一的例外是谷歌。
为了检测是否是谷歌对我的favicon.ico文件支持不佳,于是我又修改了robots.txt
