窥探各搜索引擎对robots.txt协议的遵守

星期二 2026年8月4日 王佳明 生活 搜索引擎  robots.txt  favicon.ico   0人

本网站的favicon.ico文件存放在/admin/css目录下。

robots.txt写入:

Disallow: /admin

禁止所有爬虫对admin目录的访问。

理所应当,也禁止了对/admin/css目录下favicon.ico的访问

过了一个月,查看各大搜索引擎,发现大部分搜索引擎还是收录了favicon.ico

唯一的例外是谷歌。

为了检测是否是谷歌对我的favicon.ico文件支持不佳,于是我又修改了robots.txt

警惕劫持搜索引擎来路木马

星期一 2013年4月15日 王佳明 技术 搜索引擎  劫持.木马   0人

今天本人突然发现,一个网站从搜索引擎点入就被劫持到另一个恶意网站,在地址栏输入网址则访问正常,果断查看首页文件,发现被include一个陌生的ASP文件,进去一看,是一段根据搜索引擎来路判断劫持的跳转文件。
此类劫持,平常不易发现,诸位需要警惕,特别是容易被不法之徒,用于将正规网站劫持到钓鱼网站。

警惕劫持搜索引擎来路木马

星期一 2013年4月15日 王佳明 技术 搜索引擎  劫持.木马   0人

今天本人突然发现,一个网站从搜索引擎点入就被劫持到另一个恶意网站,在地址栏输入网址则访问正常,果断查看首页文件,发现被include一个陌生的ASP文件,进去一看,是一段根据搜索引擎来路判断劫持的跳转文件。

此类劫持,平常不易发现,诸位需要警惕,特别是容易被不法之徒,用于将正规网站劫持到钓鱼网站。