搜索引擎周边

搜索引擎蜘蛛机器人名称列表

2006年10月10日 Post by 散人 in 其他搜索引擎

网站换服务器了，当然DNS服务器也相应地改变了。正好可以借此观察了一下搜索引擎蜘蛛Spider的变化。
跟往常的观察一样，MSN机器人MSNBot最勤快。在改变DNS的当天下午MSNBot就第一个过来新服务器抓取网站了，不久之后就是Google搜索机器人Googlebot，而且进行了较大范围的抓取。到了天晚上，百度的搜索引擎机器人BaiduSpider和雅虎的机器人Yahoo! Slurp差不多是在同一个时段过来的，都是在晚上21：00左右。而BaiduSpider几乎是对全站重新爬了一遍。
从这个结果来看，这几个搜索引擎的反应速度都比较快，不愧是中国搜索引擎市场的领头羊。
这些勤快的蜘蛛的抓取直接导致了访问高峰期大量带宽被占用。不过在经历了第一天的无序抓取之后，接下来的几天，各大搜索引擎几乎都避开了访问的高峰时段，而是选在凌晨0点以后才过来。

可以由这个地址查看各大搜索引擎机器人名字列表。
2006年12月18日补充：网易也在12月15日推出有道搜索引擎。在正式推出之前，其搜索引擎蜘蛛名称是outfox。
链接地址 http://www.eryi.org/SearchEngines/search-engine-spider-name.html