搜索引擎周边

有道博客搜索抓取频率加快

2007年4月29日 Post by 散人 in 其他搜索引擎

国内的博客搜索引擎也有不少，但我一直以来只用有道。为什么呢？百度博客搜索太粗糙，基本上只抓取自家百度空间和几个大BSP 的内容；奇虎给我的印象是数据量太小；爱问博客搜索的也差不多是几个BSP 的站内搜索引擎，我都快可以用Google Coop 搭一个出来了；还有一个souyo，首页上太多东西了，用户体验不好，而且搜索结果页面居然还有Google Adsense 广告。

据有道官方博客介绍，最近有道博客搜索的抓取速度有所加快。的确，《搜索引擎周边》的文章在发出之后的三四个小时，在有道上就可以搜索得到。而在以前，一般都是要第二天才能搜到。

从IIS 日志里有关yodao 机器人的记录可以得知，差不多每隔一个小时，有道博客搜索机器人YodaoBot-Blog 便会过来抓取一次我的博客。抓取的方式也很固定，都是直接将rss.xml、atom.xml等跟xml 文件爬一遍，而对于页面文件则不进一步索引。
从IIS 日志里得到的另外一个信息便是：有道博客搜索和网页搜索机器人是分开的，而且博客搜索机器人索引的内容并不会加入到网页搜索结果中。这一点就很令人费解了。博客页面也是网页（特别对于独立blog而言），有道为什么不把这部分内容归入到网页索引数据中呢？
版权所有，转载时必须以链接的形式注明以下声明：
原载于 搜索引擎周边
链接地址 http://www.eryi.org/SearchEngines/yodao-blog-search-expand-database.html