360综合搜索爬虫“360蜘蛛”正式推出
2012-08-27 16:28:58   来源：Chinaz   评论：0 点击：

　　站长之家（chinaz.com）8月27日报道：360综合搜索官方今日正式宣布，360综合搜索爬虫-360蜘蛛正式推出。站长可以通过设置网站robots.txt文件来决定是否允许360搜索蜘蛛（360Spider）抓取网站内容。
　　
　　
　　
　　360综合搜索微博站长之家配图
　　
　　如果站长希望自己的网站被360综合搜索收录，可以先检查一下您的网站robots.txt文件是否允许360搜索蜘蛛抓取。如果您的网站还没有允许360搜索蜘蛛抓取，只要在robots.txt文件中添加下面的代码就可以啦：
　　
　　User-agent:360Spider
　　
　　Allow:/
　　
　　据站长之家旗下服务超级监控发现，360搜索蜘蛛在上周就已经出现，之所以没有正式推出，是因为产品刚上线时对robots协议处理有异步延迟的情况。目前，360综合搜索已全面改进。
　　
　　
　　
　　网站日志可以查看到360爬虫记录站长之家配图
　　
　　同时，360综合搜索官方表示，360蜘蛛同样支持disallow命令，如果网站设置了通用的disallow，360搜索是不会去抓取页面的。