首页 > 科技 > 业界 > 正文

360综合搜索爬虫“360蜘蛛”正式推出
2012-08-27 16:28:58   来源:Chinaz   评论:0 点击:

  站长之家(chinaz.com)8月27日报道:360综合搜索官方今日正式宣布,360综合搜索爬虫-360蜘蛛正式推出。站长可以通过设置网站robots.txt文件来决定是否允许360搜索蜘蛛(360Spider)抓取网站内容。
  
  
  
  360综合搜索微博站长之家配图
  
  如果站长希望自己的网站被360综合搜索收录,可以先检查一下您的网站robots.txt文件是否允许360搜索蜘蛛抓取。如果您的网站还没有允许360搜索蜘蛛抓取,只要在robots.txt文件中添加下面的代码就可以啦:
  
  User-agent:360Spider
  
  Allow:/
  
  据站长之家旗下服务超级监控发现,360搜索蜘蛛在上周就已经出现,之所以没有正式推出,是因为产品刚上线时对robots协议处理有异步延迟的情况。目前,360综合搜索已全面改进。
  
  
  
  网站日志可以查看到360爬虫记录站长之家配图
  
  同时,360综合搜索官方表示,360蜘蛛同样支持disallow命令,如果网站设置了通用的disallow,360搜索是不会去抓取页面的。
   

相关热词搜索:360综合搜索 360蜘蛛

上一篇:初创型团队容易在用户体验方面犯的十个错误
下一篇:学员"转椅"产品经理 :好声音的自我营销术

分享到: 收藏
评论排行