帮助首页 > 站长帮助中心

关于robots.txt

• 怎样分别指定不同的网络爬虫？
  这个操作很简单，只要分别指定“谁能或不能访问怎样的链接”即可。例如：
  User-Agent:  YodaoBot
  Disallow:
  
  User-Agent: *
  Disallow: /private
  上面的robots.txt表明，名为YodaoBot的爬虫可以抓所有的内容，其它名称的爬虫不能抓以"/private"开头的链接。