帮助首页 > 站长帮助中心

关于robots.txt

• 怎么使用robots.txt？
  建议您在站点的根目录下存放一个robots.txt文件。我们的爬虫在第一次抓取您站点时会首先确认根目录下是否有robots.txt文件。例如，您的网站地址是www.abc.com，我们会首先抓取http://www.abc.com/robots.txt再进行后续操作。如无法访问robots.txt文件，系统则默认为您站点的每个链接都可以被抓取。