我们的一些事 / SOME OF THE THINGS ABOUT US

SEO优化

The news announcement

什么是robot.txt?
Data: 2019-04-12    编辑:吴

网站针对蜘蛛设的指示牌是robot.txt。
robot.txt是一个纯文本文件,用于声明该网站中不想被蜘蛛访问的部分,或者指定蜘蛛抓取的部分。
robots.txt不是规定,而是一种约定,需要蜘蛛自觉遵守的一种习俗,当蜘蛛访问一个站点时,它会首先检查该站点是否存在robot.txt
robots.txt放置在一个站点的根目录下,而且文件名必须全部小写。