SEO优化

The news announcement

什么是robot.txt?
Data: 2019-12-17    编辑:0.0

网站针对蜘蛛设的指示牌是robot.txt。
robot.txt是一个纯文本文件,用于声明该网站中不想被蜘蛛访问的部分,或者指定蜘蛛抓取的部分。
robots.txt不是规定,而是一种约定,需要蜘蛛自觉遵守的一种习俗,当蜘蛛访问一个站点时,它会首先检查该站点是否存在robot.txt
robots.txt放置在一个站点的根目录下,而且文件名必须全部小写。

网站写Robot.txt有什么用
这个文件总体来说是有用的,除了可以禁止和允许搜索引擎的一些行为外,还可以防止在一些不知名的情况下,因为抓取不到这个文件,而记录到错误日志里,导致日志文件体量暴涨。还可以适当控制一些不知名不参与排名的页面或者目录,让蜘蛛资源抓取有用的页面,提高SEO效果,从而获得排名。