标签：robots

2020-06-23只缘余生阅读(785)评论(0)赞(8)

什么是Robots文件 Robots文件其实就是网站和搜索引擎之间的一个协议，或者说是沟通桥梁。Robots文件是txt格式的文件，它使用txt文本的格式来告诉爬虫我当前网站哪些地方你可以访问，那些网站不允许被访问。如果网站之间并不存在Ro...