Robots文件是当搜索引擎在抓取和访问网站的时候所第一个访问的文件。
我们在这个文件上可以设置搜索引擎。设置哪些页面可以被搜索引擎抓取，还有哪些页面不被搜索引擎抓取。如果是个人网站，涉及到个人隐私的部分可以设置成不被搜索引擎所抓取。这样的话就不会在网站中搜索和检查到。如果是一般性的商业网站，我们会设置成所有的页面都会被抓取。
[声明]本网转载网络媒体稿件是为了传播更多的信息，此类稿件不代表本网观点，本网不承担此类稿件侵权行为的连带责任。故此，如果您发现本网站的内容侵犯了您的版权，请您的相关内容发至此邮箱【qin@198bona.com 】，我们在确认后，会立即删除，保证您的版权。
