robot文件的重要性及巧用robot提升网站权重

　　robot文件的重要性及巧用robot提升网站权重

　　相信只要系统的学过的人员都会知道robot协议是干什么的，它主要是告诉爬行王章的蜘蛛哪里可以抓，哪里不能抓，这样做有什么用处呢?可能有学员问了，我们不是希望自己的网站被蜘蛛抓取吗?怎么还要禁止它啊?原因主要有这几点：

　　首先，通过robot协议我们可以减少网站中无效页面的收录，集中首页的权重

　　蜘蛛每天来我们网站抓取的次数和停留时间都是有限的，这就需要我们对蜘蛛的爬行做一个轨迹去引导蜘蛛在短时间内爬行我们希望它抓取的内容，这时候robot就起到至关重要的作用了，我们通过设置robot可以有效的提高搜索引擎蜘蛛的爬行效率，将JS、或CSS这样的内容直接屏蔽掉，这样不仅可以大大提高收录质量，还能做到集中权重，有效提升其他页面的排名。

　　其次，网站的安全性

　　有许多网站设置了会员功能，只有用户注册会员后才能享有某些功能，这样的网站一般都有一个专门用于存放用户账号和密码的文件夹，这个时候如果你没有设置robot文件，那么你的网站的会员资料可能就会被蜘蛛抓取，那么可能就会造成网站的用户信息泄露。比如说写：Disallow：/admin/，这个admin文件夹里放的就是你们网站的信息，当然每个网站的后台目录都不一样，所以具体写法就需要我们视情况而定。

　　总结：robot协议是网站与搜索引擎直接的协议，这个协议并不是每个蜘蛛都会遵守的，但是大部分的蜘蛛都会遵循协议。Robot.txt写的好与差直接影响着网站的排名，所以站长朋友还是要把这个武器充分运用好，这样对你的网站排名是有利的，当然，如果你想屏蔽某类蜘蛛的爬取还可以通过书写去限定这些蜘蛛的爬行。