BLEXBot这个蜘蛛也是最近爬的比较厉害的一个，属于一家美国的反向链接查询网站（WebMeUp）的蜘蛛程序，它会大量的抓取我们的网站链接，所以一旦我们发现有他的抓取的踪迹，就会发现他真的是大量的抓取你的链接。
这个蜘蛛理论上除了耗费我们的服务器资源之外，也没什么坏处，但对在国内建站只面向国内用户的站长来说，屏蔽是比较好的选择。
实测这个BLEXBot蜘蛛比较自觉，使用robot协议禁止以后它就不再爬了，值得表扬。
User-agent: BLEXBot
Disallow: /还是为了防止哪天不讲武德搞偷袭，彻底在服务器规则禁止更好：
if ($http_user_agent ~* "BLEXBot" )
{return 403;
}毕竟robot只是个协议，属于约定，尊不遵守还是看这些公司自己的设定。
本文链接：https://my.lmcjl.com/post/11077.html
展开阅读全文
4 评论