各大搜索引擎蜘蛛Header头中的User-Agent字段信息大全

原创 野人  2022-03-21 22:48  阅读 53 次
电费/话费9折起

今天帮几个站长朋友写了个需求,就是针对特定的网址做屏蔽处理,但是对于搜索引擎的当然是开放的,然而,写的时候就遇到一个问题不知道搜索引擎的蜘蛛User-Agent是多少,我查了下资料,把整理好的信息也给大家发下,我自己也做个记录。

百度蜘蛛:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

百度移动蜘蛛:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

360蜘蛛:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider

搜狗蜘蛛:Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

SOSO蜘蛛:Sosospider+(+http://help.soso.com/webspider.htm)

神马蜘蛛:Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36

BING(必应)蜘蛛:Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

GOOGLE蜘蛛:Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

然后我总结了下这些蜘蛛的相应的特征把:

1、大部分都有含【Spider】这个单词,也就是蜘蛛的意思

2、少部分有【bot】这个单词,有机器的意思

所以结合上面的两个特征,大家就可以根据自己的需求来进行编码了。

本文地址:https://www.yerenwz.com/5954.html
版权声明:本文为原创文章,版权归 野人 所有,欢迎分享本文,转载请保留出处!

发表评论