很多SEO从业者刚接触这个行业的时候,经常会问——什么是百度蜘蛛?我们可以理解百度蜘蛛是用来抓取网站链接的IP。边肖经常听说百度蜘蛛来的太频繁,服务器要被抓。如果不能识别百度蜘蛛,怎么知道是百度蜘蛛[...]
很多SEO从业者刚接触这个行业的时候,经常会问——什么是百度蜘蛛?我们可以理解百度蜘蛛是用来抓取网站链接的IP。边肖经常听说百度蜘蛛来的太频繁,服务器会被抓到爆炸。如果不能识别百度蜘蛛,怎么知道百度蜘蛛被抓爆炸了?也有百度蜘蛛不来的情况,很多站点想得到百度蜘蛛的IP段,想加IP到白名单里,但是无法识别百度IP。
那怎么才能识别出正确的百度蜘蛛呢?来来,就做两件事正确识别百度蜘蛛
首先,查一下UA。如果UAs都错了,可以直接判断百度没有搜索到的蜘蛛。迄今宣布的普遍获得是:
移动UA:Mozilla/5.0(Linux;u;Android 4 . 2 . 2;zh-cn;)AppleWebKit/534.46 (KHTML,likeGecko)版本/5.1 Mobile Safari/10600.6.3(兼容;baiduspider/2.0;+http://www . Baidu . com/search/spider . html)
PC UA:Mozilla/5.0(兼容;baiduspider/2.0;+http://www . Baidu . com/search/spider . html)
添加渲染UA:
移动UA:UA:Mozilla/5.0(iPhone;CPU iPhone OS 9 _ 1 like MAC OS X)apple WebKit/601 . 1 . 46(KHTML,like Gecko)版本/9.0 Mobile/13B143 Safari/601.1(兼容;baiduspider-render/2.0;+http://www . Baidu . com/search/spider . html)
PC UA:Mozilla/5.0(兼容;baiduspider-render/2.0;+http://www . Baidu . com/search/spider . html)
二、反向检查IP
站长可以通过IP的DNS反向查找来判断某个蜘蛛是否来自百度搜索引擎。根据不同平台如linux/windows/os的不同认证方式,认证方式如下:
(1)在linux平台下,可以使用host ip命令来反转ip,以确定它是否来自Baiduspider。Baiduspider的主机名以* Baidu . com或*.baidu.jp的格式命名,如果不是*.baidu.com或* .baidu.jp,就是冒名顶替。
(2)在windows平台或IBM OS/2平台上,可以使用nslookup ip命令反向ip,确定是否被Baiduspider抓取。打开命令处理器,输入nslookup xxx.xxx.xxx.xxx(ip地址)解析ip,判断是否被Baiduspider抓取。Baiduspider的主机名以* Baidu . com或*.baidu.jp的格式命名,如果不是*.baidu.com或* .baidu.jp,就是冒名顶替。
(3)在mac os的平台上,可以使用dig命令反向ip,判断是否来自Baiduspider。打开命令处理器,输入dig xxx.xxx.xxx.xxx(ip地址)解析ip,判断是否被Baiduspider抓取。Baiduspider的主机名以* Baidu . com或*.baidu.jp的格式命名,如果不是*.baidu.com或* .baidu.jp,就是冒名顶替。