首页SEO优化技术

如何正确识别百度蜘蛛?只做这两件事

原创2021-05-13 02:25:32 200

很多SEO从业者刚接触这个行业的时候,经常会问——什么是百度蜘蛛?我们可以理解百度蜘蛛是用来抓取网站链接的IP。边肖经常听说百度蜘蛛来的太频繁,服务器要被抓。如果不能识别百度蜘蛛,怎么知道是百度蜘蛛[...]

很多SEO从业者刚接触这个行业的时候,经常会问——什么是百度蜘蛛?我们可以理解百度蜘蛛是用来抓取网站链接的IP。边肖经常听说百度蜘蛛来的太频繁,服务器会被抓到爆炸。如果不能识别百度蜘蛛,怎么知道百度蜘蛛被抓爆炸了?也有百度蜘蛛不来的情况,很多站点想得到百度蜘蛛的IP段,想加IP到白名单里,但是无法识别百度IP。

那怎么才能识别出正确的百度蜘蛛呢?来来,就做两件事正确识别百度蜘蛛

首先,查一下UA。如果UAs都错了,可以直接判断百度没有搜索到的蜘蛛。迄今宣布的普遍获得是:

移动UA:Mozilla/5.0(Linux;u;Android 4 . 2 . 2;zh-cn;)AppleWebKit/534.46 (KHTML,likeGecko)版本/5.1 Mobile Safari/10600.6.3(兼容;baiduspider/2.0;+http://www . Baidu . com/search/spider . html)

PC UA:Mozilla/5.0(兼容;baiduspider/2.0;+http://www . Baidu . com/search/spider . html)

添加渲染UA:

移动UA:UA:Mozilla/5.0(iPhone;CPU iPhone OS 9 _ 1 like MAC OS X)apple WebKit/601 . 1 . 46(KHTML,like Gecko)版本/9.0 Mobile/13B143 Safari/601.1(兼容;baiduspider-render/2.0;+http://www . Baidu . com/search/spider . html)

PC UA:Mozilla/5.0(兼容;baiduspider-render/2.0;+http://www . Baidu . com/search/spider . html)

二、反向检查IP

站长可以通过IP的DNS反向查找来判断某个蜘蛛是否来自百度搜索引擎。根据不同平台如linux/windows/os的不同认证方式,认证方式如下:

正确识别百度蜘蛛

(1)在linux平台下,可以使用host ip命令来反转ip,以确定它是否来自Baiduspider。Baiduspider的主机名以* Baidu . com或*.baidu.jp的格式命名,如果不是*.baidu.com或* .baidu.jp,就是冒名顶替。

(2)在windows平台或IBM OS/2平台上,可以使用nslookup ip命令反向ip,确定是否被Baiduspider抓取。打开命令处理器,输入nslookup xxx.xxx.xxx.xxx(ip地址)解析ip,判断是否被Baiduspider抓取。Baiduspider的主机名以* Baidu . com或*.baidu.jp的格式命名,如果不是*.baidu.com或* .baidu.jp,就是冒名顶替。

(3)在mac os的平台上,可以使用dig命令反向ip,判断是否来自Baiduspider。打开命令处理器,输入dig xxx.xxx.xxx.xxx(ip地址)解析ip,判断是否被Baiduspider抓取。Baiduspider的主机名以* Baidu . com或*.baidu.jp的格式命名,如果不是*.baidu.com或* .baidu.jp,就是冒名顶替。

标签:
随机站点
随机快审展示 刷新 快审榜
加入快审,优先展示

加入VIP