百度官方教你如何正确识别百度蜘蛛

很多站长查看网站日志的时候，会看到有百度蜘蛛来访问自己的网站，但有时候会发现真真假假的蜘蛛都有来访，但不知道如何识别真假。下面魏艾斯笔记分享一下百度官方对于如何正确识别百度蜘蛛的教程，以及老魏的一些判断方法汇总。

UA是 User agent的缩写。如果UA不对就能直接判断不是百度搜索的蜘蛛。

找到并打开你的网站日志（虚拟主机、服务器都有），搜索 Baiduspider，按照下面百度官方公布过的UA自行比对：

移动UA：Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

PC端 UA：Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

新增渲染UA:

移动UA：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA：Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

小程序UA：Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

大家用日志中找到的 UA与上述的 UA比对一下，从这个角度能说明 UA 是否真实。

但是，这不代表就是百度搜索的蜘蛛，因为任何人都可以伪造这么一个 UA的访问记录，来仿冒百度搜索蜘蛛的身份。下面我们再看看进一步合适蜘蛛IP的身份。

上面的蜘蛛UA只是一个简单的判断方式，但不完全准确。下面分享通过 DNS 反查 IP 的方式，来判断蜘蛛是否来自百度搜索引擎。

针对不同平台的验证方法也不同，我们本地常用的 Linux/windows/os 三种平台的验证方法如下：

• Windows平台按键盘的视窗键 win+R，在运行中输入cmd，回车后看到命令行窗口，使用nslookup ip命令反向解析 ip 判断对方是否是来自 Baiduspider 的抓取。
• Linux平台使用 host ip命令反解ip来判断是否来自Baiduspider的抓取。
• mac os平台使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。

打开命令窗口 输入nslookup xxx.xxx.xxx.xxx(IP地 址)，回车。看返回结果，Baiduspider 的 hostname以.baidu.com 或.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。

老魏实测网上公开的一些百度蜘蛛IP，用上面方法有的是符合，有的直接返回 找不到， Non-existent domain，这样的就不好判断了。

宝塔面板会不定期更新各大搜索引擎的蜘蛛IP，供用户使用。

宝塔面板付费防火墙提供了蜘蛛池，通过手动点击“同步”的方法，不定期汇总各大搜索引擎蜘蛛，避免意外的屏蔽对网站SEO产生不利影响。

如果你的网站打算长期运行，老魏建议购买宝塔付费防火墙使用，保障服务器及网站安全、平稳运行。

购买方式有以下三种：

• 单独购买宝塔付费防火墙，按月付费
• 购买宝塔面板专业版或企业版，可免费使用付费防火墙

网上有很多已公布的各大搜索引擎蜘蛛 IP地址，大家可以用做参考。

把自己网站日志的IP去搜索匹配一下。

当然了因为公布的年代早晚、真假不一等多种问题，可信度不高，只能参考，不能当做判断的依据。

把以上的方法综合起来判断，有助于我们进一步确认是否是百度蜘蛛IP，从而决定是否要屏蔽这个IP的访问。

更多屏蔽IP的方法：腾讯云CVM服务器安全组屏蔽IP/IP段访问的方法

阿里云ECS服务器安全组屏蔽IP/IP段访问