目前支持识别的搜索引擎ip蜘蛛：

百度蜘蛛;谷歌蜘蛛;神马蜘蛛;必应蜘蛛;搜狗蜘蛛;yandex蜘蛛;360蜘蛛;头条蜘蛛

---

对于一个攻击者,或者采集者,伪装成搜索引擎,很容易躲过你的肉眼检查,兴奋的你还在为搜索引擎来访而洋洋得意的时候,其实是个假蜘蛛

如果你的站点对搜索引擎蜘蛛要求比较精细,你可以通过openresty的resty.dns.resolver模块+user-agent,在content_by_lua_file中实现精确的访客控制！

通过ip反向查询蜘蛛,可以让假引擎蜘蛛现行,直接扼杀在黑名单中！

识别出假蜘蛛处理的方法有很多,不再一一细说！

---

部分官方已明确给出了确定真实蜘蛛的方法,比如百度官网所说,可以使用dns反向解析,可以确认正确的蜘蛛,比如：

E:bugscansplit>nslookup 220.181.108.80
服务器:  public1.114dns.com
Address:  114.114.114.114
名称:    baiduspider-220-181-108-80.crawl.baidu.com
Address:  220.181.108.80

    以上就是本篇文章【查询IP是否为搜索引擎蜘蛛】的全部内容了，欢迎阅览 ！ 文章地址：http://dfvalve.xrbh.cn/quote/7102.html 
     行业      资讯      企业新闻      行情      企业黄页      同类资讯      网站地图      返回首页 迅博思语资讯移动站 http://keant.xrbh.cn/ , 查看更多