扫描器及常见爬虫特征

Nessus

Nessus 扫描器的特征信息同样在请求的 URL，Headers，Body 三项里

URL：

nessus
Nessus

Headers：

x_forwarded_for: nessus
referer: nessus
host: nessus

Body：

nessus
Nessus

AWVS

AWVS 扫描器在请求的 URL，Headers，Body 三项里随机包含了能代表自己的特征信息

URL：

acunetix-wvs-test-for-some-inexistent-file
by_wvs
acunetix_wvs_security_testacunetix
acunetix_wvs
acunetix_test

Headers：

Acunetix-Aspect-Password:
Cookie: acunetixCookie
Location: acunetix_wvs_security_testX-Forwarded-Host: acunetix_wvs_security_testX-Forwarded-For: acunetix_wvs_security_testHost: acunetix_wvs_security_testCookie: acunetix_wvs_security_testCookie: acunetix
Accept: acunetix/wvs
Origin: acunetix_wvs_security_testReferer: acunetix_wvs_security_testVia: acunetix_wvs_security_testAccept-Language: acunetix_wvs_security_testClient-IP: acunetix_wvs_security_testHTTP_AUTH_PASSWD: acunetix
User-Agent: acunetix_wvs_security_testAcunetix-Aspect-Queries:任意值
Acunetix-Aspect:任意值

Body (请求的 post 信息)

acunetix_wvs_security_testacunetix

APPScan

Appscan 在请求的 URL，Headers，Body 三项里随机包含了能代表自己的特征信息

URL：

Appscan

Headers：

Content-Type: Appscan
Content-Type: AppScanHeader
Accept: Appscan
User-Agent:Appscan

Body：

Appscan

Webinspect

Webinspect 在请求的 URL，Headers，Body 三项里随机包含了能代表自己的特征信息

URL：

HP404

Headers：

User-Agent: HP ASC
Cookie: webinspect
X-WIPP: 任意值
X-Request-Memo: 任意值
X-Scan-Memo: 任意值
Cookie: CustomCookie
X-RequestManager-Memo: 任意值

Body：

Webinspect

Rsas

Rsas 的主要的特征在 URL 和 Headers 中

URL：

nsfocus

Headers：

User-Agent: Rsas

WebReaver

WebReaver 的特征只在 Headers 中的 UA 中

Headers：

User-Agent: WebReaver

Sqlmap

Sqlmap 在 URL，Headers，Body 中都含有特征值

URL：

sqlmap

Headers

User-Agent: sqlmap (后接版本号，跟当前版本有关系)

Body：

sqlmap

X-Ray

Requests 爬虫

UA 中默认为：python-requests/版本号

百度爬虫

Baiduspider

判断 UA 是否带有 baiduspider 字段

360 爬虫

360Spider

360 搜索蜘蛛爬虫的 UA 为：

Mozilla/5.0(windows NT 6.1; wOw64)ApplewebKit/537.36(KHTML, like Gecko) Chrome /50.0.2661.102Safari/537.36; 360Spider

360 搜索社区认证的 360so 蜘蛛IP段：

• 180.153.232.
• 180.153.234.
• 180.153.236.
• 180.163.220.
• 42.236.101.
• 42.236.102.
• 42.236.103
• 42.236.10.
• 42.236.12.
• 42.236.13.
• 42.236.14.
• 42.236.15.
• 42.236.16.
• 42.236.17.
• 42.236.46.
• 42.236.48.
• 42.236.49.
• 42.236.50.
• 42.236.51.
• 42.236.52.
• 42.236.53.
• 42.236.54.
• 42.236.55.
• 42.236.99.

谷歌爬虫

Googlebot

google 搜索引擎蜘蛛爬虫的 UA 一般为

Mozilla/5.0 (compatible; Googlebot/2.1;+http://www.google.com/bot.html)
Googlebot/2.1(+http://www.googlebot.com/bot.html)
Googlebot/2.1(+http://www.google.com/bot.html)
Googlebot-Image/1.0

google 搜索引擎爬虫的 IP 段为∶

• 66.249.
• 203.208.60.
• 216.239.
• 66.102.
• 64.233.
• 72.14.

必应爬虫

微软 Bing 蜘蛛爬虫的 UA 是

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534+ (KHTML, like Gecko) BingPreview/1.0b
Mozilla/5.0 (Linux; Android 8.0.0; MHA-AL00 Build/HUAWEIMHA-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/68.0.3440.91 Mobile Safari/537.36 BingWeb/6.9.6
Mozilla/5.0 (Linux; Android 8.0.0; MI 6 Build/OPR1.170623.027; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/70.0.3538.110 Mobile Safari/537.36 BingWeb/6.9.6
Mozilla/5.0 (Linux; Android 8.0.0; ONEPLUS A3010 Build/OPR1.170623.032; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/67.0.3396.87 Mobile Safari/537.36 BingWeb/6.9.0
Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 BingPreview/1.0b

一些 IP 段为：

• 207.46.13.
• 157.55.39.
• 40.77.167.

腾讯搜搜爬虫

Sosospider：搜搜网页蜘蛛
Sosoblogspider：搜搜博客蜘蛛
Sosoimagespider：搜搜图片蜘蛛

雅虎爬虫

Yahoo! Slurp：雅虎英文
Yahoo! Slurp China：雅虎中国
YahooFeedSeeker：雅虎订阅
Yahoo Blogs：雅虎博客蜘蛛
Yahoo Image：雅虎图片蜘蛛
Yahoo AD：雅虎广告蜘蛛
Yahoo ContentMatch Crawler：Yahoo 搜索竞价蜘蛛
Yahoo-MMCrawler：雅虎图片

搜狗爬虫

搜狗搜索引擎 UA 为

# PC UA
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
Sogou inst spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
Sogou spider (+http://www.sogou.com/docs/help/webmasters.htm#07)

# 移动 UA
Sogou wap spider(+http://www.sogou.com/docs/help/webmasters.htm#07)

# 新闻 UA
Sogou News Spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

# 图片 UA
Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

# 视频 UA
Sogou Video Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

# 未知 UA
Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

搜狗蜘蛛 IP 段：

• 123.126.113.79-123.126.113.191
• 220.181.89.190
• 220.181.89.189
• 218.30.103.155
• 61.135.189.75
• 220.181.94.228
• 61.135.189.74
• 220.181.89.157
• 220.181.89.165
• 220.181.89.183
• 220.181.89.194
• 218.30.103.80

字节头条爬虫

统一 UA 标志为：Bytespider，具体 UA 为：

Mozilla/5.0 (compatible; Bytespider;[https://zhanzhang.toutiao.com/] AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]
Mozilla/5.0 (iPhone; CPU iPhone OS 7_1_2 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Version/7.0 Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]

网易有道爬虫

YoudaoBot：有道网页
YodaoBot Image：有道图片
YodaoBot-Reader：有道订阅

微软 MSN

MSNBot：主网页爬虫
MSNBot-Media：图片及其它媒体爬虫
MSNBot-NewsBlogs：新闻及blog爬虫
MSNBot-Products：产品及购物爬虫
MSNBot-Academic：学术搜索爬虫

Scrapy 爬虫

默认 UA 为：Scrapy/1.5.0 (+https://scrapy.org)

Scrapy/版本号 (+https://scrapy.org)