首页 > 其他分享 >SEO知识:2022年最新蜘蛛UA大全(持续更新中.......)

SEO知识:2022年最新蜘蛛UA大全(持续更新中.......)

时间:2022-12-12 13:23:54浏览次数:123  
标签:5.0 http Mozilla ....... compatible 蜘蛛 2022 SEO com

1、 百度蜘蛛:Baiduspider Baiduspider-image baiduboxapp Baiduspider-render。IP段参考

#PC搜索UA:

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

#移动搜索UA

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

图片搜索:Baiduspider-image

视频搜索:Baiduspider-video

新闻搜索:Baiduspider-news

百度搜藏:Baiduspider-favo

百度联盟:Baiduspider-cpro

2、 谷歌蜘蛛:Googlebot (很勤奋的蜘蛛) Googlebot-Image Google-Read-Aloud Googlebot-Video。IP段参考

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.5249.103 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

3、 360蜘蛛:360Spider (很勤奋的蜘蛛)。IP段参考

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)

4、 搜狗蜘蛛:SogouSpider, Sogou web spider。IP段参考

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07

5、 神马蜘蛛:YisouSpider (UC浏览器默认搜索sm.cn的蜘蛛)。IP段参考

Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36

6、 必应蜘蛛:bingbot BingPreview。IP段参考

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/*.*.*.* Safari/537.36

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/*.*.*.* Mobile Safari/537.36  (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

7、 有道蜘蛛:YoudaoBot,YodaoBot。IP段参考

Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/; )

8、 MSN蜘蛛:msnbot,msnbot-media。IP段参考

*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)

9、 雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!。IP段参考

Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

10、 Yandex蜘蛛:YandexBot (俄罗斯搜索引擎)。IP段参考

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

11、 DNSPOD监控蜘蛛:DNSPod-Monitor。IP段参考

DNSPod-Monitor/2.0

12、 MJ12bot:MJ12bot (英国SEO分析页面蜘蛛)。IP段参考

Mozilla/5.0 (compatible; MJ12bot/v1.4.0; http://www.majestic12.co.uk/bot.php?+)

13、 SEMrush:SemrushBot (美国SEO综合分析网站的蜘蛛)。IP段参考

Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)

14、 头条蜘蛛:Bytespider (今日头条旗下:高频抓取 被很多站长封禁后 有所改善)。IP段参考

Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang.toutiao.com/) 

15、 华为蜘蛛:AspiegelBot ( 华为旗下Aspiegel公司 疯狂高频爬行无节制 )。IP段参考

HuaweiSymantecSpider/[email protected]+(compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR ; http://www.huaweisymantec.com/cn/IRL/spider)

标签:5.0,http,Mozilla,.......,compatible,蜘蛛,2022,SEO,com
From: https://www.cnblogs.com/chig/p/16975782.html

相关文章

  • 2022.12.12项目学习笔记
    1、github上添加SSHkey 参考链接:https://blog.csdn.net/qq_38230265/article/details/79108862?utm_source=app&app_version=4.5.82、解决npminstall报错npmERR......
  • 【2022-12-08】短暂而艰难
    20:00我们每个人都需要在生活中建立这样的时刻:限制信息输入,将音量关小,以便更深刻地觉知周围发生的事情。                    ......
  • 2022icpc杭州铜牌题题解
    A.ModuloRuinstheLegend\[求s、d,使\suma_i+sn+d\frac{n(n+1)}{2}\(\bmodm)最小\\设sum=\suma_i\(\bmodm),t=gcd(n,\frac{n(n+1)}{2})\\原式=sum+kt\(\bm......
  • x64dbg 2022 最新版编译方法
    x64dbg调试器的源码编译很麻烦,网络上的编译方法均为老版本,对于新版本来说编译过程中会出现各种错误,编译的坑可以说是一个接着一个,本人通过研究总结出了一套编译拳法可以完......
  • springcloud-alibaba dubbo/feign 20220905
    Feign组件为内部服务通信(声明式HTTP客户端)简洁、方便、优雅微服务之间的通信RESTAPIHTTP并不会开启KeepAlive功能,当前连接为短连接,每次请求都需TCP连接,效率低下 外部服......
  • Pycharm2022配置本地anaconda3环境
    PyCharm2022版本配置本地anaconda3环境,可能Pycharm更新了,是网上的教程都不太行.....安装anaconda3正常安装即可教程https://blog.csdn.net/MSDCP/article/details/12......
  • OpenHarmony社区运营报告(2022年11月)
     本月快讯•11月24日,第二十届中日韩三国IT局长OSS会议暨东北亚开源软件推进论坛以在线形式成功召开。经审核评选认定,OpenAtomOpenHarmony(以下简称“OpenHarmony”)开......
  • 弹窗-2022-12-12
    importjavax.swing.*;importjava.awt.*;importjava.awt.event.ActionEvent;importjava.awt.event.ActionListener;publicclassDialogDemoextendsJFrame{publ......
  • 2022-2023-1 20221319《计算机基础与程序设计》课程总结
    班级:https://edu.cnblogs.com/campus/besti/2022-2023-1-CFAP作业要求:https://www.cnblogs.com/rocedu/p/9577842.html#WEEK15作业目标:课程总结作业正文:https://www.cnb......
  • NeurIPS 2022-10大主题、50篇论文总结
    2672篇主要论文,63场研讨会,7场受邀演讲,包括语言模型、脑启发研究、扩散模型、图神经网络……NeurIPS包含了世界级的AI研究见解,本文将对NeurIPS2022做一个全面的总结。第3......