首页 > 其他分享 >域名采集工具爬域名软件的简单使用心得

域名采集工具爬域名软件的简单使用心得

时间:2023-06-02 11:23:34浏览次数:75  
标签:网址 网站 可以 导出 采集 域名 心得

域名采集对我们站长和程序员来说,都是经常要用到的,比如要找我们可能用来发信息,采集数据,还有拿shell的 或者是无法访问的域名批量注册之类的 等等吧.. 反正就是个人有个人的各种用处...

 

首先来看下工具的界面功能,其实不需要设置什么,直接点开始按钮就能开始采集工作

 

28c7b6ad3f2c7caa2057be11281bbe9d_16839773338cfd8e

 

下面给大家介绍一下各个部分的功能说明:

左上角部分 

 

image

 

 

【按钮区】  

开始采集 - 开始采集域名,点击后会变成停止采集,点击后会停止采集

读取进度 - 读取之前保存的进度,可以继续上次的进度采集

保存进度 - 将采集进度保存下来,可以关闭电脑,下次打开电脑可以通过读取进度继续采集

 

【配置区】

多少分钟自动保存进度 - 此功能是为了避免,在采集过程中电脑意外断电造成数据未来得及保存的情况

多少个停止采集 - 我们要设定采集的域名数量,以万为单位 比如填写50就是采集50万个

多少线程数 - 就是采集的速度比如20线程就是同时访问20个网站去采集,这里线程数大家的设置都不一样,根据自己的宽带决定,比如你家的宽带使用的是100M的那一般开100个线程是没问题的,如果不想让软件占用太多的网络,可以把线程适当调低一点

采集二级域名 - 因为有些论坛或者博客会以bbs和blog开头,还有移动站点开头的wap或m ,如果你想采集这一类的就在这里打钩,我这里只采集主域名,所以一般不打钩

下边的日志记录,会显示软件运行期间的一些状态日志!

 

 

右侧是一个数据图标,这个可以很方便的查看当前采集状况。

 

 

image

 

 

然后是下半部分:

image

 

采集关键词 -  这里我们输入 钢材 , 软件会从百度去搜索钢材,拿到搜搜结果中的网之后,会从这些钢材网站里开始爬取他们的外链,然后再从这些外链网址中去爬取外链。。。无限循环,无线扩散,达到采集域名的目的。这里也可以输入网址以http开头就行,如果输入的是网址那么软件就会直接去采集这个网址中的域名,然后外链扩散

 

动态监控 - 这里会间隔几秒钟访问其中的域名网址,这些网址的内容通常是实时变化的,比如站长之家的查询页面:

image

我们可以看到这里是实时变化的,而且有很多新网站的站长会到这里来查询,我们正好可以实时监控这些页面,达到采集域名的目的,还有很多类似的页面,您可以自己写到动态监控的输入框里,一行一个即可

 

到这里采集功能就介绍完毕了,下面我们来说手导出域名的功能:

 

image

 

导出项目介绍:

【导出项目】

未验证最新采集 - 这是我们刚刚采集回来的新域名,还没有验证他是否能正常访问呢

已验证中文网站 - 这里的域名是已经验证过了,域名可以正常的打开并访问,并且网站页面包含中文,一般可以定义为中国的网站

已验证外文网站 - 域名可以正常访问,但是页面中没有发现包含中国字,一般可以判断为国外的网站

已验证报错网站 - 这里可以肯定是打不开的域名,一般是网站服务器挂了,或者是域名到期了没续费,一般这里的域名可以用来做老域名检测,喜欢买老域名的可以拿这里的域名

 

【导出配置】

附加前缀 - 因为我们采集的是一级主域名,一般的网站主页都会有www开头,所以我们可以在导出的时候给他批量添加前缀

域名分隔符 -  \n的意思就是换行, 有部分电脑上  \r\n 才能代表回车换行,这个一般不用修改,如果导出的域名没换号,可以改成\r\n

导出位置 - 一般导出都是从0到最后一个,但是有时候我们之前已经导出了一批了比如100万个,我们想从100万往后导出,那就可以用这个功能设置了

 

 

右侧的设置就更简单了

image

 

指定域名后缀 - 比如我们想要导出的域名指定后缀,我们只需要 .net 和 .com的域名,就勾选指定后缀后面的启用,然后在下边写上 .net 和 .com即可

 

排除特定字符 - 比如我们不需要倒出一些 gov相关的域名,那我们就点启用,然后下边写上 .gov.cn 这类的就会排除,gov的域名是干什么用的大家应该都懂吧

 

 

对了软件直接可以下载使用,下载链接: https://niu5.com/download/ixoYJGBv.zip

 

 

好了,基本的功能使用都给大家介绍完啦,还有什么不懂的可以在我的博客下面留言问我哦, 

 

另外还有一款不错的根据纯关键词采集网址的,那个就是采集出来的网址标题关键词描述中肯定包含指定的关键词,没有其他的杂项网址,下次再给大家发出来。

 

下次再跟大家聊天其他软件的使用心得。。。

 

标签:网址,网站,可以,导出,采集,域名,心得
From: https://www.cnblogs.com/baihehua/p/17451218.html

相关文章

  • 电商数据分析--常见的数据采集工具及方法
    电商数据分析--常见的数据采集工具及方法数据采集工具火车采集器:可以做数据抓取,数据清洗、分析、挖掘、可视化等。搜集客:采集数据,所有爬虫需要在自己电脑上跑。八爪鱼:免费版、付费版(云采集)。有固定模板,也可以自定义任务。python爬虫:自行编写代码爬取数据(对python编程有一定的要求......
  • 【亲测有效】wordpress多域名使用wp rocket插件问题
    wordpress多域名绑定,但是又想在主域名删除其他站缓存,这个时候在主站的默认清理按钮是无效的,只能代码方式实现。 //cleanhttp://your-site.com/contact/rocket_clean_files('http://your-site.com/contact/');//cleanhttp://your-site.com/contactandhttp://your-si......
  • 微信公众平台 网页授权域名设置
    目录是公众号设置-功能设置-网页授权域名设置 页面说明如下:用户在网页授权页同意授权给公众号后,微信会将授权数据传给一个回调页面,回调页面需在此域名下,以确保安全可靠。注意事项:1、回调页面域名或路径需使用字母、数字及“-”的组合(例:wx.qq.com或wx.qq.com/mp),不支持IP......
  • python dig 模拟—— DGA域名判定用
     #!/usr/bin/envpythonimportdns.resolver,sysdefget_domain_ip(domain):"""GettheDNSrecord,ifany,forthegivendomain."""dns_records=list()try:#getthednsresolutionsforthisdomain......
  • wireshark 查找 DNS 域名——编辑里查找 选择分组详情里去按照字符串搜索即可
    ......
  • webshell后门中执行交互命令看到的sysmon数据采集和检测
    下载phpstudy,链接:https://public.xp.cn/upgrades/phpStudy_64.zip,如下图启动wnmp。  webshell内容:<?phpecho"Yourresponseis:";?><?php@eval($_GET['cmd']);?>写入C:\phpstudy_pro\WWW下的shell.php文件。 浏览器执行命令:localhost/shell.php?cmd=syste......
  • windows下通过net user add和powershell添加用户,sysmon仅仅采集到进程,而在windows安全
    执行操作:C:\Windows\system32>netuser/add"jack""fuckoff"命令成功完成。C:\Windows\system32>powershellWindowsPowerShell版权所有(C)MicrosoftCorporation。保留所有权利。尝试新的跨平台PowerShellhttps://aka.ms/pscore6PSC:\Windows\system32&g......
  • 我的sysmon配置,默认配置就看到了进程采集,其他数据采集还是要配置下的
    我的效果:运行:REGADDHKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Run/veKey/tREG_SZ/d"powershell-filehelloword.ps1"   我的配置文件:Sysmon64.exe-cmyconfig.xml<!--sysmon-config|ASysmonconfigurationfocusedondefault......
  • 域名的作用和注意事项
    1.域名主要是起到一个方便记忆的作用;2.访问域名最终本质上是访问IP,需要DNS能够解析这个域名得到对应的IP(DNS也包括本地的hosts文件),因此要求DNS的配置是正确的;3.开通域名的网络访问权限本质上是开通IP的网络访问权限;4.域名可以绑定多个IP;5.基于3,如果域名绑定了新的IP(DNS配置改......
  • jmeter 自定义函数和Sampler(采集器)
    第一个插件自定义函数(Function)代码具体如下,生成jar放到lib\ext目录下即可。/*代码路径中,一定要放在functions目录中,否则jmeter会识别自定义函数失败*/packageinterfacePerformance.functions;importjava.util.Collection;importjava.util.LinkedList;importjav......