首页 > 其他分享 >蓝天采集器 采集规则设置

蓝天采集器 采集规则设置

时间:2023-09-25 15:00:29浏览次数:30  
标签:点击 采集 采集器 设置 规则 蓝天 我们

1.创建任务

2.采集规则设置

点击 任务后面的规则进入设置规则页面

请求头建议开启,这样会伪装成蜘蛛访问

3.起始页网址

可以设置栏目页也可以设置列表页

4.内容页网址

内容页网址获取-选择正则(这种比较方便简单)操作完成记得保存,测试一下。

 

 点击保存就好了,可以测试一下。

这里的规则其实还有可以使用xpath;

 

xpath的采集规则呢相对正则来说是更加的快捷,//*@class="news_info"/a1/@href;

*是匹配所有的意思;

@是标签;

class="news_info这个是我们网页唯一的代码标识;

/代表是一层路径,//代表的是两层路径;

a1这里这个1是指的只显示1条,因为很多时候页面上一个名称有好几个链接我们就需要在这里设置只显示一条就好了。

5.获取内容

内容里面我们可以选择数据处理过滤一些标签、空格等

 

略缩图设置;由于我们的发布插件里面没有设置,需要我们手动去设置一下:文件路径在:蓝天采集器安装目录plugin eleasecmsPbootDemoSkycaiji.php

这里是对应了我们的数据库信息;我们也可以多添加一些,只需要和我们的数据库对应起来就好了。

 

以上这个插件修改只是增加略缩图,要是不需要的话不用作任何的修改;点击保存就可以了。

6.发布设置

 发布设置选择适合自己的发布方式,设置完成后点击任务后面的采集就开始采集了。

 

标签:点击,采集,采集器,设置,规则,蓝天,我们
From: https://www.cnblogs.com/logan47537/p/17727944.html

相关文章

  • 蓝天采集器 采集设置
    1.登录蓝天采集器 2.采集设置点击设置 -采集设置,进入设置页面  设置完成记得选择保存。3.图片本地化图片路径建议设置为网站默认,地址也是一样,后期一旦不使用这个采集插件了可以直接删除掉不会影响我图片路径。设置完成记得选择保存。 页面渲染:采集时的页面和打开......
  • 基于DSP的光纤麦克风声音采集系统硬件设计方案总结
    前记 光纤声传感器是一种利用光纤作为传光介质或探测单元的一类声传感器,相比传统电声传感器其具有灵敏度高、频带响应宽、抗电磁干扰等优越特性,可广泛应用于国防安全、工业无损检测、医疗诊断及消费电子等领域。 前段时间做了一个基于光纤传感器的音频信号DSP采集的产......
  • 黄靖—102102151 数据采集与融合第一次实践课
    作业一(1)要求:用requests和BeautifulSoup库方法定向爬取给定网址(http://www.shanghairanking.cn/rankings/bcur/2020 )的数据,屏幕打印爬取的大学排名信息。(2)下面给出代码实现:importrequestsimportbs4importurllib.requestfrombs4importBeautifulSoupdefThriv......
  • 双通道3G/14bit采集+双通道12.6G/16bit回放卡
    UDFMC-704 双通道接收+双通道发射FMC模块满足VITA57.1单宽、导冷规范。模块ADC支持进口AD9689-2000、AD9689-2600、AD6688、AD9208或国产GMS018采集芯片,DAC支持AD9171/AD9172/AD9173/AD9174/AD9175/AD9176回放芯片,输入支持直流或交流耦合方式,输出支持选配放大器。FMC子卡还支持......
  • 日志采集管理工具选型对比
    一、FilebeatFilebeat是用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装,Filebeat监视您指定的日志文件或位置,收集日志事件,并将它们转发到Elasticsearch或Logstash进行索引。Filebeat的工作方式如下:启动Filebeat时,它将启动一个或多个输入,这些输入将在为日志数据指......
  • 3. 设计数据采集模块——基于FPGA的串口发送数据实验
    1.设计数据采集模块基于Send_en的可控设计。使得使用外部信号Data_done来启动数据发送成为可能。放弃使用Tx_done控制的做法。因此把控制Send_en的逻辑放到内部去完成。这样设计更加符合应用。1.1设计要求把Send_en的控制部分放到模块内部去,使用Send_Go作为输入信号可能......
  • 无线远程压力采集终端在消防泵房中的应用
    消防泵房是火灾扑救的重要设施,消防泵房内的设备需要定期进行维护和检查,以确保其处于良好的运行状态。例如,消防水泵应该定期进行启动和停止试验,以确保其功能正常。此外,消防泵房内的各种阀门和管道也应该定期进行检查和维修,以确保其密封性和灵活性。然而,传统的检测方法存在着一定的缺......
  • 数据采集实验一
    实验一作业①(1)实验1-1frombs4importBeautifulSoupfromurllibimportrequestimporturlliburl="http://www.shanghairanking.cn/rankings/bcur/2020"res=urllib.request.urlopen(url)data=res.read().decode()#爬取网页数据soup=BeautifulSoup(data,&......
  • 无线振弦采集仪应用隧道安全监测的方案解析
    无线振弦采集仪应用隧道安全监测的方案解析隧道是一种特殊的工程结构,它们在道路、铁路和地铁等交通设施中起着至关重要的作用。隧道安全监测是确保隧道运行安全的必要手段之一,其中振弦采集仪是一种常用的监测设备。在本文中,我们将分析无线振弦采集仪在隧道安全监测中的应用方案。......
  • ubuntu下使用rtaudio采集桌面音频&扬声器音频
    最近在做国产化系统的音频采集,Ubuntu/Kylin/UOS下可以使用PulseAudio来控制音频输入输出,可以直接使用aptinstalllibpulse-dev获取相关库进行开发。不过我选择使用封装更好的RtAudio来进行ubuntu下的音频采集,RtAudio提供了一套跨平台的音频输入输出控制API,而且在linux下除了Puls......