首页 > 其他分享 >scrapy:日志和post请求

scrapy:日志和post请求

时间:2023-05-26 15:01:16浏览次数:36  
标签:LOG py scrapy 设置 post 日志

1. scrapy的日志信息设置

image-20230526133228313

配置文件settings.py设置:
默认的级别为DEBUG,会显示上面所有的信息
LOG_FILE : 将屏幕显示的信息全部记录到文件中,屏幕不再显示,注意文件后缀一定是.log
LOG_LEVEL : 设置日志显示的等级,就是显示哪些,不显示哪些

image-20230526134528146

image-20230526134812739

image-20230526135024272

image-20230526135151415

并没有正常打印,并且提示被百度反爬了,需要设置一下(settings.py)

可以看到正常情况下日志比较多,顺便设置一下

image-20230526135646553

image-20230526135706720

2. scrapy的post请求

image-20230526135911821

image-20230526140449850

image-20230526141044520

image-20230526140954834

image-20230526141938190

image-20230526142019769

image-20230526142122648

image-20230526144357435

3. scrapy的代理

image-20230526144951061

标签:LOG,py,scrapy,设置,post,日志
From: https://www.cnblogs.com/yppah/p/17434755.html

相关文章

  • 使用Postman调用.NET Core的gRPC服务
     项目引入<PackageReferenceInclude="Grpc.AspNetCore.Server.Reflection"Version="2.51.0"/> net6.0的项目Program.cs需要添加的代码//注入服务builder.Services.AddGrpcReflection();//添加endpointapp.MapGrpcReflectionService(); 启动项目   ......
  • linux服务器,nginx日志切割保存
    我们都知道,默认情况下,nginx的项目log是一直被累计写入的,随着时间越久,那么这个文件就会越大,这个时候如果我们要去做一些查找和排查就会比较困难,因为日志文件太大,操作起来比较费劲。因此我们为了规避这个问题,提出日志切割的方案。那日志切割的原理是怎么样的,我们来分析一下,我们先......
  • Scrapy设置headers、cookies
    在setting.py文件中添加cookies与headers---最简单的方法settings文件中给Cookies_enabled=False和DEFAULT_REQUEST_HEADERS解注释在settings的DEFAULT_REQUEST_HEADERS配置的cookie就可以使用了推荐使用这种方法,因为可以用shell进行调试样例:......
  • log4j的日志级别
    1.优先级:OFF>FATAL>ERROR>WARN>INFO>DEBUG>TRACE> ALL)2.等级解释:ALL:最低等级的,用于打开所有日志记录。TRACE:designatesfiner-grainedinformationaleventsthantheDEBUG.Since:1.2.12,很低的日志级别,一般不会使用。DEBUG:指出细粒度信息事件对调试应用程序是非常有帮助的,主......
  • Linux定时删除过期日志文件
    1.问题Linux服务器上有程序持续产生临时文件供其它程序使用,但这些文件只需保留一段时间,后续要经常进行删除过期文件,人工删除一是输出时间长,二是多个目录删除繁琐2.解决方案使用Linux自带的删除文件命令进行模糊匹配文件名称+设置定时机制3.实现步骤删除目录(ome/linux1/newServer/S......
  • 如何将日志配置文件放入到Apollo配置中心并支持热更新
    增加监听日志文件(LoggerConfiguration.java)@ServicepublicclassLoggerConfiguration{privatestaticfinalLoggerlogger=LoggerFactory.getLogger(LoggerConfiguration.class);privatestaticfinalStringLOGGER_TAG="logging.level.";@Autowired......
  • scrapy:CrawlSpider及其案例
    1.CrawSpider介绍运行原理:2.pymysqlcondainstallpymysql3.案例-读书网爬虫&数据入库3.1案例需求3.2网页分析3.3创建爬虫项目3.4创建爬虫文件(与之前有区别)scrapygenspider-tcrawlreadhttps://www.dushu.com/book/1188.html3.5实现爬虫impor......
  • postman上传文件显示403,body显示网页代码
     可见图片文件上传不了。 往右侧看,可得图片占用资源过多。发现有4mb。将图片压缩后成1mb后可行。   一般post上传最大为2MB,当然它可以修改。......
  • express开发api指南--记录日志
    败笔,目前还是我的败笔。没有找到好的方法去记录。现在只能记录请求的记录,api的返回记录没有记录下来。用的morgan中间件。这个在项目创建时已安装。//首先安装轮询文件流插件和时间处理插件cnpminstall--saverotating-file-streamdayjs//修改app.js//引入插件varrfs=......
  • scrapy:电影天堂案例
    嵌套数据封装成一个item(一个item包含多级页面的数据):每条记录的名称+点进去之后第二页中的图片1.创建爬虫项目scrapystartprojectscrapy_movie_52.创建爬虫文件scrapygenspidermvhttps://www.ygdy8.net/html/gndy/china/index.html3.实现爬虫importsc......