最近在学习Django时,进行网站爬取资源训练时,出现错误
1.错误原因分析
我的代码如图
在网上找了很多资料之后,发现好像是网站设置了防火墙啥的,不能直接通过URL进行数据的爬取
2.解决办法
①首先找到爬取网站的URL,如图
②并查询该网站的User-Agent,向下查找,就可以看见User-Agent的相关信息,如图
③将②中查询的结果添加到代码里面,在get函数里面添加headers参数,如图
爬取到了数据。
最后问题成功解决!!!
标签:爬取,错误,column,JSONDecodeError,Agent,char,网站,如图 From: https://www.cnblogs.com/tuyin/p/17140189.html