【Python数据采集】国家自然科学基金大数据知识管理服务门户数据采集

【Python数据采集】国家自然科学基金大数据知识管理服务门户数据采集

具体需求：从https://kd.nsfc.cn/网站中根据关键词搜索项目信息，收集列表中展示的信息以及详情页面中的参与人员信息等。

在开始干活之前，我们首先要做的是弄清楚需求，然后分析目标网址，确定目标数据所在接口及请求参数等信息。

经过分析，列表数据存在于接口/api/baseQuery/completionQueryResultsData中，并且请求返回的数据为加密信息。

经过调试分析发现，接口数据使用的是DES解密算法进行的数据解密。接下来那就简单一点了，扣一下JS脚本或者使用python语言还原解密算法即可。

至此，列表数据已解密完毕。示例数据如下：

详情页面的接口并未加密，找出相应的接口然后按照需要的参数进行传参即可。

如有需要可扫描下方二维码联系我。