【Python数据采集】国家自然科学基金大数据知识管理服务门户数据采集

远大农资

【Python数据采集】国家自然科学基金大数据知识管理服务门户数据采集
具体需求：从https://kd.nsfc.cn/网站中根据关键词搜索项目信息，收集列表中展示的信息以及详情页面中的参与人员信息等。
在开始干活之前，我们首先要做的是弄清楚需求，然后分析目标网址，确定目标数据所在接口及请求参数等信息。
经过分析，列表数据存在于接口/api/baseQuery/completionQueryResultsData中，并且请求返回的数据为加密信息。

经过调试分析发现，接口数据使用的是DES解密算法进行的数据解密。接下来那就简单一点了，扣一下JS脚本或者使用python语言还原解密算法即可。
至此，列表数据已解密完毕。示例数据如下：

详情页面的接口并未加密，找出相应的接口然后按照需要的参数进行传参即可。
如有需要可扫描下方二维码联系我。
 

 

来源:https://www.cnblogs.com/dzlishen/p/18450474
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！