技术栈：Python + Pandas + Scrapy + Redis + MongoDB + MySql + Xpath + Lua
1. 独立完成整个项目的数据爬取, 该项目数据爬取均符合robot协议，并限制爬取速率；
2. 小说简介章节数据爬取（仅自用非商用或盈利）；
3. 网络安全漏洞数据资料爬取收集，并生成MD文档保存（仅自用非商用或盈利）；
4. 该项目使用lua脚本进行登录认证获取cookie和token, 进行自动翻页爬取；
5. 实现将md文档里的图片url下载至本地，同时替换成本地图片地址；
6. 使用Pandas对爬取数据进行清洗，并入库；
7. 进行防呆处理，对已爬取的数据不会再次重复爬取下载。