1970-01-01 -至今1爬虫

办公技能：全国计算机二级，熟练使用Office 办公软件； 熟练掌握scrapy框架，可以进行持久化存储，基于管道实现数据的备份，可以将scrapy手动请求发送实现全站的数据爬取。 熟练掌握scrapy-redis，可以基于scrapy-redis实现增量化存储，也可进行分布式爬取。 熟练掌握scrapy+selenium，可以实现网站的动态加载以及翻页，可以模拟登陆，对于登陆需要验证的网站，例如滑块验证，文字点击，可以进行识别完成登陆。 可以爬取各类网站，例如淘宝京东等，国外网站也可以进行爬取，例如美股等。 熟练掌握numpy，pandas，matplotlib库，可以进行数据分析与处理，绘制数据透视表进行分层从而建立模型。 对于爬虫逆向以及加密算法有一定了解，可以实现传入cookies进行登陆。

2021-09-01 - 绍兴文理学院元培学院计算机科学与技术本科