0
1
2
3
4
5
0
1
2
3
4
5
1970-01-01 -至今南京铁铲爬虫工程师
1.研究目标网站的结构、URL 规律、反爬虫机制等,制定相应的爬取策略。 2.编写爬虫项目脚本,并处理网站的请求方式、请求头、加密的逆向、验证码的处理等。 3.对爬取的数据进行清洗、转换、去重等处理,存储到数据库中。 4.定期监测爬虫的运行情况,发现问题并进行优化,如处理反爬虫机制、提高爬取效率等。 5.向团队成员和项目经理汇报每日的工作进展,与其他相关部门进行沟通和协作
1970-01-01 - 新疆大学计算机科学与技术本科