工作经历
2020-04-01 -2023-03-31爱客科技python
1.参与爬虫系统的架构设计及开发,满足每天亿级数据快速、稳定、准确的采集; 2.负责爬虫系统的后台监控、报警模块的设计和开发; 3.参与任务调度系统的开发; 4.与印度团队进行沟通,负责爬虫数据与业务系统的整合对接。
2017-07-01 -2019-12-02长沙中科博华信息科技有限公司python
工作内容:1.参与项目后台开发,独立完成系统模块或小系统的设计和代码的实现; 2.负责相关软件模块的完善和性能调优工作; 3.参与产品需求的沟通、讨论和协调; 4.完善并遵守团队的开发规范,编写高质量、结构清晰、易读、易维护的代码。
教育经历
2015-09-01 - 2017-07-01武汉理工大学物流工程硕士
2011-09-01 - 2015-07-01武汉理工大学物流管理本科
资质认证
技能
这个系统是基于 Python 编写的,使用了 pubsub 作为数据队列和任务调度器,可以高效地处理大量的调度任 务。 职责描述: 1. 设计并开发不同的调度策略以规避无效调度,从而降低成本; 2. 开发并实现调度限流和控速; 3. 制定核心指标,根据指标来采集数据并实现监控策略。
这个系统是基于 Tornado 框架和异步 IO 实现的,集成了 1k+ 物流商,满足每天亿级数据快速、稳定、准确 的采集。 职责描述: 1. 前期参与需求分析、技术方案选型,项目的架构设计、开发环境搭建; 2. 设计爬虫策略和防屏蔽规则,解决封账号、封 IP 、验证码等难点攻克; 3. 开发后台监控、报警模块,保证数据的完整性、准确性以及及时性;