

全职 · 800/日 · 17400/月信用正常
工作时间: 工作日9:00-18:00工作地点:
服务企业:
4家累计提交:
0工时
联系方式:
********
********
********



个人介绍
本人是资深数据工程师,主攻各类平台网站数据采集爬虫相关工作。从业多年,经验丰富,完成过数十个国际知名平台数据抓取与清理工作,总数据量数亿。精通Python, Scrapy, Selenium, Pyppeteer, Splash, AWS, MySQL, MongoDB等。本人工作严谨认真,时间弹性,有各类需要欢迎讨论。
工作经历
2019-08-01 -至今达势科技高级数据工程师
技术开发:根据可口可乐、喜力、红牛等客户需求,针对海外餐饮类平台开发二十余个爬虫软件。使用包括Scrapy、 Pyppeteer、Selenium等开发工具获取数十亿条相关数据 质量保证:为确保交付质量,设计并维护Python QA脚本,自动生成囊括数据的完整度与统一度测试、纵向数据对 比、异常数据监控以及数据分布可视化的详细报表,显著减少因质量问题对其他部⻔造成的影响 团队分析:基于过去半年项目交付时⻓与数量、产品开发进度、问题反馈频率等数据分析团队表现,制定⻓短期计 划,并评估每位组员的工作表现,与其探讨未来技术与职业发展规划 项目管理:在项目和开发管理上引入Scrum工作模式,每周计划并管理团队5人工作量以优化项目的资源分配。在确 保组员工作分配合理的前提下,每月增加50%可完成的项目量的同时,平均提前20%项目的交付时间 结构优化:基于Airflow, Lambda, MySQL数据库等工具设计并实施更加高效且合理的产品结构与工作流程,结合以可 视化界面以监控并警报出现的问题。提议并启动由基于项目交付式的工作流程向产品化工作流程的转变。极大的改善了爬虫的稳定性、可维护
教育经历
2015-09-01 - 2019-05-01北卡罗来纳大学计算机科学与技术本科
计算机科学专业,专攻人工智能、机器人与游戏。第二专业运营管理,辅修数学。
技能
用户评价

简约123
关闭