个人介绍
广泛Python开发经验的工程师,擅长爬虫、Web服务、图像处理等。具备前端开发能力,熟 练使用TypeScript+React,拥有很强的独立解决问题与学习能力
有扎实的python基础,具备爬虫、Web服务等开发经验。 熟悉FastApi+sqlalchemy,以及python主流开源web框架。 具备前端开发能力,拥有web前后端开发经验,熟悉react及其各大主流组件库的应用 熟悉Mysql、MongoDB、Redis、rabbitmq等。 熟悉docker、gitlab/GitHub ci部署管理等 了解go语法以及web框架Protocol+kratos使用 具备出色的沟通和汇报能力,能够与部门团队密切合作,清晰有效地传达技术概念和方案,确保项目的顺利实现。
工作经历
2023-11-02 -至今上海排排插创意设计有限公司高级全栈开发工程师
负责公司的AI产品开发,这包括但不限于设计和实现算法,优化现有系统,以及创建新的、创新的AI工具和应用。 我的工作涵盖了从后端服务的开发和维护,到前端用户界面的设计和实现的所有方面。
2022-04-07 -2023-09-30上海指南车数据科技有限公司 python高级开发工程师
完成多个前后端项目开发和维护工作,独立设计和开发多个爬虫项目,构建可重复使用的代码和公共库。 独立负责开源项目前端管理页面的开发和部分后端功能的开发与迭代。 在工程化流程规范下,使用GitLab或GitHub CI进行测试构建管理,结合云原生docker、k8s等技术部署项目,确保代 码质量和稳定性。 参与技术调研和研究工作,保持对新技术的关注,并成功应用到项目中,撰写和维护公司技术文档。 在职期间完成多个爬虫的设计开发与维护,参与完成采集平台(crawlerstack-spiderkeeper)前后端开发,参与完成 数据控制台管理页面前端开发,官网一期内部版本设计开发,以及相关技术调研文档撰写。
2021-10-18 -2022-02-25上海阡上花信息科技有限公司 python开发
● 人工智能口红试色功能(opencv), ● python+ADB, 自动化脚本发文(日均50篇以上), ● 以及供公司内部使用的在线共享文档。 ● 为品牌测绘口红管3D模型并提供技术支持。 ● 在职期间多次协助部门之间工作。 ● 参与开发多次爬虫项目。
教育经历
2019-09-01 - 2022-06-01上海电子信息职业技术学院大数据专科
● 2021年4月,参加全国技能大赛上海市选拔赛,选拔赛中排名第二,有很学习能力和强的团队合作能力。 ● 始终协助专业老师组建大数据兴趣小组,培养同学专业兴趣同时分享知识。 ● 在校成绩优异,平均绩点为3.5以上,多次获得奖学金。
技能
1、项目分为(1)公开代理采集(2)对代理进行测试,验证代理活性.. 2、本项目使用技术栈有:fastapi、sqlalchemy、httpx、dynaconf、redis、mongodb等
该项目旨在解决在爬虫过程中遇到的验证码访问限制等问题。用户可以将验证码图像传入,服务返回验证码解析的相关信 息。解析完成后,我们会向用户发送解析成功与否的结果,以便统计成功率和模型优化。 技术选型: ● 解决方案基于 Python 实现,并使用了 OpenCV、scikit-learn、SQLAlchemy、FastAPI 和 MySQL 等技术栈 ● 项目使用 docker + GitHub ci 测试部署发布 项目业绩: ● 成功实现了多种验证码功能 ● 包括数字字母混合验证码、滑块验证和旋转验证等
"采集平台(crawlerstack-spiderkeeper)"专注于简化爬虫开发流程的任务调度、日志数据收集、采集程序管理解决方案 ,让爬虫开发者更专注于爬虫本身 前端技术栈:TypeScript、React、Material-UI(MUI )、Caddy 等技术栈 后端技术栈:Python、FastAPI、SQLAlchemy、MongoDB、RabbitMQ、Kubernetes、Docker、MySQL 等技术 当前功能实现页面进行相关配置以及日志展示调度控制等。调度管理(类似 airflow),支持 mongdb、mysql、s3的 数据流转方案,接管数据持久化等功能。