proginn1403047658
全职 · 300/日  ·  6525/月
工作时间: 工作日19:30-01:00、周末09:00-22:30工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

您好,我是程序开发者Lonema,一名爬虫攻城狮。

担任过华为的python开发工程师,以及红云网络的自动化爬虫攻城狮。在这些职位上,我负责过市场数据采集、用户行为分析和数据可视化的开发。

我熟练使用以下技术栈:

Python

Scrapy

Pandas

MySQL

如果我能帮助您解决问题,请点击立即预约或发布需求!


工作经历

  • 2023-07-24 -至今红云网络自动化爬虫工程师

    负责市场最新汽车配件数据的爬取、深入分析与可视化展示,同时搭建高效的自动化框架。这一系列工作旨在实现数据的实时获取与智能化处理,以支持决策制定和业务优化。通过先进的技术手段,提升数据分析的准确性和可视化效果,为企业提供更具价值的市场洞察。

  • 2019-11-01 -2023-07-24华为python开发工程师

    负责SIM卡、NFC技术以及超级门禁卡等业务的后台管理系统的开发与维护,同时参与卡片工具的开发与优化。这些工作旨在提升系统的整体性能和用户体验,确保各项业务的高效运作与安全管理。通过创新的技术解决方案,推动业务的数字化转型与智能化升级。

教育经历

  • 2015-09-01 - 2019-07-30陇东学院通信工程本科

    在校期间,系统学习了计算机科学的基础知识,包括数据结构、算法、数据库管理、网络编程等。 参与多个项目,积累了丰富的实践经验,特别是在数据分析和网络爬虫方面。 担任学生会技术部成员,负责组织技术讲座和编程比赛,提升了团队协作和领导能力。 完成毕业设计,主题为“基于Python的网络

技能

Django
Docker
多线程
多进程
爬虫
0
1
2
3
4
5
0
1
2
3
4
5
作品
网络爬虫数据采集系统

项目背景(25%) 在当前数据驱动的商业环境中,企业需要实时获取市场信息和竞争对手数据。通过开发一个高效的网络爬虫数据采集系统,能够帮助企业自动化数据收集,节省人力成本,提高决策效率。 项目功能模块(50%) 数据采集模块: 使用Scrapy框架构建爬虫,定期抓取目标网站的数据。 支持多线程和异步请求,提高数据抓取效率。 2. 数据清洗与存储模块: 对抓取的数据进行清洗,去除重复和无效信息。 将清洗后的数据存储到MySQL数据库中,便于后续分析。 数据分析与可视化模块: 使用Pandas进行数据分析,生成统计报告。 使用Matplotlib和Seaborn进行数据可视化,帮助客户更好地理解数据。 项目技术选型和架构特点(25%) 技术栈: 编程语言:Python 爬虫框架:Scrapy 数据存储:MySQL 数据分析:Pandas 数据可视化:Matplotlib, Seaborn 架构特点: 模块化设计,便于后续功能扩展和维护。 使用Docker容器化部署,确保环境一致性和可移植性。 实现了基本的错误处理和日志记录,确保系统的稳定性。 项目成果 成功抓取了超过10,000条市场数据,数据准确率达到95%。 提供了可视化报告,帮助客户识别市场趋势和竞争对手动态。

0
2025-01-02 14:28
更新于: 01-02 浏览: 122