爬虫
0
1
2
3
4
5
0
1
2
3
4
5
大数据开发工程师全职 · 500/日 · 10875/月信用一般
工作时间: 工作日08:00-20:00、周末08:00-21:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
熟练掌握Python编程语言，NumPy、Pandas、Matplotlib等数据可视化类库。具有良好的数据分析能力，能够通过数据挖掘和分析提供业务参考和决策支持。熟悉Redis、MySQL、MongoDB等常用数据库，具备相关使用经验，能够进行数据库的性能调优和备份恢复。熟练使用SQL语句，能够编写复杂查询和优化SQL语句。同时，了解Hadoop生态系统，能够根据业务需求选择合适的数据存储方案。深入了解Django框架，能够独立开发Web应用。熟悉掌握常用爬虫框架。熟悉爬虫原理，熟悉Scrapy等主流爬虫框架框架，能够解決验证码、网页限制爬取等等问题，且有实际经验。熟练使用 python request、xpath、BeautifulSoup正则等模块。熟悉了解htmlCss、javascript， 懂得分析常见web界面结构。
工作经历
2023-08-10 -2024-11-12江苏酷玩信息科技有限公司大数据开发工程师
数据采集和处理：大数据开发工程师需要采集各种数据，包括日志数据、文件数据和接口数据，并处理这些数据。常用的工具包括Flume和Logstash1。 数据分析和建模：依据客户需求完成大数据项目的数据分析及建模，进行大数据核心算法的编写2。 平台搭建和维护：负责搭建和维护基于Hadoop生态的大数据平台，参与基础软件的研究设计，如Redis缓存、Java优化等3。 系统开发和维护：完成基于大数据平台的业务项目的开发、实施和维护工作，解决大数据平台建设过程中的技术难点和性能调优工作4。 技术研究和验证：参与开发过程中相关新技术的研究和验证，负责研发技术发展方向，引入并验证数据平台领域新技术24。 数据库设计和优化：根据业务需求设计数据库逻辑和物理模型，开发数据库生产环境所需要的存储过程、函数、脚本等，并进行数据库内核相关技术的研究1。 系统架构设计：参与大数据架构的规划设计，参与业务建模及数据化运营平台的搭建、运维，对业务流程与大数据的结合提出建议和解决方案4。 工具开发：负责开发大数据工具，如报表平台、多维度分析工具、ETL平台、
教育经历
2023-11-10 - 2024-11-12江苏航运职业技术学院大数据技术专科
