0
1
2
3
4
5
0
1
2
3
4
5
2天前在线
高级大数据开发
上海全职 · 600/日 · 13050/月信用一般
工作时间: 工作日09:00-22:00、周末09:00-22:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
1.精通Hadoop生态系统，包括HDFS、MapReduce、YARN等核心组件的应用与优化。
2.拥有丰富的数据处理经验，能够高效地进行大规模数据集的存储、处理与分析。
3.具备扎实的编程能力，熟练掌握Java、Python、vba、pb等编程语言，适应快速变化的技术需求。
4.熟悉linux环境及基本命令及工具vi及数据处理工具awk,sed等，有丰富的shell编程能力。
5.展现出卓越的问题解决能力，能够独立分析问题并提出创新性解决方案。
6.具有良好的团队合作精神，能够在跨职能团队中有效沟通，共同推进项目成功。
7.适应高强度工作环境，具备出色的抗压能力，确保项目按时交付且质量达标。
8.持续关注大数据领域的最新动态与技术进展，不断提升自身技术水平与专业知识。
9.做事踏实，吃苦耐劳的性格。
工作经历
2017-07-01 -至今软通动力高级大数据开发
1． 完成通用汽车能效智能管理系统，从采集系统获取数据-分为实时和定时拉取两部分，数据经清洗，转换，持久化到前台报表（echart ）展现。我主要负责设计，及主要代码的实现。 2． 通用汽车总部积分、招募报表系统，主要负责用 python spark 完成 etl 数据转换，报表由其它同事用 BO 完成。 3． 通用汽车 smart-vw 库改造成项目，将原有 datastage 实现的 etl 项目，用 python spark 重写，解决原平台的性能瓶颈。数据也从原有的 oracle，vw 内存数据库迁移到 hive 平台。 4.独立研发过数据比较工具，能比较大数据 hive 表的差异，大数据表和关系数据库表的差异，excel 文件的差异，在数据项目迁移中，报表迁移项目得到较广泛使用，有不错的使用效果。 5.数据资产平台的开发，数据资产平台是通用对元数据统一的管理平台，有细到字段级别的数据权限，能自动获取大数据平台和各种关系数据库的模型，有历史版本管理和比较功能。
教育经历
2001-09-01 - 2005-10-01复旦大学计算机信息管理本科
