个人介绍
8年大数据开发相关工作经验,主导开发过大型物流类、电商类及文娱类大数据平台项目开发。拥有从0到1搭建和运维大中型Hadoop集群,从0-1独立开发、上线和迭代大数据平台项目经验,具备架构搭建能力和技术选型能力,具有独立架构设计、技术选型和项目开发管理经验。熟悉数据仓库维度建模理论、数据集成和数据管理架构设计。
专业技能:
Ø 熟悉Spark、Hadoop、Flink的核⼼源码,熟悉Hdfs、Yarn、Map reduce和Hive。
Ø 熟悉Kafka、Flume、Zookeeper、Datax、Canal和Mongodb。
Ø 熟悉Java语⾔,熟悉JVM底层原理,熟悉JVM各种垃圾收集器的使⽤以及核心参数调优,有一定JVM线上调优经验。
Ø 对Springboot、Spring、Springcloud、Mybatis和Springmvc等开源框架的设计原理以及底层架
构有一定的了解,了解核⼼源码,具备一定的框架定制开发能⼒。
Ø 熟练Mysql调优及其核⼼原理设计。
Ø 熟悉常见的创建型、结构型和行为型等设计模式。
Ø 熟练使用IDEA、Maven和Gradle等相关工具。
工作经历
2014-07-01 -至今大型互联网高级后端工程师
作为大数据开发组技术负责人,主要负责企业内部“全域应⽤流量数据审计平台”等数据中台类项目的数据库应⽤架构设计,数据库表设计;Flink作业优化;Spark core源码和优化;Hadoop集群迁移和部分Hadoop源码优化。微服务架构设计,后端核心模块开发
教育经历
2010-09-01 - 2014-07-01成都大学电子信息工程本科
技能
整个项目分为:数据开发平台、资产管理平台、智能分析平台、数据建模平台 数据开发平台解决大数据平台多⽽繁琐的服务如数据导入/导出、Bi分析、大数据调度平台、Hue、Clover bi、数据分析结果推MQ,MQ消费数直接入大数据数仓等,要完成一个数据分析需求需要在多个系统间来回切换,权限太简单,使⽤太繁琐,每个表都需要单独授权,极大的影响了业务方使⽤和开发的效率。 资产管理平台提供资产管理,数据主题建设,元数据管理 智能分析平台提供核心数据报表分析 数据建模平台根据一定规则通过数仓分层构建