个人介绍
3. 熟练掌握 Flink 连接器的开发和源码改造和调优工作。
4. 熟练掌握 Starrocks 的内核源码改造,数据建模和性能调优工作。如基于 Starrocks的 ShapleyDB 的冷热分离方案,ShapleyDB 湖仓一体化方案设计与实现;shapleydb列脱敏及行过滤功能;shapleydb内置函数开发;兴盛智能,门店,资金业务线的数据建模及集群的维护和调优工作。
5. 从事多年的 Java 开发和管理工作。
工作经历
2020-09-01 -至今湖南兴盛优选大数据开发工程师
内容: 1.负责兴盛优选大数据调度平台的设计与开发。 2.负责大数据调试平台的设计与开发。 3.负责公司数据安全平台的设计与开发。 4.负责基于 starrocks的 shapleydb 数据库的冷热分离的设计与开发功能。 5.负责基于 starrocks的 shapleydb 数据库的资源隔离方案设计与开发。 6.负责 Shapleydb 的湖仓一体化的方案设计与开发,实现一份数据多个集群查询的能力。 业绩: 1.完成百万级调度平台的设计与开发,目前系日调度的工作流(DAG )达5000+,任务数达8000+,日调度达30000+,服务于公 司30多个团队。 2.完成大数据调试平台的设计与开发,为公司大数据开发人员开发和调试 sparksq和 Flinksql 任务提供了极大的方便,缩短了 开发时间,降低了开发成本。 3.完成对 starrocks 的内核改造(数据冷热分离),为公司节省80%的存储成本。 4.在司完成一篇软件著作权,一篇专利的申请,以及在公司的极客头条上发表了一篇文章。 5.完成多篇 starrocks 源码分析文档。
2019-03-01 -2020-08-01北海石基大数据开发工程师
1.负责公司基于Flink的大数据实时计算平台的架构设计与开发。 2. 根据客户的需求进行实时数仓建模,并对数仓模型进行管理和维护。 3. 对Flink进行深入研究。
教育经历
2007-09-01 - 2010-06-01广东工业大学计算机应用技术硕士研究生
本人在读研期间,成绩良好,主要从事分布式计算与安全方面的研究。
技能
大数据任务调度平台大数据任务调度平台大数据任务调度平台大数据任务调度平台大数据任务调度平台大数据任务调度平台大数据任务调度大数据任务调度平台大数据任务调度平台大数据任务调度平台
Shapleydb冷热数据分离是将Shapleydb的不常访问或访问率低的数据迁移到成本低的存储上,从而达到节省成本的目的,同时也为后期的存算分离和湖仓一体化功能实现做铺垫。 主要职责:负责Shapleydb冷热数据分离方案设计,核心模块功能的开发,以及带领团队共同完成了该功能的开发。