苍山雪
刚刚活跃
全职 · 900/日  ·  19575/月
工作时间: 工作日10:00-22:30、周末8:30-23:00工作地点:
服务企业: 1家累计提交: 1工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

1. 4年以上大数据开发经验,精通 Flink、Starrocks  等大数据开发技术。熟练掌握 hadoop、spark、Hive  等大数据开技术。
3. 熟练掌握 Flink  连接器的开发和源码改造和调优工作。
4. 熟练掌握 Starrocks  的内核源码改造,数据建模和性能调优工作。如基于 Starrocks的 ShapleyDB 的冷热分离方案,ShapleyDB 湖仓一体化方案设计与实现;shapleydb列脱敏及行过滤功能;shapleydb内置函数开发;兴盛智能,门店,资金业务线的数据建模及集群的维护和调优工作;异步物化视图优化及线上推广。
5. 从事多年的 Java 开发和管理工作。

工作经历

  • 2020-09-01 -至今湖南兴盛优选大数据开发工程师

    内容: 1.负责兴盛优选大数据调度平台的设计与开发。 2.负责大数据调试平台的设计与开发。 3.负责公司数据安全平台的设计与开发。 4.负责基于 starrocks的 shapleydb 数据库的冷热分离的设计与开发功能。 5.负责基于 starrocks的 shapleydb 数据库的资源隔离方案设计与开发。 6.负责 Shapleydb 的湖仓一体化的方案设计与开发,实现一份数据多个集群查询的能力。 7. Shapleydb异步物化视图bug修复及优化。 业绩: 1.完成百万级调度平台的设计与开发,目前系日调度的工作流(DAG )达5000+,任务数达8000+,日调度达30000+,服务于公 司30多个团队。 2.完成大数据调试平台的设计与开发,为公司大数据开发人员开发和调试 sparksq和 Flinksql 任务提供了极大的方便,缩短了 开发时间,降低了开发成本。 3.完成对 starrocks 的内核改造(数据冷热分离),为公司节省80%的存储成本。 4.在司完成一篇软件著作权,一篇专利的申请,以及在公司的极客头条上发表了一篇文章。 5.完成

  • 2019-03-01 -2020-08-01北海石基大数据开发工程师

    1.负责公司基于Flink的大数据实时计算平台的架构设计与开发。 2. 根据客户的需求进行实时数仓建模,并对数仓模型进行管理和维护。 3. 对Flink进行深入研究。

教育经历

  • 2007-09-01 - 2010-06-01广东工业大学计算机应用技术硕士研究生

    本人在读研期间,成绩良好,主要从事分布式计算与安全方面的研究。

技能

MongoDB
SpringMVC
MySQL
Hive
Hadoop
flink
0
1
2
3
4
5
0
1
2
3
4
5
作品
大数据任务调度平台

大数据任务调度平台大数据任务调度平台大数据任务调度平台大数据任务调度平台大数据任务调度平台大数据任务调度平台大数据任务调度大数据任务调度平台大数据任务调度平台大数据任务调度平台

0
2023-06-28 16:35
Shapleydb冷热数据分离

Shapleydb冷热数据分离是将Shapleydb的不常访问或访问率低的数据迁移到成本低的存储上,从而达到节省成本的目的,同时也为后期的存算分离和湖仓一体化功能实现做铺垫。 主要职责:负责Shapleydb冷热数据分离方案设计,核心模块功能的开发,以及带领团队共同完成了该功能的开发。

0
2023-06-27 09:54
OneDebug调试平台

OneDebug调试平台是一个SparkSQL和FlinkSQL的流批一体化的SQL 调试平台,它主要解决了数据开发人员在任务开发过程中的调试难,运结果检查难等问题。 主要职责:独立负责OneDebug调试平台的框架设计、开发及运营推广工作。

0
2023-06-27 09:48
更新于: 16分钟前 浏览: 108