0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
大数据高级研发
太原全职 · 500/日 · 10875/月信用正常
工作时间: 工作日10:00-16:30、周末14:00-06:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
我是程序员客栈的一落，一名大数据程序员； 我毕业于武汉纺织大学，担任过北京银信的大数据技术经理，担任过金山云的高级研发工程师； 负责过金山云大数据平台的开发； 熟练使用hadoop、spark、flink、kafka、docker； 如果我能帮上您的忙，请点击“立即预约”或“发布需求”！
工作经历
2021-08-10 -至今北京金山云大数据高级研发
1. 对产品中数据源（kafka\hbase\hive...）加入kerberos认证读/写功能 2. 设计平台部分组件版本兼容性方案（比如：灵活支持mysql5\mysql8版本同时存在确保无jar冲突问题） 3. 解析离线计算众组件进行解析sql,鈭权等逻辑便于下游接收 4. 为平台引入flinkx技术，通过改造源码部署成公司一引擎以实现批量同步、断点续传、监控等功能 5. 基于公司当前主计算引擎，调研并引入Kyuubi实现即席查询，实现支持多租户、资源共享、提高查询速度的查询目标 6. 通过修改spark源码，来修复历史小文件过多带来的性能问题
教育经历
2010-02-09 - 2013-02-07武汉纺织大学计算机应用技术本科
技能
作品
1. 具备图形化操作界面,支持可视化数据开发及数据交互，能够通过简单的拖拽式任务开发和调试，便可完成复杂的数据分析任务 2. 底层技术：oozie调度并使用、支持sparksql进行计算以分仓
02023-04-03 03:37
1. 实现了实时标签计算，每隔10秒计算 2. 底层运用了标签算法根据不同数据生成不同标签数据 3. 增加实时数据的加工与消费链路，逐步实现实时与离线数仓的架构融合。纳入衍生指标体系、标签体系等元数据管理，以支持未来在系统地图等消费应用上的数据加工需求。 4. 打通FI离线平台上的工作流任务调度功能，以支持快速开发、部署复杂的离线数据加工任务。在当前版本的FI之外，扩展部署和应用新的数据分析与消费服务组件，丰富与增强数据平台的功能
02023-04-03 03:40
