个人介绍
2.熟悉Kubernetes和Rancher容器管理,以及CI/CD自动化交互部署
3.熟悉Hadoop/Hive/Spark/HBase/Kylin/Flink等大数据应用
4.熟悉CDH大数据平台运维及监控5.熟悉阿里云大数据相关产品,如MaxCompute、DataWorks等
工作经历
2018-04-01 -至今上海传智播客大数据运维开发
项目描述: 1、对传智门户下的博学谷、Tlias学生/教师系统、酷丁鱼少儿编程等平台做综合数据分析主要负责功能描述:学生行为数据仓库、业务数据仓库、学生标签主要分析指标: 学生活跃主题(日活、周活、月活) 、学生新增主题、学生留存主题(1日留存,2日留存,3日留存..30日留存) 、沉默学生用户数、本周回流学生用户数、流失学生用户数、最近连续3周活跃学生用户数、最近七天内连续三天活跃学生用户数等一系列指标具体实现描述:1、根据业务设计数仓分层结构, 主要分为 ODS、DWD、DWM、DWS、APP层.2、通过拉链表解决历史快照、更新数据的统计分析问题.3、负责自定义外部数据源实现SparkSession整合HBase的开发。4、使用SparkSession开发规则匹配类型标签,如学生性别、职业等。5、使用SparkSession开发统计类型标签,如学生年龄段、知识消化周期等多个统计类型指标。 6、使用SparkMLlib开发挖掘类型标签,如用KMenas++算法实现不同学生的消化吸收课程的能力(RFM)及学生活跃度(RFE)的画像标签7、利用dolphinscheduler1.1.0调
教育经历
2009-09-01 - 2013-07-01广州科技贸易职业学院计算机应用技术专科
在校期间学习了计算机相关的各科理论知识,并且都有相应的实践
技能
软件开发坏境:mysql + windows7 + jdk1.8.0 + Myeclipse2014 + SVN+Tomcat7.0+Maven使用技术:Struts + Spring + Hibernate (SSH)框架+nodejs 项目描述: 1、针对车主、车友会和汽车服务商,提供便捷、高效、公平的O2O社交服务和管理系统、汽车后市场服务的一体化平台。 2、项目分为四大模块,分别是车友会、U记、活动关注、商家福利
1、航站楼相关的数据后台数据开发及项目CI/CD自动化交互部署 2、基于CDH5.3.3大数据平台搭建和部署 3、国内/国际航班数据分析处理 4、各型号飞机维修、检测、飞行数据分析处理 5、报表中心相关开发 6、BI中心相关开发 7、离线分析与计算 8、中高层实时看板
平台环境:CDH6.2.1+dolphinscheduler1.1.0+数据可视化平台Davinci项目描述: 1、对传智门户下的博学谷、Tlias学生/教师系统、酷丁鱼少儿编程等平台做综合数据分析主要负责功能描述:学生行为数据仓库、业务数据仓库、学生标签主要分析指标: 学生活跃主题(日活、周活、月活) 、学生新增主题、学生留存主题(1日留存,2日留存,3日留存..30日留存) 、沉默学生用户数、本周回流学生用户数、流失学生用户数、最近连续3周活跃学生用户数、最近七天内连续三天活跃学生用户数等一系列指标 具体实现描述:1、根据业务设计数仓分层结构, 主要分为 ODS、DWD、DWM、DWS、APP层. 2、通过拉链表解决历史快照、更新数据的统计分析问题. 3、负责自定义外部数据源实现SparkSession整合HBase的开发。 4、使用SparkSession开发规则匹配类型标签,如学生性别、职业等。 5、使用SparkSession开发统计类型标签,如学生年龄段、知识消化周期等多个统计类型指标。 6、使用SparkMLlib开发挖掘类型标签,如用KMenas++算法实现不同学生的消化吸收课程的能力(RFM)及学生活跃度(RFE)的画像标签7、利用dolphinscheduler1.1.0调度完成主题模块的调度任务8、使用dolphinscheduler1.1.0对工作流进行调度监控9、使用Davinci平台可视化定制