微信用户1333509057
1月前来过
全职 · 600/日  ·  13050/月
工作时间: 工作日8:00-18:00工作地点: 远程
服务企业: 2家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

1.熟悉Linux操作系统,熟悉Python,熟练使用Shell/Java/Scala语言
2.熟悉Kubernetes和Rancher容器管理,以及CI/CD自动化交互部署
3.熟悉Hadoop/Hive/Spark/HBase/Kylin/Flink等大数据应用
4.熟悉CDH大数据平台运维及监控5.熟悉阿里云大数据相关产品,如MaxCompute、DataWorks等

工作经历

  • 2018-04-01 -至今上海传智播客大数据运维开发

    项目描述: 1、对传智门户下的博学谷、Tlias学生/教师系统、酷丁鱼少儿编程等平台做综合数据分析主要负责功能描述:学生行为数据仓库、业务数据仓库、学生标签主要分析指标: 学生活跃主题(日活、周活、月活) 、学生新增主题、学生留存主题(1日留存,2日留存,3日留存..30日留存) 、沉默学生用户数、本周回流学生用户数、流失学生用户数、最近连续3周活跃学生用户数、最近七天内连续三天活跃学生用户数等一系列指标具体实现描述:1、根据业务设计数仓分层结构, 主要分为 ODS、DWD、DWM、DWS、APP层.2、通过拉链表解决历史快照、更新数据的统计分析问题.3、负责自定义外部数据源实现SparkSession整合HBase的开发。4、使用SparkSession开发规则匹配类型标签,如学生性别、职业等。5、使用SparkSession开发统计类型标签,如学生年龄段、知识消化周期等多个统计类型指标。 6、使用SparkMLlib开发挖掘类型标签,如用KMenas++算法实现不同学生的消化吸收课程的能力(RFM)及学生活跃度(RFE)的画像标签7、利用dolphinscheduler1.1.0调

教育经历

  • 2009-09-01 - 2013-07-01广州科技贸易职业学院计算机应用技术专科

    在校期间学习了计算机相关的各科理论知识,并且都有相应的实践

技能

熟悉阿里云API
SpringBoot及三大框架
Sp技能:Spring Cloud微服务、SpingMVC、RocketMq、MyBatis、Redis、Mongodb、Oracle、MySql
hadoop集群运维
hadoop生态相关技术
docker、Kubenetes
0
1
2
3
4
5
0
1
2
3
4
5
作品
车友会

软件开发坏境:mysql + windows7 + jdk1.8.0 + Myeclipse2014 + SVN+Tomcat7.0+Maven使用技术:Struts + Spring + Hibernate (SSH)框架+nodejs 项目描述: 1、针对车主、车友会和汽车服务商,提供便捷、高效、公平的O2O社交服务和管理系统、汽车后市场服务的一体化平台。 2、项目分为四大模块,分别是车友会、U记、活动关注、商家福利

0
2021-01-03 00:08
大数据平台(南航内部项目)

1、航站楼相关的数据后台数据开发及项目CI/CD自动化交互部署 2、基于CDH5.3.3大数据平台搭建和部署 3、国内/国际航班数据分析处理 4、各型号飞机维修、检测、飞行数据分析处理 5、报表中心相关开发 6、BI中心相关开发 7、离线分析与计算 8、中高层实时看板

0
2021-01-03 00:07
传智门户综合分析平台

平台环境:CDH6.2.1+dolphinscheduler1.1.0+数据可视化平台Davinci项目描述: 1、对传智门户下的博学谷、Tlias学生/教师系统、酷丁鱼少儿编程等平台做综合数据分析主要负责功能描述:学生行为数据仓库、业务数据仓库、学生标签主要分析指标: 学生活跃主题(日活、周活、月活) 、学生新增主题、学生留存主题(1日留存,2日留存,3日留存..30日留存) 、沉默学生用户数、本周回流学生用户数、流失学生用户数、最近连续3周活跃学生用户数、最近七天内连续三天活跃学生用户数等一系列指标 具体实现描述:1、根据业务设计数仓分层结构, 主要分为 ODS、DWD、DWM、DWS、APP层. 2、通过拉链表解决历史快照、更新数据的统计分析问题. 3、负责自定义外部数据源实现SparkSession整合HBase的开发。 4、使用SparkSession开发规则匹配类型标签,如学生性别、职业等。 5、使用SparkSession开发统计类型标签,如学生年龄段、知识消化周期等多个统计类型指标。 6、使用SparkMLlib开发挖掘类型标签,如用KMenas++算法实现不同学生的消化吸收课程的能力(RFM)及学生活跃度(RFE)的画像标签7、利用dolphinscheduler1.1.0调度完成主题模块的调度任务8、使用dolphinscheduler1.1.0对工作流进行调度监控9、使用Davinci平台可视化定制

0
2021-01-03 00:04
更新于: 2021-01-02 浏览: 280