大数据开发
大数据平台搭建调优
JVM性能调优
0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
大数据开发工程师
上海全职 · 600/日 · 13050/月信用正常
工作时间: 工作日7:00-24:00、周末0:00-24:00工作地点:
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
1.熟练使用spark内存计算框架(三大组件)，掌握spark内核，对spark调优有丰富经验
2.熟练使用和搭建商用大数据平台CDH
3.熟练使用hadoop，hive，hbase，flume，sqoop，kafka等大数据应用框架
4.熟练java，scala，python开发语言，shell脚本
5.对sparkMLB和python的sklean有一定的研究
2.熟练使用和搭建商用大数据平台CDH
3.熟练使用hadoop，hive，hbase，flume，sqoop，kafka等大数据应用框架
4.熟练java，scala，python开发语言，shell脚本
5.对sparkMLB和python的sklean有一定的研究
工作经历
2017-06-01 -至今上海汉得信息技术股份有限公司大数据开发工程师
1.担任技术支持，技术负责人 2.客户方大数据CDH. HDP平台搭建，调优 3.客户方业务需求分析，大数据开发以及平台程序调优优化 4.新员工技术培训
2016-08-01 -2017-06-01北京腾讯软创科技有限公司大数据开发工程师
1、主要负责参与MR任务设计，开发，以及后期维护等，spark任务的开发 2、主要涉及使用Hbase、Mapreduce、Redis、hive,spark等对数据进行处理。 3、新业务需求的开发，以及使用的开源框架的安装，如：Hue、Spark1.6
教育经历
2014-01-01 - 2015-07-01中国海洋大学计算机科学与技术本科
411
技能
作品
项目使用pyspark基于移动平均模型、指数平滑模型进行相关费用的支出预测，包括年度预测、月度预测等。使用SparkMLB的FPGrowth进行特例病种关联挖掘。并取得甲方一致好评，正在洽谈二期项目合作
02020-07-29 14:55
该项目基于CDH大数据平台，使用hue+oozie+sqoop导入数据源，kettle调度hive ETL过程，最终使用kylin+table可视化报表成果。
02020-07-29 14:53
该项目基于灵活可配置性mapreduce任务，通过获取Hive外部分区表每天的数据（包括卡数据、用户数据、账户数据等），并涉及多路Map获取其他数据源信息（*程序、支付宝程序、是否会员等），使用MR程序写入Hbase、Redis。供其他实时平台以及活动等使用。
02020-07-29 14:52
