个人介绍
1.熟悉HDFS、MapReduce、Yarn、Kafka、Flume、Spark生态、Hive、HBase、Azkaban、zookeeper、sqoop、Storm、Flink、Druid,ElasticSearch等大数据技术
2.深入了解Spark源码,会对Spark进行性能调优
3.能够使用Shell脚本语言编程
4.熟悉推荐、机器学习相关算法
5.会使用java、scala、python 三种语言进行编程
6.熟悉数据仓库的模型
java方向
1.熟悉IO、多线程、集合等javase知识
2.熟悉spring、mybatis、spring boot等常用框架
3.熟悉RabbitMQ、kafka、Dubbo等常用中间件
4.熟悉redis,mongo等非关系数据库
5.熟悉jvm原理
6.熟悉docker,k8s
python方向
1.Python基础扎实,熟悉常用的类库
2.掌握Tornado、Django、Flask等主流框架
3.熟悉pyspark,熟练使用并可以处理数据并解决倾斜相关问题
熟悉常用ensorflow、pytorch等主流机器学习技术
工作经历
2018-03-01 -至今唯品会高级后端工程师
项目描述: 该项目是唯品会所有大数据团队、算法团队所运行的平台,里面包括spark、flink等主流大数据技术,也包括tensorflow、pytorch等主流机器学习技术,各业务方无需再各自搭建平台,全部统一环境,并且使用容器化技术,更大限度利用资源,更加灵活。 个人负责: (1)flink、spark等平台的开发 (2)负责数据异常监控的开发 (3)资源调度方案设计与开发 (4)业务指标的计算
教育经历
2011-09-01 - 2016-06-01安徽理工大学计算机科学与技术本科
成绩好,通过4,6级,计算机二级,拿过奖学金
技能
项目描述: 该项目是唯品会所有大数据团队、算法团队所运行的平台,里面包括spark、flink等主流大数据技术,也包括tensorflow、pytorch等主流机器学习技术,各业务方无需再各自搭建平台,全部统一环境,并且使用容器化技术,更大限度利用资源,更加灵活。 个人负责: (1)flink、spark等平台的开发 (2)负责数据异常监控的开发 (3)资源调度方案设计与开发 (4)业务指标的计算
项目描述: 该项目是唯品会所有大数据团队、算法团队所运行的平台,里面包括spark、flink等主流大数据技术,也包括tensorflow、pytorch等主流机器学习技术,各业务方无需再各自搭建平台,全部统一环境,并且使用容器化技术,更大限度利用资源,更加灵活。 个人负责: (1)flink、spark等平台的开发 (2)负责数据异常监控的开发 (3)资源调度方案设计与开发 (4)业务指标的计算