




个人介绍
0.积极参与开源大数据组件建设,目前参与的开源组件有ds,dinky,datart,datavines等开源项目,熟练掌握常见AI大模型(deepseek、qianwen等)私有化部署,大模型应用开发,参数微调等工作
1.熟练掌握Java,Python,Scala,Shell等编程语言,熟悉常用的数据结构和算法
2.熟练掌握JavaSE和JavaEE相关知识,熟练掌握SpringBoot相关原理,具备良好的面向对象编程思想,熟练掌握23种设计模式
3.熟练掌握SQL语言与MySQL调优,多年实战经验,对索引优化及存储引擎有深入研究,有线上调优经验
4.熟练掌握开源大数据数据采集框架,如Flume,NiFi,Sqoop,DataX,SeaTunnel,Canal,Maxwell,Flink CDC,Debezium等
5.熟练掌握开源大数据的数据存储组件,如HDFS,CEPH,HBase,Redis,MongoDB,ES,图数据库Neo4j等;
6.熟练掌握开源大数据的数据计算框架,如MapReduce,Hive,Tez,Spark,Flink等;以及分布式协作服务框架Zookeeper,熟练掌握Linux基本知识,熟练掌握开源数据中台Dinky,StreamPark使用
7.熟练掌握常用消息中间件kafka,了解常用中间件ActiveMQ,RabbitMQ,RocketMQ的区别和使用场景,了解下一代具备前景的中间件Pulsar
8.熟练掌握Redis,了解底层磁盘及网路IO模型,数据持久化机制,多数据类型缓存应用,高可用机制以及多种分布式实现
9.熟练掌握开源大数据OLAP处理引擎,如PrestoDB,PrestoSQL(Trino),Kylin,Druid,ClickHouse,Doris,StarRocks等
10.熟练掌握开源大数据权限服务框架,如Sentry,Ranger等
11.熟练掌握开源大数据血缘治理框架,如Atlas,DataHub等
12.熟练掌握开源大数据调度引擎,DolphinScheduler,Azkaban,Airflow,Oozie等
13.熟练掌握开源大数据常用BI组件,Hue,Superset,Tableau,Redash,Yanagishama,Zeppelin,FineBI等,并进行报表制作
14.熟练掌握开源大数据平台CDH,HDP,以及付费云平台AWS EMR,阿里云EMR等,了解Databricks平台
15.熟练掌握Docker容器化构建工具,熟悉Docker-compose容器化编排工具,了解K8S容器化编排工具
16.熟练掌握Git,Maven,Gradle等项目管理及构建工具,熟练掌握微服务中基于Jenkins的CI/CD
17.熟练掌握Prometheus+Grafana+Influxdb监控组件,具备常用组件HDFS,中间件,计算引擎Flink等的线上监控经验
18.熟练掌握Hudi使用,了解企业数据湖构建,了解常见的基于Delta Lake,Iceberg等数据湖构建组件
19.熟练掌握分布式开源配置管理中心Apollo,了解分布式微服务链路追踪工具Skywalking
20.了解常用的机器学习算法KNN、决策树、朴素贝叶斯、Logistic回归、支持向量机、AdaBoost、K-means、FP-Growth、PCA等,了解常用机器学习框架TensorFlow,PyTorch等,并在线上环境整合Flink+TF,了解知识图谱工具stardog
21.了解常用前端开发技术,简单使用HTML,CSS,JS,FrameMarker,Themeleaf,EasyUI,Vue,React等进行前台页面相关布局
22.了解SpringCloud Dubbo技术栈(Eureka/Nacos,Ribbon,Feign,Hystrix,Zuul) 对分布式服务特点、旧服务改造、服务划分、服务分层与治理有基本理解
23.英语水平CET6,具备良好的英语读写能力
工作经历
2021-03-01 -2022-09-30AmberGroup AI Limited高级大数据
行业背景:区块链,加密金融 1.负责团队建设及大数据平台从零到一建设,建立实时和离线大数据数仓及企业数据湖 2.负责离线和实时大数据存储和计算,完成各项业务指标需求,负责集群优化,维护集群稳定运行 3.负责线上开源组件的监控和维护 4.负责外部多数据源数据接入,数据清洗,数据质量校验的开发和维护,构建统一的数据平台 5.负责神策埋点平台的机器选型,集群部署,集群运维,埋点数据采集,埋点数据分析等系统性工作
教育经历
1970-01-01 - 长江大学计算机科学与技术硕士