




个人介绍
· 编程语言:精通 Java,熟悉 Scala,具备良好的编程规范和设计模式应用能力;
· 大数据生态:熟悉 Hadoop 生态圈(HDFS、MapReduce、Flume、Sqoop、HBase、Hive、Storm、Spark、Flink、Zookeeper),精通 Spark 和 Flink,了解其运行原理、容错机制、资源调度与任务调度流程;
· 数据库:精通 Oracle、MySQL 等关系型数据库,具备 SQL 优化经验;熟悉 Redis,了解其数据持久化机制、高可用机制及分布式集群实现;熟悉 InfluxDB 时序数据库;
· 消息队列:熟悉 Kafka、RocketMQ 等消息队列,了解其工作原理及使用场景;
· 数据仓库与ETL:熟悉 Hive,了解其架构和运行原理,具备 HQL 调优经验;熟悉 Flume、Sqoop 等数据采集工具,能实现不同场景的数据采集;
· 分布式系统:熟悉 Zookeeper 分布式协调服务,掌握其 Leader 选举和 ZAB 协议;熟悉 HDFS、FastDFS 等分布式文件存储系统;
· 实时数据处理:熟悉 Flink 流式处理框架,了解其架构、运行原理、容错机制、Watermark 及窗口机制;
· 日志与搜索系统:熟悉 ELK(Elasticsearch、Logstash、Kibana)分布式日志采集与分析系统,具备实际使用经验;
· 容器技术:了解Docker、Kubernetes,在实际项目中有使用经验;
· 云服务:了解AWS、腾讯云、阿里云服务器,有实际使用经验;
· BI工具:熟练使用 Tableau、FineBI(帆软)、Superset 等 BI 工具进行数据可视化;
· 其他技能:熟练掌握 Linux 系统及常用命令,熟悉 Shell 脚本编写;熟悉 MQTT 等 IOT 传输协议;深入理解实时数据处理的 Kappa 架构和 Lambda 架构。
工作经历
2019-07-11 -至今迪安诊断高级后端工程师
1、主导数字病理远程会诊平台的系统架构设计和核心代码开发,上线 37 家医院使用; 2、构建可视化数据中心,负责全平台消息可视化展示、监控、追踪、推送; 3、参与 Hive 离线数仓构建,基于数仓构建数据大屏; 4、参与病理资料库存储、管理、检索等设计与研发,支持病理切片图像、病理报告、病例记录等多种类型资料的存储、检索; 5、在大量数据场景下,对超时 SQL、慢 SQL 进行优化,保证系统功能正常运行; 6、各业务需求对接,及相关技术方案制定、文档产出; 7、在职期间发表了 4 篇系统相关著作; 8、发表平台技术相关专利 1 篇; 9、平台在全国 82 家子公司或医院试运行,日数据量达到 3000 万。
教育经历
2014-09-01 - 2018-07-12南阳理工学院网络工程本科已认证