梅雨歌
全职 · 500/日  ·  10875/月
工作时间: 工作日10:00-24:00、周末00:00-24:00工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

· 编程语言:精通 Java,熟悉 Scala,具备良好的编程规范和设计模式应用能力;

· 大数据生态:熟悉 Hadoop 生态圈(HDFS、MapReduce、Flume、Sqoop、HBase、Hive、Storm、Spark、Flink、Zookeeper),精通 Spark 和 Flink,了解其运行原理、容错机制、资源调度与任务调度流程;

· 数据库:精通 Oracle、MySQL 等关系型数据库,具备 SQL 优化经验;熟悉 Redis,了解其数据持久化机制、高可用机制及分布式集群实现;熟悉 InfluxDB 时序数据库;

· 消息队列:熟悉 Kafka、RocketMQ 等消息队列,了解其工作原理及使用场景;

· 数据仓库与ETL:熟悉 Hive,了解其架构和运行原理,具备 HQL 调优经验;熟悉 Flume、Sqoop 等数据采集工具,能实现不同场景的数据采集;

· 分布式系统:熟悉 Zookeeper 分布式协调服务,掌握其 Leader 选举和 ZAB 协议;熟悉 HDFS、FastDFS 等分布式文件存储系统;

· 实时数据处理:熟悉 Flink 流式处理框架,了解其架构、运行原理、容错机制、Watermark 及窗口机制;

· 日志与搜索系统:熟悉 ELK(Elasticsearch、Logstash、Kibana)分布式日志采集与分析系统,具备实际使用经验;

· 容器技术:了解Docker、Kubernetes,在实际项目中有使用经验;

· 云服务:了解AWS、腾讯云、阿里云服务器,有实际使用经验;

· BI工具:熟练使用 Tableau、FineBI(帆软)、Superset 等 BI 工具进行数据可视化;

· 其他技能:熟练掌握 Linux 系统及常用命令,熟悉 Shell 脚本编写;熟悉 MQTT 等 IOT 传输协议;深入理解实时数据处理的 Kappa 架构和 Lambda 架构。


工作经历

  • 2019-07-11 -至今迪安诊断高级后端工程师

    1、主导数字病理远程会诊平台的系统架构设计和核心代码开发,上线 37 家医院使用; 2、构建可视化数据中心,负责全平台消息可视化展示、监控、追踪、推送; 3、参与 Hive 离线数仓构建,基于数仓构建数据大屏; 4、参与病理资料库存储、管理、检索等设计与研发,支持病理切片图像、病理报告、病例记录等多种类型资料的存储、检索; 5、在大量数据场景下,对超时 SQL、慢 SQL 进行优化,保证系统功能正常运行; 6、各业务需求对接,及相关技术方案制定、文档产出; 7、在职期间发表了 4 篇系统相关著作; 8、发表平台技术相关专利 1 篇; 9、平台在全国 82 家子公司或医院试运行,日数据量达到 3000 万。

教育经历

  • 2014-09-01 - 2018-07-12南阳理工学院网络工程本科已认证

技能

ElasticSearch
Kafka
NoSQL
Redis
SpringCloud
物联网
Spring
MySQL
0
1
2
3
4
5
0
1
2
3
4
5
更新于: 02-10 浏览: 21