2019-04-01 -至今江苏达科云数据有限公司大数据

1. 使用 zabbix/snmp 等方式采集系统日志/指标数据，然后经过 mr/flink 处理并存储到 opentsdb 中; 2. 搭建大数据组件，并在其上开发离线与实时模块； 3. 基于采集采集到的指标数据，使用异常检测算法检测出异常值，并使用日志数据关联分析出产生问题的原因。 该模 块采用的是 LSTM 算法，具体进度在对数据特征进行处理。 4.数仓的搭建 技能使用：Flume/Kafka/Hdfs/Hbase/Flink/Es/Opentsdb/Zabbix/Prometheus

2017-08-31 -2019-04-01苏宁软件大数据平台开

在公司主要负责数据流工作，数据流是基于flume开发的一套分布式管理系统，主要功能将kafka的数据转存到hdfs/es/druid中。 工作描述： 基于 flume 开发了一套分布式数据流管理系统，主要目的是解决 flume 上下线业务比较笨重的问题。主要思路是将 一个 job 分成多个 task 进行作业，并实现了 task 根据流量的大小实现自动扩缩的功能。其功能是从 kafka 接收数据然 后将数据存储到第三方库中。例如：hdfs/es/druid/hive/hbase 中。 工作属性：为该项目的后期的主要技术负责人，负责该项目新功能开发设计及 bug 修复及项目逻辑重构等工作。例如： 新功能开发：1. 该框架实现了 task 的自动扩缩容。 2. 实现数据入 es 的不丢不重功能，并将错误的数据入到 hbase 中； 3. 升级数据流版本，使其具有消费 kafka1.0 数据的能力； 4. 数据流业务上下线的服务化工作; 5. 将 AVRO 格式数据存储到 Hdfs 中； Bug 修复：1. 重构任务上下线流程的逻辑； 2. task 下线不掉问题; 3. 实现检测 work

2016-05-01 -2017-07-31浙江航天恒嘉数据科技有限公司软件研发

工作范围：1. 学习java等软件研发，同时参与组件的设计与研发工作； 2. 研究分布式消息调度kafka的工作原理，编写相应代码并形成文档； 3. 参数指标数据分析整个项目，其中涉及nginx/flume/kafka/hbase/ambari等组件。 4. 参与针对hadoop管理工具ambari的深入研究与二次开发工作;

2013-09-02 - 2016-05-02福州大学计算数学硕士研究生

计算数学专业，图像处理方向，具有较好的算法实现能力。