个人介绍
本人于2012年毕业于内蒙古农业大学计算机学院信息管理与信息系统专业,于2012年毕业后再老家考过公务员以及事业单位,但是最终觉得自己不喜欢这种类型的工作,所以2014年来到了北京开始程序员的工作,2014年至2019年10月就职于沃民高新科技,一开始从事java开发,近两年转到大数据开发方向, 熟悉 Hadoop 的分布式存储系统,熟悉 Hadoop HDFS 的读写流程,MapReduce 过程,Shuffle 机制,Yarn 任务调度机制以及 Hadoop 相关优化 ; 熟悉 Spark 部署方式,任务提交流程,RDD 算子,Shuffle 机制及调优策略,能够运用 SparkCore,SparkSQL,SparkStreaming 进行离线和实时数据分析;熟悉 Hbase 架构原理,rowkey 设计,Phoenix 与 Hbase 整合后对 Hbase 数据的 SQL 查询;熟练使用 Java 和 Scala 进行编程,编写 shell 脚本,了解 Python 基本语法;熟悉 Flume 数据采集框架,了解运用 Nginx+lua、Logstash 方式实时采集数据;熟悉 Redis 存储机制,数据类型以及与其他框架的对接, 了解 Redis 的持久化;2019年10月至今就职于北京先进数通信息技术股份公司,任大数据技术经理职位。
工作经历
2019-10-29 -至今北京先进数统信息技术股份公司大数据技术经理
1、通过flume完成数据的采集工作。 2、通过对点击流数据、用户订单、评论等业务数据进行清洗处理,生成结构化数据文件存入HDFS中。 3、负责hive仓库分层工作。 4、基于SparkSql与Hive的整合进行数据的ETL,实现业务逻辑。 实时部分: 1、收集点击流日志推送到kafka消息中间件中并维护kafka正常运行。 2、对数据进行预处理,为之后算法模块做准备。
2014-07-01 -2019-10-15沃民高新大数据开发
负责公司大数据平台的开发和维护;参与数据收集、ETL的维护和优化;负责公司数据仓库方面的开发工作,完成领导分配的其他任务
教育经历
2008-09-01 - 2012-07-10内蒙古农业大学信息管理与信息系统本科
本人自2008年9月至2012年7月就读于内蒙古农业大学计算机系信息管理与信息系统专业