厮守
1月前来过
全职 · 500/日  ·  10875/月
工作时间: 工作日20:30-01:00、周末09:00-21:00工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

本人于2012年毕业于内蒙古农业大学计算机学院信息管理与信息系统专业,于2012年毕业后再老家考过公务员以及事业单位,但是最终觉得自己不喜欢这种类型的工作,所以2014年来到了北京开始程序员的工作,2014年至2019年10月就职于沃民高新科技,一开始从事java开发,近两年转到大数据开发方向, 熟悉 Hadoop 的分布式存储系统,熟悉 Hadoop HDFS 的读写流程,MapReduce 过程,Shuffle 机制,Yarn 任务调度机制以及 Hadoop 相关优化 ; 熟悉 Spark 部署方式,任务提交流程,RDD 算子,Shuffle 机制及调优策略,能够运用 SparkCore,SparkSQL,SparkStreaming 进行离线和实时数据分析;熟悉 Hbase 架构原理,rowkey 设计,Phoenix 与 Hbase 整合后对 Hbase 数据的 SQL 查询;熟练使用 Java 和 Scala 进行编程,编写 shell 脚本,了解 Python 基本语法;熟悉 Flume 数据采集框架,了解运用 Nginx+lua、Logstash 方式实时采集数据;熟悉 Redis 存储机制,数据类型以及与其他框架的对接, 了解 Redis 的持久化;2019年10月至今就职于北京先进数通信息技术股份公司,任大数据技术经理职位。

工作经历

  • 2019-10-29 -至今北京先进数统信息技术股份公司大数据技术经理

    1、通过flume完成数据的采集工作。 2、通过对点击流数据、用户订单、评论等业务数据进行清洗处理,生成结构化数据文件存入HDFS中。 3、负责hive仓库分层工作。 4、基于SparkSql与Hive的整合进行数据的ETL,实现业务逻辑。 实时部分: 1、收集点击流日志推送到kafka消息中间件中并维护kafka正常运行。 2、对数据进行预处理,为之后算法模块做准备。

  • 2014-07-01 -2019-10-15沃民高新大数据开发

    负责公司大数据平台的开发和维护;参与数据收集、ETL的维护和优化;负责公司数据仓库方面的开发工作,完成领导分配的其他任务

教育经历

  • 2008-09-01 - 2012-07-10内蒙古农业大学信息管理与信息系统本科

    本人自2008年9月至2012年7月就读于内蒙古农业大学计算机系信息管理与信息系统专业

技能

0
1
2
3
4
5
0
1
2
3
4
5
更新于: 浏览: 278