个人介绍
l 熟练掌握SQL语言,熟练操作关系型数据库Mysql
l 熟练掌握大数据框架传输介质:Sqoop、Flume
l 熟练掌握Flume监控,拉取日志文件
l 熟练掌握数仓搭建和多维度分层处理数据
l 熟练掌握离线数据处理框架Hive,并使用Hive进行数据清洗
l 熟练掌握非关系型数据库Hbase,Mongodb存储原理及实现数据存储及查询
l 熟练掌握SparkCore,SparkSql以及SparkGraphX图处理
l 熟练掌握SparkRDD算子
l 熟练掌握大数据开发环境搭建及后期维护
l 熟练掌握大数据常用消息队列Kafka,以及JavaApi做简单数据转换
l 熟悉Spark性能优化流程
l 熟悉Hive性能调优及Mapreduce原理
l 熟悉Hadoop工作机制及其生态圈其他产品,如hdfs,yran,hive,hbase,spark,zookeeper
l 熟悉Linux环境及Shell脚本编写
l 熟悉Java 和 Scala编程
l 熟悉流处理框架SparkStreaming,KafkaStreaming
l 会使用可视化工具Zeppelin做可视化展示
l 熟悉hive调优
l 掌握sparksql技术,处理日志的技术
工作经历
2019-07-01 -至今浙江网新电气技术有限公司大数据开发工程师
项目1:北京大兴机场大数据项目 机场项目 2021.3 - 至今 项目介绍:北京大兴机场为了统计航班数据,统筹地服工作安排,提高工作效率及航班正常运行准点率,增强 总控与行李,客运,货运等部门的信息流转,建立机场的大数据中台,以起到信息整合,归纳,统一管理的效 果。 岗位职责: 1. 带队负责调研机场相关业务部门业务以及各系统对接事宜 2. 搭建hadoop基础架构平台,维护后期生产环境 3. 部署行云数据库cirrodata,搭建数仓 4. 调研机场各业务部门实际需求,编写需求文档 5. 数仓开发 项目2:贵州监狱云上贵州项目 监狱项目 2021.3 - 至今 项目介绍:为了更好的管理省司法厅信息和各大监狱,贵州省司法厅及贵州5大监狱实现信息互通,但又分级 别管理,即省司法厅管辖监狱数据并监控监狱信息,监狱对狱内犯人做出精准的画像描述及行为判断,省司法 厅要求监狱搭建监狱数据平台,并打通与省法厅的信息互通。 岗位职责: 1. 带队调研监狱各业务部门相关业务,形成文档 2. 在云上贵州上建立监狱数据中台 3. 管理监狱数据及省局需求,构建
教育经历
2015-07-01 - 2019-06-01沈阳航空航天大学机械设计制造及其自动化本科
经验 项目经验: 1.南京银行app项目 负责数据采集 清洗 简单处理存到hdfs上 供导入数据和需求分析。 2.北京大兴机场数据中心项目 一整套流程 全程参与 包括调研 接入数据 采集书记 处理数据 搭建数据仓库 查询报表。
技能
采集数据 处理数据 对数据进行整合保存到hdfs上供数据应用 后期需要搭建数仓 对数据进行分析报表 采集数据 处理数据 对数据进行整合保存到hdfs上供数据应用 后期需要搭建数仓 对数据进行分析报表