C
ElasticSearch
SpringMVC
SpringMVC
Spring
Oracle
DB2
jenkins
架构
Hadoop
Docker
Maven
Zookeeper
HDFS
MySQL
0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
大数据开发工程师
深圳全职 · 400/日 · 8700/月信用正常
工作时间: 工作日20:00-00:00、周末07:00-00:00工作地点:
服务企业:
1家累计提交:
1工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
技能特长
语言能力：通过大学英语六级，英语口语四级
熟悉 Java/Scala/等多种开发语言，掌握 Linux 基本操作命令，能够编写 Shell 脚本
熟悉 Hadoop 生态圈，理解 HDFS 的读写流程及 Hadoop HA，理解 MapReduce 运行原理以及 Yarn
的资源调度过程等
熟练掌握 HiveSQL 进行复杂分析，掌握 Hive 调优，能够进行数仓维度建模；
熟悉
Spark 计算框架,能够使用 SparkSQL/SparkStreaming/StructedStreaming 解决实际义务问题
了解 Spark 的执行流程、shuffle 过程以及内存管理等，能够对 Spark 任务进行性能优化
熟悉
Flink 计算框架，熟练使用 Flink 实时窗口统计分析和 Flink CEP 复杂事件处理
掌握 HBase 的 rowkey 设计，理解其读写流程
熟悉 Mysql/Kylin/Hbase/ClickHouse/Redis/Druid/ElasticSearch/等存储分析平台特点及应用场景
熟悉 Kafka 基本原理，熟练使用 Kafka 与 Spark/Flink 集成的 API
熟练使用 Flume/Sqoop/Hue/Oozie/Azkaban/Impala/Apache Avro 等大数据相关组件
熟练使用可视化 ETL 工具 kettle，BI 工具 Superset/Kibana，会运用 docker 容器部署应用
了解 JVM 基本的架构，垃圾回收算法；了解 Spring 的基本架构，javaWeb 的基本知识；了解 MongoDB 数据库；了解基本数据结构和算法知识
能够阅读英文文献资料，能进行基本的英语口语交流
熟练使用Svn/Git/Jenkins等版本管理、文档和自动化部署工具
工作经历
2018-06-02 -2021-07-01江苏云智星河网络科技股份有限公司大数据开发工程师
● 负责大数据外包项目开发 ● 使用flink技术开发金融证券项目 ● 使用flink技术开发车联网项目 ● 使用spark技术开发二车大数据平台项目 ● 使用hive构建教育项目离线数据仓库
教育经历
2014-08-06 - 2018-06-01上海工程技术大学汽车服务工程本科
通过大学英语六级，英语口语四级，拿过很多次奖学金，本人毕业后身份证改过名字
技能
作品
通过抽取估值系统，财汇系统，投监系统，风险绩效到hive的ods数据湖，经过hivesql处理后整合到主题层，然后基于主题和ods层数据转换得到风险绩效层，最后基于风险绩效层计算出对应的指标后推到db2应用层
02021-07-17 16:36
某大型车企积累大量车辆上报的数据，数据来源于Tbox、Dcs、充电数据、Hu数据，车载系统经过4G网络传输到云端服务器，再使用flume采集到本地Kafka集群，然后编写flink程序实时消费Kafka集群的数据进行后面的业务处理，业务包含原始数据实时ETL、驾驶行程分析、电子围栏分析、在线实时告警统计、自定义告警规则统计、数据准确率分析、数据动态监测等。
02021-07-17 15:41
该项目是为某金融公司打造的大屏实时金融行情看板功能，项目通过调用沪深两市，黄金交易所的实时行情接口来采集数据，基于Flink实时流处理技术对行情数据进行清洗、过滤和加工，最后将计算结果落地到不同的数据库中。Web前端会定时查询数据库数据，用户就可以通过实时大屏观看沪深两市和黄金交易所最新的实时行情数据，包括股票、指数和板块，基金，黄金等实时交易数据。具体显示的指标内容包含：前收盘价、开盘价、涨跌幅、振幅、总手、现价、成交量、成交额、日K，周K和月K，龙虎榜等。此项目还具有实时预警监控的功能，使用FlinkCEP对一些实时计算的指标超过规定的阀值之后会出发邮件告警。整个大数据项目采用的都是高性能大数据组件，保障项目不会有存储和查询的性能瓶颈。web应用开发采用的是微服务的开发模式，能够提升开发和维护的效率。整个项目模块包含数据采集、实时计算、离线ETL 批处理、Web 应用接口和前端大屏展示。
02021-07-17 16:40
