0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
大数据开发工程师
北京全职 · 1200/日 · 26100/月信用正常
工作时间: 工作日00:00-23:30、周末6:00-22:30工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
大数据研发工程师，具有5年大数据研发工作经验。精通python，Java编程语言，熟练掌握大数据领域的各项技术。具体如下：
1. 精通 Java ，掌握Python编程语言、熟练使用Scala编程语言
2. 熟练使用 Linux 操作系统， Shell 编程。熟练Maven 、gradle构建工具
3. 理解 Hadoop 的分布式文件系统，掌握mapreduce 原理及实现编程
4. 熟悉 Hive 的工作原理、udf编写、HQL优化及数据仓库建立，能完成对数据的抽取和多维度分析
5. 精通Flink 计算引擎及其使用，如：旁路输出、数据抽取与装载、自定义connector等
6. 掌握 Zookeeper 协调服务工作原理及使用场景
7. 理解 Hbase 的存储原理，Hbase 存储架构，实现数据的毫秒检索
8. 掌握 Spark 任务的执行流程，Spark内存管理，深入理解 Spark 工作机制
9. 掌握 Storm 任务的执行流程及其原理
10. 掌握 Flume、kafka 数据采集工具的原理，实现流式数据的过滤和分析
11. 掌握 NIFI 数据分发系统及其使用
12. 掌握使用 Ambari 集成 Hadoop、Spark、ELK、Jupyter、Infra 等组件
13. 熟练使用 Sqoop 工具，实现非关系型数据库与关系型数据库数据的集成
14. 熟悉使用 Azkaban 工作流调度
15. 掌握 Redis 内存数据库的基本原理及各数据类型的使用，实现数据的毫秒查询
16. 掌握使用 Python 爬虫，Scrapy 框架爬虫、分布式爬虫
17. 熟悉 Oracle、Mysql 数据库，能够进行SQL 开发，并且了解数据库的优化
18. 熟悉 Elasticsearch，Logstash，Kibana
19. 掌握微服务架构开发
20. 熟练使用JPA和Mybatis 持久化框架
21. 熟悉Minio 对象存储服务
22. 熟悉Hudi+presto/Starrocks vs iceberg+presto/Starrocks
23. 了解分布式数据库（ClickHouse、TIDB、Greeplum、OceanBase）
1. 精通 Java ，掌握Python编程语言、熟练使用Scala编程语言
2. 熟练使用 Linux 操作系统， Shell 编程。熟练Maven 、gradle构建工具
3. 理解 Hadoop 的分布式文件系统，掌握mapreduce 原理及实现编程
4. 熟悉 Hive 的工作原理、udf编写、HQL优化及数据仓库建立，能完成对数据的抽取和多维度分析
5. 精通Flink 计算引擎及其使用，如：旁路输出、数据抽取与装载、自定义connector等
6. 掌握 Zookeeper 协调服务工作原理及使用场景
7. 理解 Hbase 的存储原理，Hbase 存储架构，实现数据的毫秒检索
8. 掌握 Spark 任务的执行流程，Spark内存管理，深入理解 Spark 工作机制
9. 掌握 Storm 任务的执行流程及其原理
10. 掌握 Flume、kafka 数据采集工具的原理，实现流式数据的过滤和分析
11. 掌握 NIFI 数据分发系统及其使用
12. 掌握使用 Ambari 集成 Hadoop、Spark、ELK、Jupyter、Infra 等组件
13. 熟练使用 Sqoop 工具，实现非关系型数据库与关系型数据库数据的集成
14. 熟悉使用 Azkaban 工作流调度
15. 掌握 Redis 内存数据库的基本原理及各数据类型的使用，实现数据的毫秒查询
16. 掌握使用 Python 爬虫，Scrapy 框架爬虫、分布式爬虫
17. 熟悉 Oracle、Mysql 数据库，能够进行SQL 开发，并且了解数据库的优化
18. 熟悉 Elasticsearch，Logstash，Kibana
19. 掌握微服务架构开发
20. 熟练使用JPA和Mybatis 持久化框架
21. 熟悉Minio 对象存储服务
22. 熟悉Hudi+presto/Starrocks vs iceberg+presto/Starrocks
23. 了解分布式数据库（ClickHouse、TIDB、Greeplum、OceanBase）
工作经历
2018-09-01 -至今数联大数据研发工程师
担任大数据研发工程师，主要从数据中台的研发工作。参与过多个项目的开发，熟悉常见业务处理，能快速融入团队； 逻辑思维能力强，思路清楚，学习能力强，对新技术有着强烈的好奇心； 乐于与用户以及同事和领导沟通，以便快速解决项目遇到的问题； 具有良好的英语阅读能力，能阅读英文资料、技术文档等。
2018-06-01 -2020-08-01联想大数据开发工程师
在联想从事大数据开发工作，担任大数据研发工程师。主要涉及大数据平台开发。参与过多个项目的开发，熟悉常见业务处理，能快速融入团队； 逻辑思维能力强，思路清楚，学习能力强，对新技术有着强烈的好奇心； 乐于与用户以及同事和领导沟通，以便快速解决项目遇到的问题； 具有良好的英语阅读能力，能阅读英文资料、技术文档等。
教育经历
2014-06-01 - 2018-06-01佳木斯大学金属材料工程本科
在本科阶段，一直跟随导师做实验，发表过一篇关于计算机模拟的论文
技能
作品
系统架构： Hadoop+Zookeeper+Hive+Flume+Kafka+Storm+Redis+Sqoop+ELK+INFRA+Jupyter 1. 参与调研和讨论各组件版本的选择； 2. rpm包命名及包目录结构定义规范； 3. 编译大数据基础组件成rpm包； 4. 与Ambari进行集成，编写stack； 5. 负责数据的流转、数据清洗以及任务开发 6. 负责单点登录功能的开发； 7. 负责数据可视化支持分支功能、数据明细、分享、菜单权限等功能开发； 8. 数据服务-支持多数据源； 9. 数 据 主 题 - 支持多数据源 ； 10. 负责维表join以及双流join开发
02023-05-31 21:53
系统架构： SpringBoot+Flink+Hadoop+Zookeeper+Azkaban+Minio+FTP+Hive+... 责任描述 : 1. 参与技术选型与评审； 2. 负责Flink 1.12的升级； 3. 负责数据生成组件开发； 4. 负责中台数据源安全认证（Kerberos）； 5. 负责Hive增量抽取以及流式装载； 6. 负责数据集成新增清洗组件调研与开发； 7. 负责新增数据源开发并同步其他模块 ； 8. 负责多种数据源快速建表设计与开发
02023-05-31 21:50
责任描述 : 1. 参与技术选型与评审； 2. 负责数据分级分类管理的设计以及数据共享； 3. 负责数据概览（数据分布）的设计与开发； 4. 支持Minio作为新数据源，同时选择作为内置的OSS服务； 5. 数据共享支持结构化数据、非结构化数据、数仓以及数据权限 。 6. 负责数仓即时查询开发、支持分区存储与管理功能； 7. 负责数仓资产统计设计与开发； 8. 负责数据备份与还原模块开发； 9. 负责数据库设计文档编写 系统架构：SpringBoot+Flink+Hadoop+Zookeeper+Azkaban+Minio+FTP+Hive
02023-05-31 21:39
