大数据后端开发运维
1月前来过
全职 · 300/日  ·  6525/月
工作时间: 工作日19:30-24:00、周末06:30-24:00工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

8年大数据开发相关工作经验,主导开发过大型物流类、电商类及文娱类大数据平台项目开发。拥有从0到1搭建和运维大中型Hadoop集群,从0-1独立开发、上线和迭代大数据平台项目经验,具备架构搭建能力和技术选型能力,具有独立架构设计、技术选型和项目开发管理经验。熟悉数据仓库维度建模理论、数据集成和数据管理架构设计。


专业技能:

Ø 熟悉Spark、Hadoop、Flink的核⼼源码,熟悉Hdfs、Yarn、Map reduce和Hive。

Ø 熟悉Kafka、Flume、Zookeeper、Datax、Canal和Mongodb。

Ø 熟悉Java语⾔,熟悉JVM底层原理,熟悉JVM各种垃圾收集器的使⽤以及核心参数调优,有一定JVM线上调优经验。

Ø 对Springboot、Spring、Springcloud、Mybatis和Springmvc等开源框架的设计原理以及底层架

构有一定的了解,了解核⼼源码,具备一定的框架定制开发能⼒。

Ø 熟练Mysql调优及其核⼼原理设计。

Ø 熟悉常见的创建型、结构型和行为型等设计模式。

Ø 熟练使用IDEA、Maven和Gradle等相关工具。

工作经历

  • 2014-07-01 -至今大型互联网高级后端工程师

    作为大数据开发组技术负责人,主要负责企业内部“全域应⽤流量数据审计平台”等数据中台类项目的数据库应⽤架构设计,数据库表设计;Flink作业优化;Spark core源码和优化;Hadoop集群迁移和部分Hadoop源码优化。微服务架构设计,后端核心模块开发

教育经历

  • 2010-09-01 - 2014-07-01成都大学电子信息工程本科

技能

系统架构
Kafka
Hadoop
ElasticSearch
Docker
MySQL
MongoDB
监控
K8S
0
1
2
3
4
5
0
1
2
3
4
5
作品
大型系统优化

参与过对大规模Java系统的性能优化工作,通过调优算法、数据库查询、缓存等手段,提高系统的响应速度和吞吐量。

0
2024-02-21 22:49
智能大数据工作台

整个项目分为:数据开发平台、资产管理平台、智能分析平台、数据建模平台 数据开发平台解决大数据平台多⽽繁琐的服务如数据导入/导出、Bi分析、大数据调度平台、Hue、Clover bi、数据分析结果推MQ,MQ消费数直接入大数据数仓等,要完成一个数据分析需求需要在多个系统间来回切换,权限太简单,使⽤太繁琐,每个表都需要单独授权,极大的影响了业务方使⽤和开发的效率。 资产管理平台提供资产管理,数据主题建设,元数据管理 智能分析平台提供核心数据报表分析 数据建模平台根据一定规则通过数仓分层构建

0
2024-02-21 22:43
全域应⽤流量数据审计平台

接入全公司所有应⽤访问镜像数据,从日增TB级数据中对数据识别与打标,从全局管控公司应⽤系统符合规则的特征数据和敏感数据,发现和锁定保护对象,通过智能化检测模型分析⽤户对数据的访问行为,实现对应⽤数据访问的异常检测,及时发现危险并告警。

0
2024-02-21 22:32
更新于: 02-21 浏览: 158