大数据专家11221
1月前来过
全职 · 1500/日  ·  32625/月
工作时间: 工作日7:30-11:30、周末9:00-20:00工作地点: 远程
服务企业: 2家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

大数据技术:
精通大数据平台的构建,并且在大数据平台的高可用性,高可靠性等方面有相当多的实际技术积累经验,同时在大数据生态组件的底层实现原理中有相当深厚的理解,并且创造性的解决了大数据组件若干重大技术缺陷问题。

前后端开发技术:
熟练使用java  python  react vue等语言进行前后端开发

爬虫技术
熟悉网站爬虫以及熟悉反爬虫技术

工作经历

  • 2019-03-01 -2020-04-01深信服科技股份有限公司大数据开发工程师

    大数据组件技术的研究,解决组件的重要问题,并且进行性能调优。最后在实际项目中发挥比原生组件更优的作用,在满足客户的需求的同时,保障该组件的长期具有稳定性

教育经历

  • 2016-09-01 - 2019-06-01中山大学计算机科学与技术硕士

    完成大数据安全基线的设计与开发,完成presto 等多源数据库交互的设计

技能

Kafka
Nginx
NoSQL
分布式
0
1
2
3
4
5
0
1
2
3
4
5
作品
数据监听

监控业务数据库所有数据的变化,将变化的数据推送给消息总线,避免轮询数据库造成的数据 库压力。主要功能包括:抓取并解析 binlog,用户订阅,消息推送,负载均衡(topic 分区,机器均衡 启动数据源),高可用(某台机器节点宕机,其他节点会启动这个节点上面的数据源等任务)。目前该项 目一期阶段结束,已经应用在太原站、长沙南站等火车站。

0
2021-02-18 01:39
大数据平台搭建与开发

使用到的主要技术是 ambari。 主要做了 ambari 的搭建与开发,自定义 ambari 服务:将其 他服务整合到 ambari 里面,通过 ambari 进行集中式的监控和管理。主要应用在高校、省信、航天院等 单位。

0
2023-03-12 12:45
数据湖治理

:将 HBase、Hive、HDFS 等组件的有效元数据实时同步到该平台中并进行集中式管理。主要功 能包括:数据的血缘关系、数据的预览、数据检索、数据目录等,并且整合 ranger 到这个平台下面,进 行元数据的安全管理。此外开发出针对这个项目的批量创建数据目录和打标签工具。

0
2023-03-12 12:46
更新于: 2021-02-16 浏览: 380