大数据开发工程师深圳
全职 · 1500/日 · 32625/月信用正常
工作时间: 工作日7:30-11:30、周末9:00-20:00工作地点:
远程
服务企业:
2家累计提交:
0工时
联系方式:
********
********
********
查看联系方式
聊一聊个人介绍
大数据技术:
精通大数据平台的构建,并且在大数据平台的高可用性,高可靠性等方面有相当多的实际技术积累经验,同时在大数据生态组件的底层实现原理中有相当深厚的理解,并且创造性的解决了大数据组件若干重大技术缺陷问题。
前后端开发技术:
熟练使用java python react vue等语言进行前后端开发
爬虫技术
熟悉网站爬虫以及熟悉反爬虫技术
精通大数据平台的构建,并且在大数据平台的高可用性,高可靠性等方面有相当多的实际技术积累经验,同时在大数据生态组件的底层实现原理中有相当深厚的理解,并且创造性的解决了大数据组件若干重大技术缺陷问题。
前后端开发技术:
熟练使用java python react vue等语言进行前后端开发
爬虫技术
熟悉网站爬虫以及熟悉反爬虫技术
工作经历
2019-03-01 -2020-04-01深信服科技股份有限公司大数据开发工程师
大数据组件技术的研究,解决组件的重要问题,并且进行性能调优。最后在实际项目中发挥比原生组件更优的作用,在满足客户的需求的同时,保障该组件的长期具有稳定性
教育经历
2016-09-01 - 2019-06-01中山大学计算机科学与技术硕士
完成大数据安全基线的设计与开发,完成presto 等多源数据库交互的设计
技能
作品
监控业务数据库所有数据的变化,将变化的数据推送给消息总线,避免轮询数据库造成的数据 库压力。主要功能包括:抓取并解析 binlog,用户订阅,消息推送,负载均衡(topic 分区,机器均衡 启动数据源),高可用(某台机器节点宕机,其他节点会启动这个节点上面的数据源等任务)。目前该项 目一期阶段结束,已经应用在太原站、长沙南站等火车站。
0
2021-02-18 01:39
使用到的主要技术是 ambari。 主要做了 ambari 的搭建与开发,自定义 ambari 服务:将其 他服务整合到 ambari 里面,通过 ambari 进行集中式的监控和管理。主要应用在高校、省信、航天院等 单位。
0
2023-03-12 12:45