0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
高级大数据开发工程师
成都全职 · 800/日 · 17400/月信用正常
工作时间: 工作日18:30-24:00、周末8:00-24:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
本人从事大数据开发5年。
擅长java scala Hadoop hive Hbase speak等大数据常用组件，参与完成多个大数据项目，能够独立完成从0到1的大数据开发环境搭建。
包括虚拟机安装，Hadoop集群环境搭建，Hadoop性能调优，MapReduce任务开发, spark任务开发
熟悉常用的关系型数据库及非关系型数据库
擅长java scala Hadoop hive Hbase speak等大数据常用组件，参与完成多个大数据项目，能够独立完成从0到1的大数据开发环境搭建。
包括虚拟机安装，Hadoop集群环境搭建，Hadoop性能调优，MapReduce任务开发, spark任务开发
熟悉常用的关系型数据库及非关系型数据库
工作经历
2021-06-01 -至今华网慧业高级大数据开发工程师
主要基于已有项目基础数据进行从0到1的数仓建设，包括数据的采集 过滤 清洗 增强，数仓建模，任务调度,为应用层的可视化提供数据支撑
教育经历
2020-02-01 - 电子科技大学软件工程本科
本学历为成电的网络教育学历，学信网可查，预估明年底可拿双证，统招为13年毕业大专学历
技能
作品
咪咕天眼项目用户群体主要面向内部运营人员，提供标签选取，批量预约，审批，发送，效果数据展示，导出下载功能，也为第三方平台提供直接短信下发能力，整个项目分为4大模块，包括web展示，任务调度，任务发送，消费模块。涉及框架组件hive es Hbase spring redis。我主要完成性能优化及bug修复，包括dump文件分析，日志性能 redis性能 es查询性能 垃圾收集器 disruptor 的优化。
02021-11-15 11:50
采用spark streaming 对产生的DOS告警信息在不同维度进行统计分析。包括总值，峰值，均值，当前值，攻击持续时间，开始攻击时间，结束攻击时间，被攻击IP所属网络及当前状态等
02023-02-26 05:53
基于移动基站信令数据，对人群进行时空轨迹画像，结合地理位置信息，算法模型定位为企业经营活动，研判分析提供精准数据支撑，可用于分析目前成都疫情的时空伴随者人数,因为以前做的商业项目，我主要负责标签人群的计算，spark性能调优，链接和图片没有保留
02021-11-12 19:36
