1234567ye
1月前来过
全职 · 400/日  ·  8700/月
工作时间: 工作日15:30-22:00、周末9:00-23:00工作地点:
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

从事大数据行业5年,熟年掌握大数据相关的技术,参与多个大数据分析与处理,数据清洗等项目。擅长离线分析应用与实时计算应用。擅长根据项目需求等进行技术选型、设计相关的框架、开发相关的api等。

熟练掌握:hadoop、spark、flink、kafka、hive、rocketmq、sqoop、es等技能

语言使用:精通java、scala语言。使用过python、R等其他语言

工作经历

  • 2018-05-01 -至今亚信科技高级后端工程师

    参与多个运营商计费相关的大数据处理项目,并主导设计、实现相关的计算引擎,包含离线数据处理和实时数据处理。 实现了多个大数据开发框架,供部门初学者快速开发大数据项目。

  • 2014-12-01 -2018-05-01深圳科迪新汇信息科技有限公司大数据项目组组长

    毕业一年升为大数据组长,团队5人,参加多个大数据计算、分析项目。主攻大数据处理到机器学习算法等。了解使用过大量相关的技术,

教育经历

  • 2011-09-01 - 2015-04-01湖北大学计算机科学与技术本科

    失误考进湖北大学,主动选择了计算机专业

技能

flink
Spark
0
1
2
3
4
5
0
1
2
3
4
5
作品
佛山情境感知模型

开源工具KNIME为一款开源的可视化工具,是一个集数据处理、数据展示等功能于一身的工具。本项目主要内容: 1.扩展KNIME大数据相关的插件,如基于spark的机器学习算法,hdfs文件的上传下载等。 2.提供web操作界面,提供对应的算法调度、数据展示等功能,底层执行引擎为KNIME后台进程 注: 该作品年代久远,现在只有相应的文档保留

1
2020-08-14 10:18
运营商酬金计算引擎

本产品为一个基于大数据的数据计算引擎。是一个基础框架。主要特点: 1、可选择多种计算框架,如spark、flink等 2、同时可运行实现分析与离线分析 2、可选择各种计算框架对应的输入输出模块,如hive、文件、db、kafka等 3、开发了规则解析与计算框架 基于该框架开发了中国移动多个省份的酬金计算系统,酬金是指:营业厅等社会渠道每办理一笔业务如话费充值等,移动公司就需要对其分多个账期发放一比报酬,其中每种业务有不同的各种校验规则和计算规则。

1
2020-08-14 10:24
酬金稽核引擎

酬金计算引擎生成的各种酬金报表数据等已保存在数据库中, 本引擎是对酬金结果数据进行稽核功能与统计功能的扩展。本引擎也是一个基础开发框架、主要使用spark作为计算框架,通过配置来控制计算流程等。

1
2020-08-14 10:17
更新于: 2020-08-14 浏览: 320