个人介绍
从事大数据行业5年,熟年掌握大数据相关的技术,参与多个大数据分析与处理,数据清洗等项目。擅长离线分析应用与实时计算应用。擅长根据项目需求等进行技术选型、设计相关的框架、开发相关的api等。
熟练掌握:hadoop、spark、flink、kafka、hive、rocketmq、sqoop、es等技能
语言使用:精通java、scala语言。使用过python、R等其他语言
工作经历
2018-05-01 -至今亚信科技高级后端工程师
参与多个运营商计费相关的大数据处理项目,并主导设计、实现相关的计算引擎,包含离线数据处理和实时数据处理。 实现了多个大数据开发框架,供部门初学者快速开发大数据项目。
2014-12-01 -2018-05-01深圳科迪新汇信息科技有限公司大数据项目组组长
毕业一年升为大数据组长,团队5人,参加多个大数据计算、分析项目。主攻大数据处理到机器学习算法等。了解使用过大量相关的技术,
教育经历
2011-09-01 - 2015-04-01湖北大学计算机科学与技术本科
失误考进湖北大学,主动选择了计算机专业
技能
开源工具KNIME为一款开源的可视化工具,是一个集数据处理、数据展示等功能于一身的工具。本项目主要内容: 1.扩展KNIME大数据相关的插件,如基于spark的机器学习算法,hdfs文件的上传下载等。 2.提供web操作界面,提供对应的算法调度、数据展示等功能,底层执行引擎为KNIME后台进程 注: 该作品年代久远,现在只有相应的文档保留
本产品为一个基于大数据的数据计算引擎。是一个基础框架。主要特点: 1、可选择多种计算框架,如spark、flink等 2、同时可运行实现分析与离线分析 2、可选择各种计算框架对应的输入输出模块,如hive、文件、db、kafka等 3、开发了规则解析与计算框架 基于该框架开发了中国移动多个省份的酬金计算系统,酬金是指:营业厅等社会渠道每办理一笔业务如话费充值等,移动公司就需要对其分多个账期发放一比报酬,其中每种业务有不同的各种校验规则和计算规则。
相似推荐 换一批
java开发工程师
400元/天
前潭州教育
技能:Python,Java,MySQL,SQLServer
JAVA工程师
350元/天
长沙后步科技有限公司
技能:spring,springmvc,mybatis,hibernate,stuts2,html,css,js,jquery,Ajax,mysql,oracle等
高级后端工程师
800元/天
芒果TV
技能:Linux,Redis,Java,MySQL,Python,Django,Shell,HTML5
高级移动端工程师
1200元/天
湖南松鸣信息科技
技能:Orcle,微信公众号,小程序,Spring,Android,Java,HTML5,CSS,JavaScript,jQuery,MySQL