Spark
0
1
2
3
4
5
1月前来过
高级后端工程师
上海全职 · 500/日 · 10875/月信用正常
工作时间: 周末10:00-22:00工作地点:
远程
服务企业:
23家累计提交:
2工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
1. 掌握Scala。Java开发语言，并进行熟练编程
2. 熟悉spark1.0及spark2.0的框架底层原理并熟练使用spark处理大数据相关内容，对spark集群调优有一定心得
3. 熟悉Hadoop1.0及2.0以及周边生态圈技术的底层原理和架构
4. 熟悉hbase底层原理和架构及优化与维护，熟练使用该库处理非结构化数据存储及检索
5. 熟练掌握和使用hive做数据分析
6. 熟练使用elasticsearch做数据存储和索引查询和数据检索
7. 掌握OLAP引擎kylin的底层原理和框架
8. 熟练使用Mysql，Mongodb等大中型主流关系型与非关系型数据库，并熟悉基本原理和相关维护
9. 熟悉Kafka，flume基本原理和架构，并做数据采集和流向操作
10. 熟练操作Linux命令以及熟练使用shell脚本
工作经历
2015-05-01 -至今创略科技高级后端工程师
8个大数据项目 每日处理几十亿增量数据 掌握spark Hadoop hive abase elasticsearch等常用大数据开发组件
教育经历
2011-09-01 - 2015-07-01商丘师范学院计算机科学与技术本科
校内软件大赛一等奖
技能
作品
棱镜系统主要服务于国内股票金融领域，是一个综合股市行情，实时媒体舆情，实时互联网用户金融行为大数据交叉分析并预测股票趋势系统，且通过API、Socket WEB、APP等方式实时输出，自主研发的金融舆情监控国内首个基于全网用户行为的系统。
02019-08-12 16:29
一款基于开源管理框架ambari的适用于海量数据存储和计算的大数据平台，用户通过此平台可以更方便的安装软件，配置，启动，停止和监控服务和管理集群，通过不断添加集成当下业界流行的组件进来使其功能更强大。
02019-08-12 16:27
一个企业级客户数据平台，通过多渠道打通数据源实现数据收集和大型数据集的处理，到运行高级分析，最终将洞察变为营销活动，服务客户包括Starbucks，Maserati，MK，饿了么等等
02019-08-12 16:23
