0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
高级数据开发
上海全职 · 500/日 · 10875/月信用正常
工作时间: 工作日09:30-22:30、周末10:00-21:00工作地点:
服务企业:
1家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
在大数据生态圈做了近5年，对大数据相关领域有丰富的实践经验，熟悉大数据的发展趋势，技术能力如下:
1. 理解spark工作机制。掌握spark任务的执行流程Spark部分spark源码
2. 熟练使用Java和scala语言编程
3. 掌握利用hive,Spark SQL进行数据处理、查询、统计
4. 熟悉spark-streaming原理和相关操作
5. 熟悉Elasticsearch
6. 理解hadoop的分布式文件系统，掌握mapreduce原理，实现编码
7. 熟悉hive的工作原理，了解数据仓库建立，完成对数据主题抽取和多维分析，和一些基本的Hive优化技术
8. 熟练使用sqoop工具，实现非关系型数据库与关系型数据库表数据互导
9. 理解Hbase的存储原理，Hbase存储架构，实现数据的毫秒检索
10. 掌握redis内存数据库的基本原理，实现数据的毫秒查询
11. 掌握kafka、flume数据采集工具的原理，实现流式数据的过滤和分析
12. 能阅读英文技术文档。具备良好的文档写作能力
13. 熟悉Linux操作系统以及常用的shell命令
1. 理解spark工作机制。掌握spark任务的执行流程Spark部分spark源码
2. 熟练使用Java和scala语言编程
3. 掌握利用hive,Spark SQL进行数据处理、查询、统计
4. 熟悉spark-streaming原理和相关操作
5. 熟悉Elasticsearch
6. 理解hadoop的分布式文件系统，掌握mapreduce原理，实现编码
7. 熟悉hive的工作原理，了解数据仓库建立，完成对数据主题抽取和多维分析，和一些基本的Hive优化技术
8. 熟练使用sqoop工具，实现非关系型数据库与关系型数据库表数据互导
9. 理解Hbase的存储原理，Hbase存储架构，实现数据的毫秒检索
10. 掌握redis内存数据库的基本原理，实现数据的毫秒查询
11. 掌握kafka、flume数据采集工具的原理，实现流式数据的过滤和分析
12. 能阅读英文技术文档。具备良好的文档写作能力
13. 熟悉Linux操作系统以及常用的shell命令
工作经历
2020-11-01 -至今工商银行软件研发中心高级数据开发
主要负责工商银行搜索中心的建设，目前的搜索中心基于solr，正在往elasticsearch迁移中，目的是为了构建工行的百度
2017-10-01 -2019-03-01擎创科技大数据开发工程师
公司主要是做智能运维平台，将数据采集到elasticsearch之后，进行清洗，我负责的模块是统一查询平台，参照splunk 语法定义 使用ANTLR (用JAVA写的语言识别工具),定义一套类似splunk的查询语言，简单，易用，可重复嵌套，项目使用JAVA语言开发, ANTLR分为以下2个阶段: 1. 词法分析阶段,对应的分析程序叫做 lexer ，负责将符号（token）分组成符号类 2. 根据词法，构建出一棵分析树（parse tree）或叫语法树（syntax tree） 构建完成之后, 通过JAVA程序将各个语法规则解析通过程序去转换成dsl后查询查询Elasticsearch，以上操作是在es中执行, 查询出来结果可以进行pipeline操作，比如再计算,过滤等，此时pipleLine操作是在本地Java程序中执行, 相比于sql 来说，不仅语法简单，功能强大，最主要的是学习成本低，相对于售前，运维人员来说，上手很快，该平台开发一年多， 参与了大部分的前期,中期开发任务,以下是一个查询案例 示例: index= shbank_machinealarm* appName =
2016-05-01 -2017-10-01好耶广告大数据开发工程师
ainsight为了监测移动设备用户行为,开发了IOS,Android SDK,嵌入到应用中,这样就能收集到用户使用应用的数据,将这些收集到的通过flume实时sink到kafka,然后再sink到hdfs 上,使用spark sql去计算各个指标,比如,平均使用时长,终端属性报表,用户分析报表等,然后生成报表数据之后保存到hadoop上,然后通过 sqoop将报表数据导入到mysql中,供前端展示 责任描述： 1.app监测 数据收集flume部署 2.SLA部署 3.参与项目架构的设计和开发 4.使用spark sql技术进行报表开发,使用jenkins进行回归测试,上线部署,使用azkaban进行任务调度，监控通过nagois进行管理
教育经历
2010-09-01 - 2014-06-01淮阴师范学院计算机科学与技术本科
每年获得奖学金，获得国家励志奖学金，英语6级，日语N2，获得淮安市程序设计大赛二等奖
技能
作品
作为广告agency ，当我们的客户使用我们的监测代码，好耶收到监测数据之后产生各种纬度的报表之后，广告主可以根据好耶提供的监测 数据查看广告投放效果，分为离线报表和实时报表，离线报表比如广告投放报表，投放效果报表，频次报表等，实时报表 比如分小时显示，点击数据，地域显示，点击数据，当天总量数据，另外广告主可以根据我们提供的监测数据作为和媒体 结算的依据，Ainsight目前包括网站监测分析，APP 监测分析，目前正在研究的的*朋友圈监测小程序监测，后面可能加入到监测系统中
02021-03-01 15:06
该项主要针对公司算法和数据处理的结合问题而立项，大部分算法比如日志告警，异常检测等算法都是python 编写，而懂算法的人对大数据相关技术不了解，做数据处理的人对算法不了解，AI 实验室是一款提供开箱即用的智能运维算法平台,其中包括异常检测,趋势预测,文本聚类,根因定位等一系列算法,并且具备数据清洗和验证,场景匹配,模型训练,实时和历史计算框架等多种能力,该算法平台主要任务是讲将算法脚本转换为spark 任务去计算，另外，作为通用算法平台，扩展性好,该算法平台参照spark job server 源码,使用Scala语言,采用AKKA框架进行开发
02021-03-01 15:04
公司主要是做智能运维平台，将数据采集到elasticsearch之后，进行清洗，我负责的模块是统一查询平台，参照splunk 语法定义 使用ANTLR (用JAVA写的语言识别工具),定义一套类似splunk的查询语言，简单，易用，可重复嵌套，项目使用JAVA语言开发, ANTLR分为以下2个阶段: 1. 词法分析阶段,对应的分析程序叫做 lexer ，负责将符号（token）分组成符号类 2. 根据词法，构建出一棵分析树（parse tree）或叫语法树（syntax tree） 构建完成之后, 通过JAVA程序将各个语法规则解析通过程序去转换成dsl后查询查询Elasticsearch，以上操作是在es中执行, 查询出来结果可以进行pipeline操作，比如再计算,过滤等，此时pipleLine操作是在本地Java程序中执行, 相比于sql 来说，不仅语法简单，功能强大，最主要的是学习成本低，相对于售前，运维人员来说，上手很快，该平台开发一年多， 参与了大部分的前期,中期开发任务,以下是一个查询案例 示例: index= shbank_machinealarm* appName ='t24' ruleName = 'ripple' AND eventHost = 't24db02' | stats count as cnt by eventHost,metricName
02021-03-01 15:01
