0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
大数据研发工程师全职 · 300/日 · 6525/月信用正常
工作时间: 工作日07:30-20:30、周末07:30-20:00工作地点:
远程
服务企业:
8家累计提交:
2工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
1、喜欢学习，善于钻研，有良好的抗压能力。
2、很高的敬业精神和团队合作精神，很好的团队沟通能力，责任心强。
3、乐观向上，热爱生活！热爱工作！
4、熟悉掌握Hive、HBase、MapReduce、HDFS、Zookeeper、Storm、Kafka原理及操作。
5、掌握Spark 集群框架 使用Spark Streaming处理业务 。
工作经历
2018-11-05 -2020-10-07上海昂旭网络科技有限公司大数据研发工程师
数据源端的信令数据，包含了联通用户4种业务类型，对应的4张表的数据信息，通过FTP将信令数据传输给SparkStreaming，SparkStreaming首先解析出每张表的数据信息，然后针对每张表的数据信息***理，截取所需要的字段，并通过信息字段lac ci（基站信息） 实时关联码表打标签，不同的合作厂商的接入，会有不同的码表文件。最后将处理好的数据保存到Hadoop上，并且通过FTP的client，实时的写到共享平台上，供合作厂商取走使用。同时每天定时对Hadoop上的数据利用Hive建立外部分区表，每天定时的执行脚本，统计分析出联通用户每天的上网行为，利用Sqoop工具将分析统计的结果导入到Oracle中，生产报表，供前端展现 1. 根据信令数据4张表的业务规则，理清楚满足业务需求的字段的下标。 2. 开发SparkSteaming流处理代码，解析出 4 张表数据信息。 3. 对表数据中的信息字段lac ci与码表关联，对数据进行实时打标签。 4. 负责Spark集群处理的优化，处理线上出现的一些错误信息，让系统处于稳定，高可用状态。 数据源为电信用户的IMS通话详
教育经历
2018-03-01 - 2020-07-01河南科技学院计算机信息管理专科
大学为成人高等教育函授模式，然后经过大数据专业培训，至今工作4年
技能
作品
从基站中采集的数据生成文件放入集群中，用Kafka把文件入Hbase库。根据前端需求从Hbase库查询数据，生成war包提交到指定位置，发送链接给前端供前端展示。
02021-11-12 13:01
项目描述: 数据源为电信客户中投诉的位置信息，拿到源数据后上传到服务器上，从电信部门的记录基站维度的hive表中与数据源中的经纬度信息写sql进行匹配得到位置附近的所有基站并把MSISDN和基站以及时间信息导入到一张临时表中，接下来按照客户投诉的时间分别与CHR用户详单和MRO用户详单以及PCMD用户详单执行join操作得到的用户最近两天的信息导入到三张临时表中，最后把临时表中的信息根据需求算出rank前三的数据和一些客户需要的数据提交给客户。
02021-11-10 09:28
