0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
大数据应用研发工程师
深圳全职 · 800/日 · 17400/月信用正常
工作时间: 工作日21:00-23:00、周末08:00-21:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
我是程序员客栈的【依然】，一名【大数据开发工程师】； 我毕业于【中国民航大学】，担任过【顺丰科技有限公司】的【高级大数据开发工程师】； 负责过【地址治理分析系统】，【花卷商城实时分析系统】的开发； 熟练使用【hadoop】，【spark】，【hql】，【shell】，【flink】等； 如果我能帮上您的忙，请点击“立即预约”或“发布需求”！
工作经历
2017-04-07 -至今顺丰科技有限公司大数据应用研发工程师
公司期间，项目离线数仓搭建、运用scalaSpark、hql、shell等语言进行大数据离线数仓的开发工作
教育经历
2013-01-09 - 2016-03-07中国民航大学交通运输规划与管理硕士
技能
作品
将数据进行分层处理，分为ODS、DWD、DWS、DWT、ADS，ODS 保留原始数据的完整性，不做任 何处理，DWD 主要对8 张事实表数据进行脏数据过滤、去重、事实表和商品、地区、用户等维表关 联，DWS 和DWT 将业务宽表按照天和月进行汇总，最后进行ADS 应用层的开发，最终前端查询数 据实现可视化。
02023-03-27 14:13
项目主要进行了两类数据的接入和处理。 日志数据：通过Flume 和Kafka 将日志服务器接入，然后将数据分解成不同的Topic，再通过 SparkStreaming 过滤、转化、计算、保存到Hbase 中，最后前端进行可视化展示。 业务数据：通过Kafka 将数Mysql 业务数据接入，然后通过SparkStreaming 进行过滤、转化、计 算、保存到Hbase 中，最后前端进行可视化展示。
02023-03-27 14:11
将数据通过Flume 接入到HDFS 集群，通过hivesql 进行数据脏数据过滤和去重，使用Python 对国省 市区、姓名、*标准化，然后调地址服务和*库进行地址治理和*解密，最后使用hivesql 做 用户画像和图谱，将Hive 表写入图数据库，运用Scala 入ES 和Oracle。 责任描述： 1、flume 数据接入和数据分析； 2、使用python 进行*解密，编写用户画像； 3、使用Scala 将数据写入ES 进行运单分析； 4、使用Scala 将中标数据写入Oracle 进行实时预警分析。
02023-03-27 14:10
