0
1
2
3
4
5
大数据开发工程师
深圳全职 · 600/日 · 13050/月信用正常
工作时间: 工作日19:00-23:00、周末09:30-22:30工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
我是程序员客栈的世昌愿世昌盛，一名大数据开发工程师；
我毕业于武汉学院，担任过绿源数据的大数据开发工程师，担任过上海远大教育广场的Java开发工程师； 负责过信达实时资产，博思实时证券，博思教育平台的开发； 熟练使用java，mysql，redis，sql，flink； 如果我能帮上您的忙，请点击“立即预约”或“发布需求”！
工作经历
2022-06-06 -2023-03-30绿源数据服务有限公司大数据开发工程师
根据业务需求，与团队一起根据原始数据设计出数仓分层结构和各层的表结构数据建模 •• 负责大数据项目组件的搭建以及实施板块代码的开发。 •• 负责与客户沟通，了解客户需求，编写需求文档和项目实施文档
教育经历
2017-09-01 - 2021-07-01武汉学院软件工程本科
技能
作品
负责ODS到DWD层字段Mapping映射的处理。 编写sql将数据写入到数据库中，期间负责数据库的建模以及数据模型的创建 用海豚调度将工作流上线，让工作流在符合业务的时间内调度起来
02023-03-30 19:58
数据采集：采集沪深两市的实时数据，使用Flume和Socket流进行实时采集，其中使用Avro对数据进行序列化提升传输性能，最终 存储到Kafka中，等待Flink的消费。 实时计算：完成实时模块中个股和指数业务的开发。其中包括秒级、分时、分时备份、个股涨跌幅、振幅、涨跌、K线等指标的开 发。根据具体业务对数据进行治理。 离线ETL预警：将HDFS中的数据加载到Hive数仓中，经过ODS、DW、DM三层以后获取满足业务的指标，供Kylin进行计算，同时 同步到MySQL中。 实时预警：使用FlinkCEP对实时计算出来的手率换、振幅、涨跌幅等指标进行预警，超过阈值会给监管人员发送邮件告警。
02023-03-30 19:55
负责ODS到DWD层字段Mapping映射的处理。 负责实时资产对象的设计。 按照指定时间消费Kafka中的数据，根据Mapping以及计算逻辑对数据进行处理。将处理好的数据存储到Redis中
02023-03-30 19:53
