万东方
1月前来过
全职 · 600/日  ·  13050/月
工作时间: 工作日07:00-20:00、周末08:00-17:00工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

我是万东方,大数据开发离线经验5年。

熟悉整个数据流向。对数据采集,到清洗转换,落盘数仓,业务分析,数仓建模,报表开发十分熟悉,熟悉大数据的框架,从采集,传输,调度,元数据管理,报表分析工具都有使用。

技能点主要为 SQL(hivesql,sparksql,mysql),数仓建模,数据治理。

目前在对数据采集和实时处理这一块的技术正在学习和巩固(爬虫/flink)

如果有需要可以联系我。

工作经历

  • 2018-07-01 -2023-08-21中电金信大数据开发工程师

    1.数仓建设 2.ETL处理 3.资产运营推广 4.数据治理 5.游戏报表开发及业务接入

教育经历

  • 2013-09-01 - 2017-06-26三峡大学金属材料工程本科

技能

Hadoop
MySQL
Spark
0
1
2
3
4
5
0
1
2
3
4
5
作品
资产运营及推广

项目目的:1.和平资产未实现70%覆盖率分析及解决;2.其他业务推进资产化;3.验证进行自助化提数 项目背景:在一阶段数仓建设七七八八的情况下,如何保证新的数仓不再重复老路,进行无限制的扩张。因此我们进行了大力宣讲和推广,做了负例优化的事情。并且要推广到其他业务。在人力有限的背景下,能否通过业务自助提数功能减轻开发压力。 项目流程: 1.未使用资产负例剖析分类,分类解决; 2.出具标准负例分析流程规范; 3.资产运营周报监控,持续稳定资产复用率; 4.其他业务推广运营; 5.构建业务准入流程; 6.利用资产进行自助提数探索; 成果: 1.和平资产治理,实现120张资产表(表占比0.5%)覆盖需求稳定达到75%; 2.出具业务准入资产化流程规范(月均200+需求); 3.完成使命召唤手游初始资产化;

0
2023-08-21 10:50
架构迁移starrocks

和平TDW资产迁移StarRocks框架(三阶段 2022/11-2023/7) 项目目的:1.StarRocks结合DA快速取数能力;2.自助提数功能 项目背景:为了更好的适配DA自助提数和报表功能,StarRocks的亚秒级响应能力,理论上能够大幅提升提数,报表类需求的开发效率。在经过论证费用,效率可实现性之后,把之前tdw数仓资产迁移到StarRocks。 工作事项: 1.参与sr新架构组合验证(测试相同数据量表在tdw 与sr中查询,存储,调度,综合成本对比); 2.参与cos测试,补录tlog数据; 3.和平资产迁移到sr,部分函数改写ETL; 4.sr使用及反馈(部分函数不支持,etl改写逻辑); 5.DA多维分析数据集构建;

0
2023-08-21 10:48
和平手游资产建设及表合规治理

项目背景:和平游戏各中心累计有库有50个,表累计2万多张。在长时间的开发下,中间层的mid表和ret表越来越多,尤其是个人属性命名的ret和mid表,有重复开发的情况出现。业务口径不明确;使用表困难。 项目目的:1.构建健全的规范数仓;2.资产覆盖率达到70% 具体工作任务: 1.分析历史需求,指标拆解,构建总线矩阵; 2.确定模型架构ODS-DWD(部分)-DWS轻度-DWS汇总(宽表)-ADS层; 3.完善词根库建设,命名规范,质量验证规范,开发规范制定,表上下线规范; 4.六大数据域ETL开发(活跃、玩法、角色社交、付费流水、系统属性、道具); 5.旧表重构逻辑,质量验证,下架空表/无血缘表; 6.用户画像标签和常用提数数据集处理; 7.河图上架资产进行元数据管理,完善资产表(新增字段,生命周期调整); 成果: 1.新建资产库,和平资产表构建60余张,需求使用资产复用率60%; 2.结合后端前端提供完善的元数据服务,快速实现查表用表,统一业务口径; 3.标准的数仓开发全流程规范推广给其他业务;

0
2023-08-21 10:40
更新于: 2023-08-21 浏览: 176