个人介绍
我是万东方,大数据开发离线经验5年。
熟悉整个数据流向。对数据采集,到清洗转换,落盘数仓,业务分析,数仓建模,报表开发十分熟悉,熟悉大数据的框架,从采集,传输,调度,元数据管理,报表分析工具都有使用。
技能点主要为 SQL(hivesql,sparksql,mysql),数仓建模,数据治理。
目前在对数据采集和实时处理这一块的技术正在学习和巩固(爬虫/flink)
如果有需要可以联系我。
工作经历
2018-07-01 -2023-08-21中电金信大数据开发工程师
1.数仓建设 2.ETL处理 3.资产运营推广 4.数据治理 5.游戏报表开发及业务接入
教育经历
2013-09-01 - 2017-06-26三峡大学金属材料工程本科
技能
项目目的:1.和平资产未实现70%覆盖率分析及解决;2.其他业务推进资产化;3.验证进行自助化提数 项目背景:在一阶段数仓建设七七八八的情况下,如何保证新的数仓不再重复老路,进行无限制的扩张。因此我们进行了大力宣讲和推广,做了负例优化的事情。并且要推广到其他业务。在人力有限的背景下,能否通过业务自助提数功能减轻开发压力。 项目流程: 1.未使用资产负例剖析分类,分类解决; 2.出具标准负例分析流程规范; 3.资产运营周报监控,持续稳定资产复用率; 4.其他业务推广运营; 5.构建业务准入流程; 6.利用资产进行自助提数探索; 成果: 1.和平资产治理,实现120张资产表(表占比0.5%)覆盖需求稳定达到75%; 2.出具业务准入资产化流程规范(月均200+需求); 3.完成使命召唤手游初始资产化;
和平TDW资产迁移StarRocks框架(三阶段 2022/11-2023/7) 项目目的:1.StarRocks结合DA快速取数能力;2.自助提数功能 项目背景:为了更好的适配DA自助提数和报表功能,StarRocks的亚秒级响应能力,理论上能够大幅提升提数,报表类需求的开发效率。在经过论证费用,效率可实现性之后,把之前tdw数仓资产迁移到StarRocks。 工作事项: 1.参与sr新架构组合验证(测试相同数据量表在tdw 与sr中查询,存储,调度,综合成本对比); 2.参与cos测试,补录tlog数据; 3.和平资产迁移到sr,部分函数改写ETL; 4.sr使用及反馈(部分函数不支持,etl改写逻辑); 5.DA多维分析数据集构建;
项目背景:和平游戏各中心累计有库有50个,表累计2万多张。在长时间的开发下,中间层的mid表和ret表越来越多,尤其是个人属性命名的ret和mid表,有重复开发的情况出现。业务口径不明确;使用表困难。 项目目的:1.构建健全的规范数仓;2.资产覆盖率达到70% 具体工作任务: 1.分析历史需求,指标拆解,构建总线矩阵; 2.确定模型架构ODS-DWD(部分)-DWS轻度-DWS汇总(宽表)-ADS层; 3.完善词根库建设,命名规范,质量验证规范,开发规范制定,表上下线规范; 4.六大数据域ETL开发(活跃、玩法、角色社交、付费流水、系统属性、道具); 5.旧表重构逻辑,质量验证,下架空表/无血缘表; 6.用户画像标签和常用提数数据集处理; 7.河图上架资产进行元数据管理,完善资产表(新增字段,生命周期调整); 成果: 1.新建资产库,和平资产表构建60余张,需求使用资产复用率60%; 2.结合后端前端提供完善的元数据服务,快速实现查表用表,统一业务口径; 3.标准的数仓开发全流程规范推广给其他业务;