




个人介绍
工作经历
2022-07-08 -至今DXCTechnology Consultant III
大数据集群管理: 1.MapR集群维护、组件升级、数据使用方volume权限管理; 2.日常数据任务自动化脚本的编写,更新,测试,维护; 3.跨团队处理日常业务需求; 数据分析: 1.BMW汽车行驶数据自动化处理; 2.汽车驾驶员行为和消费分析; 3.相关业务报表的制作;
2019-07-08 -2021-04-05金风科技高级大数据平台工程师
大数据平台管理: 1.搭建、维护、优化CDH集群,为业务方提供良好的数据环境; 2.建设hive离线数据仓库,制定数据收集方案,完善数据处理流程; 3.实现业务数据的ETL,完成数据处理脚本的编写、调试、数据入库及上线应用; 数据治理: 1.推动部门的数据治理及数字化工作,建设内部数据资产; 2.从完整性、一致性、及时性、正确性等多方面提升业务数据质量; 3.数据生命周期流转每个阶段数据的妥善管理、权限把控; 4.完善数据使用流程,推进多部门协同落实; 数据分析: 1.根据业务需求编写python爬虫程序自动化定期爬取企业信息; 2.风机、能源等业务数据的收集,自动化处理及分表入库; 3.FineBI日常业务报表制作;
2015-11-10 -2018-12-23京东数科运维工程师/大数据工程师
大数据集群管理: 1.CDH离线大数据集群日常管理维护:集群搭建扩容、监控、优化、迁移、故障排查、自动化运维等; 2.有关集群维护、任务运行、数据处理等多方业务的脚本编写; 3.hive数据仓库的设计,实现ETL数据落地,数据建模,后续数据清洗入库等数据开发; 4.平台组件权限管理,标准化流程制定; 项目主导: 1.主导部门内部大数据平台开发项目的技术选型,页面设计和部分开发,跨部门合作获取和更新业务需求,完成平台功能和使用性测试,推进后续的功能推迭代和用户体验; 2.大数据组件监控指标的筛选,二次开发采集; 3.持续迭代项目推进,人员调整,把控项目进度; 数据分析: 1.对支付等业务的数据进行数据处理和查询分析; 2.有关分析的可视化和报表制作; 3.尽可能地分析出线上业务问题,反馈给业务方改进; 技术分享: 1.不定期对组内员工进行技术培训和分享; 2.编写项目/技术文档;
教育经历
2007-09-01 - 2022-06-21首都师范大学电子信息工程本科