个人介绍
1、从零到 N 构建过多个大数据仓库或数据湖,熟悉企业级数据中台和体系建设思路,拥有 DAMA-CDGA 证书, 熟悉数据治理落地方案,丰富的数据建模与 ETL 开发经验。
2、主导设计和实现大数据平台及执行引擎,技术栈:Hadoop、Hive、Spark、Flink、Azkaban、DataX、Trino、Kafka、 Iceberg、Doris、GP 等,熟悉 Java、Python 和 Scala 开发。
3、熟悉 Apache/CDH/HDP 等大数据生态技术的部署运维,具备较强的性能优化和问题解决能力。
4、带领北京+重庆+成都研发团队开发和实施数据中台,参与多个项目管理和交付。
工作经历
2022-07-01 -2024-08-01北京同⽅软件有限公司大数据工程师
搭建与开发大数据湖、数据仓库,支撑多个数据治理中台建设;在集团系统内用户单位,落地实施数据中 台并做培训,帮助多个集团单位实现数据资源化、价值化。 1. 负责大数据平台、数据湖治理中台的主要开发(ETL 执行引擎)、部署、管理和优化,保障平台服务稳定 可靠高效运行; 2. 参与开发数据中台管理功能,并基于数据中台构建大数据仓库、离线和实时数据流处理作业、数据管理 治理,参与数据中台产品功能设计和实施方案编写; 3. 用户单位数据现状调研分析,识别和整理主数据、参考数据和指标数据等需求,实施审计、标准、安全 和质量等数据治理工作及数仓的建模与开发; 4. 负责把控数据架构,如主数据模型、数仓数据模型的设计和实施,以及其他如基础库、综合库、发布库 的 ETL 开发和数据计算。
2021-02-01 -2022-07-01 北京丽兹⾏房地产顾问有限公司大数据工程师
从零到一构建湖仓一体大数据平台,打通数据孤岛,集群和作业日常管理。从零到一建设数据仓库、数据 中台体系,实现数据民主化、服务化、智能化、业务化,数据门户接入 PowerBI 自助分析。业务指标对接和分 析,数仓建模开发及数据字典维护,敏捷目标管理和汇报提报。数据现存量百亿级、月增量数亿。 1、大数据平台:基于 Ambari+HDP 搭建 Lambda 架构,数据集成 Oracle、MySQL、MongoDB、神策等,离线 +实时存储能力及数据门户应用建设。 2、数据仓库/数据中台:数据建模设计及开发,数据服务 API 开发。Atlas 数据管理及指标字典维护, Airflow&Oozie 调度作业,文档编写及提报汇报。 3、项目案例:全司数据仪表盘、策略推荐系统、盘房业务动态看板、商机及推动报表、营销渠道转化、C 端数据全景图等。 北京计算机技术
2019-03-01 -2021-02-01北京计算机技术及应⽤研究所大数据工程师
主导或参与政府和军工产品对接、设计、开发,包含大数据平台建设及持续优化、交付。 1、开源大数据产品研究、适配 arm64 处理器及二次开发,Docker 部署、K8S 管理。 2、Java、Scala Spark 项目从需求对接、原型设计、数据建模设计、代码编写、测试、交付全流程式参与, 数据项目如:工作流审核、ETL 系统开发、数据建模供 NLP 抽取识别、非机构、半结构数据处理、JVM 及集群调 优等。 3、承担大数据平台的实时维护优化、日常监控、故障处理、日志分析、数据备份、性能瓶颈分析等工作, 提高系统的可用率及可维护性。
2018-03-01 -2019-03-01贵州痛客梦⼯场科技有限公司大数据工程师
基于大数据解决企业服务痛点的平台,解决工商财税、品牌营销、IT 研发、创新方案等问题,负责官网、 APP 及小程序数据采集、处理、开发、数据呈现。 职责:数据分析后实现后端数据、大前端埋点,数据收集后进行加工处理、呈现报表,以及大数据平台管 理;参与 APP 开发。
2016-06-04 -2018-03-01贵州宏思锐达科技高级移动端工程师
外包公司,独立完成多个 iOS APP,如户爱房车、振华云科、全智易联(商家端和用户端两个 APP)、星厨餐 帮,从需求对接到开发、测试、上线、维护全流程主导。
教育经历
2012-09-01 - 2016-06-01井冈山大学计算机科学与技术本科已认证
。
资质认证
技能
相似推荐 换一批
技术总监
2000元/天
某五百强央企
技能:Java,Android,Vue,iOS,MySQL,Erlang,Python
项目经理
1000元/天
上海艾飞能源科技有限公司
技能:项目管理,项目研发,项目运维,团队技术,Java,前端,前端,设计,bootstrap,Vue.js,项目运维,Ruby,Spring,Java,jQuery,项目管理
技术总监
1000元/天
前北京源清智信科技有限公司
技能:Java,Docker,Linux,Spring,springboot,Dubbo,Vue.js,uniapp混合开发,electron
高级架构师
1000元/天
新潮传媒集团有限公司
技能:Java,Spring,Mybatis,hibernate,Dubbo,Redis,MySQL,Nginx,JavaScript,MongoDB