麻小仙
全职 · 600/日  ·  13050/月
工作时间: 工作日09:00-18:00、周末10:00-19:00工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

我是程序员客栈的【麻小仙】,一名【大数据开发工程师】; 我毕业于【深圳大学】,担任过【企知道】的【大数据开发工程师】,担任过【中国中车】的【大数据开发工程师】; 负责过【企知道云迁移项目】,【中车半导体信息可视化数仓】,【中集数据治理】的开发; 熟练使用【spark】,【flink】,【hive】,【java】,【python】; 如果我能帮上您的忙,请点击“立即预约”或“发布需求”!

工作经历

  • 2024-11-01 -2025-04-30企知道大数据

    企知道云迁移项目 内容: 1、使用阿里云迁移助手将私有云SQL计算节点和数据同步节点迁移到阿里云; 2、修改数据同步节点的配置信息,使数据源和数据目的正确链通; 2024.11-2025.04 3、调试SQL计算节点使数据正确加工,由于私有云用的hive,阿里云这边用的是MaxCompute,所以会有一些细节差异。 4、对调试好的工作流进行优化(如大工作流拆解成小工作流,建立更好的公共计算节点已提升数据仓库的计算效率以及资源利用 率); 5、进行数据治理,使数据安全合规,表达清晰,更易管理; 业绩: 1、负责内容快讯,企业发展,经营风险等工作流迁移; 2、对迁移的工作流进行相关优化以及治理工作; 3、提升了数据的可用性,降低了数据的计算成本;

  • 2024-04-01 -2024-09-30中国中车大数据

    中车半导体信息可视化数仓 2024.04-2024.09 内容: 由于半导体生产工艺步骤繁多,客户希望搭建一个半导体生产过程信息化可视平台,让生产过程的每一个步骤都能通过可视化页面 展示出来,方便相关人员及时准确的把握生产当中的过程进度。 项目架构:flink CDC + Doris + FineBI 这个项目采用flink CDC从客户的生产数据库同步信息到Doris的ODS层,从ODS经过SQL处理加工到DWD层,从DWD经过SQL处 理加工到DM层,FineBi拉取DM层的数据进行展示。 业绩: 1.写SQL脚本将ODS层的数据加工到DWD层。 2.写SQL脚本将DWD层的数据加工到DM层。

  • 2023-08-01 -2024-03-31中集物流大数据

    中集数据治理 内容: 这是一个物流项目,主要是分析跟踪托盘的移动路线轨迹以及地点分布。 该项目的原始数据存储在MySQL中,目的数据存放在华为云的DWS中,前端使用fineBI进行报表展示。 2023.08-2024.04 数据主要处理流程:DRS从MySQL中把数据同步到Kafka,flink读取Kafka中的数据进行ETL写入DWS,前端报表软件读取DWS中 的数据进行实时展示。 业绩: 1 负责资产网点单箱明细,批次明细,网点资产维度汇总实时报表开发; 2 负责资产客户单箱明细,批次明细,客户资产维度汇总实时报表开发;

教育经历

  • 2019-09-01 - 2022-06-30深圳大学计算机科学与技术本科

技能

Kafka
Hadoop
0
1
2
3
4
5
0
1
2
3
4
5
更新于: 1天前 浏览: 8