0
1
2
3
4
5
0
1
2
3
4
5
2天前在线
大数据开发工程师
深圳全职 · 300/日 · 6525/月信用一般
工作时间: 工作日09:00-23:00、周末09:00-23:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
我是程序员客栈的沈钧浩，一名大数据开发工程师
我毕业于南京工业大学，担任过华数云科技股份有限公司的大数据开发工程师，担任过杭州数梦工场的大数据开发工程师；
负责过清廉杭州公权力数智监督平台项目，国家新一代人工智能开放创新平台统一门户平台项目，深圳城市大脑一网统管项目，“平安宝安”社会治理智能化平台（综合试点）项目，深圳市教育领域数据治理和数据运营服务项目的开发；
熟练使用Python、Java编程，熟悉Hadoop生态（HDFS、MapReduce、Yarn）、Spark生态（SparkSQL）、Flink实时计算框架，以及Hive、MySQL、Oracle等多种数据库技术。具备优秀的数仓架构设计能力，包括离线与实时数仓，对数据平台架构、数据存储与计算技术有深入理解。
如果我能帮上您的忙，请点击“立即预约”或“发布需求”
工作经历
2023-07-03 -2024-10-09杭州数梦工场科技股份有限公司大数据开发工程师
编制和整理人员信息、资质荣誉、机构信息等数据元信息，确保数据标准化和规范化； 完善数据元说明、备注、值域等信息，提高数据质量和可用性。； 根据项目需求编写并优化文档内容，确保文档实用性和准确性； 使用kettle实施数据同步任务，实现不同系统间的数据共享和交换； 使用powerDesigner设计民办中小学相关主题库模型，并使用sparksql编写对应的存储过程数据仓库
2020-07-01 -2023-07-01华数云科技股份有限公司大数据开发工程师
从irs、处置子平台、内网数据交换仓、内网堡垒机采集数据汇总到pgsql、mysql数据库中。 利用Azkaban进行任务调度。 通过Datax从Mysql数据库采集数据到Pg的ODS层。 依据不同主题和指标对Pg的数据进行数仓的分层建模: DWD、DWB、DIM、ADS层。 使用kettle将ADS层数据同步至达梦、mysql应用库中。 使用Prometheus+Grafana实现服务器性能监控及监控可视化
教育经历
2018-09-01 - 2020-07-01南京工业大学电气及其自动化本科
2016-09-01 - 2018-07-01南京财经大学红山学院国际商务专科
