数据架构师成都
全职 · 1200/日 · 26100/月信用正常
工作时间: 工作日18:00-02:00、周末10:00-06:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
查看联系方式
聊一聊个人介绍
熟练使用python进行数据清洗和模块包的开发
• 熟练掌握常用Linux操作命令, 搭建应用环境
• 熟练掌握hive的各种窗口函数
• 熟悉Hadoop的三大组件的设计思想和工作原理
• 熟悉hsql和sparksql的各种优化
• 熟悉MySQL、 Oracle等数据库, 并且领会存储过程。
• 熟练使用Sparksql和DSL进行开发
• 理解MR和spark的shuffle设计的区别
• 熟悉ZooKeeper高可用机制和选举机制
• 掌握使用Sqoop、 kettle、 DataX等数据采集工具
• 能够使用Presto链接异构数据源进行表数据映射
• 能够使用oozie、 DolphinScheduler进行自动化调度
• 能够使用shell开发自动化脚本
• 能够自定义UDF函数实现公司特定业务需求
• 能够使用增强聚合函数优化代码
• 能够使用pandas处理表格
• 能够使用各种excel公式处理数据
工作经历
2022-06-01 -2024-04-09网易数据架构师
模型设计,架构设计,数据开发,实时数据接入,数据测试,任务优化,方案制定,成本控制,数据服务,报表定制,数据迁移,数据接口
教育经历
2018-09-01 - 2022-06-01南通大学计算机硕士
技能
0
1
2
3
4
5