proginn2023045682
全职 · 1200/日  ·  26100/月
工作时间: 工作日18:00-02:00、周末10:00-06:00工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

 熟练使用python进行数据清洗和模块包的开发 

• 熟练掌握常用Linux操作命令, 搭建应用环境 

• 熟练掌握hive的各种窗口函数 

• 熟悉Hadoop的三大组件的设计思想和工作原理 

• 熟悉hsql和sparksql的各种优化 

• 熟悉MySQL、 Oracle等数据库, 并且领会存储过程。 

• 熟练使用Sparksql和DSL进行开发 

• 理解MR和spark的shuffle设计的区别 

• 熟悉ZooKeeper高可用机制和选举机制 

• 掌握使用Sqoop、 kettle、 DataX等数据采集工具 

• 能够使用Presto链接异构数据源进行表数据映射 

• 能够使用oozie、 DolphinScheduler进行自动化调度 

• 能够使用shell开发自动化脚本 

• 能够自定义UDF函数实现公司特定业务需求 

• 能够使用增强聚合函数优化代码 

• 能够使用pandas处理表格 

• 能够使用各种excel公式处理数据 



工作经历

  • 2022-06-01 -2024-04-09网易数据架构师

    模型设计,架构设计,数据开发,实时数据接入,数据测试,任务优化,方案制定,成本控制,数据服务,报表定制,数据迁移,数据接口

教育经历

  • 2018-09-01 - 2022-06-01南通大学计算机硕士

技能

0
1
2
3
4
5
作品
数据中台

数据中台建设,数据中台是一套可持续“让企业的数据用起来”的机制,一种战略选择和组织形式,是依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论支撑,构建一套持续不断把数据变成资产并服务于业务的机制。 数据中台要做四个方面的工作分别是“采集”、“存储”、“打通”、“使用”。

0
2024-04-09 21:01
浙江省国贸数据中台

从需求调研到架构的设计,从模型的设计和开发,测试联调,网易的tob项目和第三方帆软,用友,美创,构建的准实时数据中台

0
2024-04-09 20:58
浙江省国贸数据中台

从需求调研到架构的设计,从模型的设计和开发,测试联调,网易的tob项目和第三方帆软,用友,美创,构建的准实时数据中台

0
2024-04-09 20:58
更新于: 04-09 浏览: 137