0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
数据部主管
上海全职 · 300/日 · 6525/月信用正常
工作时间: 工作日09:00-21:00、周末09:00-21:00工作地点:
远程
服务企业:
4家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
主要从事大数据仓库的ETL工作、Hive和MySQL数据仓库的宽表开发和性能调优，以及Hive的运维工作。
熟悉批量离线式分布式并行计算技术（如Hadoop、MapReduce、Hive、Kafka、Flink等）
精通SQL，有一定的SQL性能调优经验，熟悉Hive SQL(HSQL)的开发和调优
熟悉SQLServer、MySQL、Oracle、Hive数据库
熟悉主流操作系统(Linux、Windows Server)的操作
熟悉Shell、Python语言，擅长使用Python进行数据处理和爬取数据。
工作经历
2017-08-01 -至今上海前隆信息科技有限公司数据部主管
参与数据仓库(Hive和MySQL)的搭建和ETL开发； 负责数据集市的数据的提取、清洗和入仓工作； 负责MySQL数据集市的运维工作； 使用Python编写自动化运维脚本和处理数据； 开发自助运维网站； Hive的脚本开发和优化； Hive数据仓库的宽表开发； 负责Tableau BI服务器的运维和发布 协助其他部门，维护数据质量，排查问题 维护数据安全；
2014-09-01 -2017-07-31时代天使生物科技有限公司数据运维部经理
维护公司CRM、ERP、CDS、OPM等内部和外部系统正常运行，公司系统采用nginx和tomcat，使用php和java语言。 维护公司的服务器操作系统(CentOS)； 定制数据完善的备份策略，确保任何重要数据都不会丢失； 搭建监控系统(Zabbix)，对公司软件运行状态和业务数据实时监控； 管理公司SQL Server和MySQL数据库，负责数据库的克隆、主备同步、备份和性能优化，同时支持开发人员, 帮助进行sql 优化； 搭建报表平台(Pentaho)，根据业务部门的需求开发报表； 搭建自动化脚本平台(Rundeck)，做到定时任务和日常操作的自动化和简单化； 负责公司虚拟化平台的运维，生产环境使用的6节点的Vmware，测试环境使用的5节点的Openstack； 使用Shell、Python和Java编写运维脚本，提高工作效率； 研究Hadoop、HBase、Spark等技术，为公司大数据分析做技术储备； 负责管理公司IT部门；
教育经历
2000-09-01 - 2004-06-01同济大学计算机科学与技术本科
2000年同济大学计算机科学与技术专业统招本科
