个人介绍
熟悉shell、python、Java;数据库有Oracle、MySQL、PostgreSQL、MongoDB;大数据组件有HDFS、YARN、Flume、HBase、Hive、Hue、Impala、Kafka、Oozie、Spark、Sqoop、Zookeeper、Kerberos等等;能够编写自动化运维脚本、简单的爬虫脚本;部署大数据平台CDH、HDP,及平台运维;
工作经历
2020-07-13 -至今卓望数码大数据运维
中移互联网数据中台项目,在项目上,担任中台系统运维组长,大数据集群扩容,日常巡检shell、python脚本改造,集群主机漏洞修复;
2018-05-18 -2020-07-10上海音智达信息技术有限公司大数据运维
主要负责大数据平台部署和管理运维,ETL开发工作、调度维护;在职期间参与了传音大数据平台部署和运维项目、迈瑞医疗CDH部署项目、UR快尚时装测试环境CDH 5.13.0部署项目。
2017-11-13 -2018-05-09广州时代数据服务有限公司数据库开发工程师
主要负责ETL开发流程设计,ETL开发的规范设计,数据库表结构设计,标签数据处理及自动化的生产,及对初级员工技术上的指导工作。期间参与了广东省电信个人信用风险管控项目和东莞电信客户洞察及自动化营销项目。
教育经历
2009-09-04 - 2013-06-24仲恺农业工程学院信息管理与信息系统本科
在大学四年期间主要学习Java、数据库管理系统、管理学等课程。
技能
迈瑞医疗CDH安装项目是为了售前做BI Demo演示而部署大数据平台环境;安装部署CDH版本为5.16.2,服务器数量为3台,CPU 2台56核,1台24核,内存2台512G,1台128G,操作系统RadHat 7.5;安装组件有HDFS、YARN、Hive、Impala、Zookeeper、HBase、Hue、Kudu、Oozie、Spark、Kafka、Sqoop;
传音股份CDH 6.2.0是基于传音成本核算项目启动而搭建的数据平台,目标是打造成传音企业级数据仓库;其中测试环境配置:5台机器,CPU 2台4核,3台8核,内存64G;生产环境配置:7台机器,CPU 7台64核,内存3台128G,4台256G;安装组件有HDFS、YARN、HBase、Hive、Hue、Impala、Oozie、Spark、Sqoop、Zookeeper、Kerberos;