项目描述： 为了提高应用的高可用性、应用的快捷发布、应用迭代的风险可控性，计划把现有的一些应用和轻量级数据库迁移到k8s集群。 后期为了项目进一步提升开发、发布效率，使用gitalb自带的CI/CD功能，对项目进项改造。 项目职责： 调研主流 k8s 集群架构和部署方式，负责 k8s 高可用集群的部署和维护工作 使用kubeadm方式，快速部署高可用的k8s集群 安装harbor作为镜像仓库 使用Prometheus+Alertmanager+Grafana 作为k8s平台的监控系统，实现 k8s 集群的监控、告警及页面展示功能 配合研发人员完成程序和数据库的容器化改造 配置yaml使用deployment控制器发布了前台和后台程序 配置yam使用statefulset控制器发布了mysql服务器 解决容器化改造过程中的各种报错，协助研发联调程序 安装docker，harbor、gitlab-runner、docker-compose等ci/cd环境 编写gitlab-ci.yml、dockerFile、docker-compose.yml对项目进项ci/cd改造 调试gitlab的流水线，解决运行中的各种报错 整理部署、维护文档

项目时间：2018.10-至今 项目描述：    由于需要从xxxx通信运营商那里引入大量数据PB级别，决定使用使用NIFI把基站数据引入HDFS存储，使用spark、hive对数据做处理，然后把处理后的数据，存入oralce数据库，供前端展示 于一期项目产生的数据越来越大，单点oracle数据库已无法满足项目的存储、计算需求，研讨后决定使用基于pg数据库的greenplum存储数据分析数据 项目职责： 从客户那里申请60台256G内存，50TB存储的高配服务器 服务器的raid配置，系统安装，参数优化，网络配置，iptables配置等 使用ambari工具部署HDP集群，使用kerberos对HDP集群做认证管理 使用zabbix监控集群的硬件的系统，实时通过*观察集群的健康状态 部署GreenPlunm数仓，配置master节点和standby节点，保证控制节点高可用，并且配置mirror数据库，保证数据节点高可用 使用NIFI（免费ETL工具），配置任务把数据引入到Grennplum数仓和HDFS 解决大数据开发工程师、dba工作中遇到的各种报错 协助研发做部分结构化数据的分析（hive、spark、gp、mysql等方式） 整理项目部署、维护文档

CDH、HDP、原生hadoop等大数据平台的部署、优化、维护 使用hive、impala、spark等大数据框架分析处理结构化数据 使用dolphineScheduler配置大数据任务流，提升大数据开发效率 熟练k8s集群的部署维护， 对项目进行容器化改造 配置gitlab、jenkins 流水线，对项目ci/cd改造 掌握ETL工具NIFI的部署和使用，加速数据流转和处理 熟练使用shell、python、sql语言 熟练配置交换机、路由器，规划企业网络架构