项目时间：2018.10-至今
项目描述： 
  由于需要从xxxx通信运营商那里引入大量数据PB级别，决定使用使用NIFI把基站数据引入HDFS存储，使用spark、hive对数据做处理，然后把处理后的数据，存入oralce数据库，供前端展示
于一期项目产生的数据越来越大，单点oracle数据库已无法满足项目的存储、计算需求，研讨后决定使用基于pg数据库的greenplum存储数据分析数据
项目职责：
从客户那里申请60台256G内存，50TB存储的高配服务器
服务器的raid配置，系统安装，参数优化，网络配置，iptables配置等
使用ambari工具部署HDP集群，使用kerberos对HDP集群做认证管理
使用zabbix监控集群的硬件的系统，实时通过微信观察集群的健康状态
部署GreenPlunm数仓，配置master节点和standby节点，保证控制节点高可用，并且配置mirror数据库，保证数据节点高可用
使用NIFI（免费ETL工具），配置任务把数据引入到Grennplum数仓和HDFS
解决大数据开发工程师、dba工作中遇到的各种报错
协助研发做部分结构化数据的分析（hive、spark、gp、mysql等方式）
整理项目部署、维护文档