项目时间:2018.10-至今
项目描述:
由于需要从xxxx通信运营商那里引入大量数据PB级别,决定使用使用NIFI把基站数据引入HDFS存储,使用spark、hive对数据做处理,然后把处理后的数据,存入oralce数据库,供前端展示
于一期项目产生的数据越来越大,单点oracle数据库已无法满足项目的存储、计算需求,研讨后决定使用基于pg数据库的greenplum存储数据分析数据
项目职责:
从客户那里申请60台256G内存,50TB存储的高配服务器
服务器的raid配置,系统安装,参数优化,网络配置,iptables配置等
使用ambari工具部署HDP集群,使用kerberos对HDP集群做认证管理
使用zabbix监控集群的硬件的系统,实时通过微信观察集群的健康状态
部署GreenPlunm数仓,配置master节点和standby节点,保证控制节点高可用,并且配置mirror数据库,保证数据节点高可用
使用NIFI(免费ETL工具),配置任务把数据引入到Grennplum数仓和HDFS
解决大数据开发工程师、dba工作中遇到的各种报错
协助研发