数据基础设施平台

我要开发同款
小欠2023年01月30日
162阅读
所属分类大数据、安全管理、运维管理、资源管理

作品详情

项目描述:
  数据基础设施平台,包括运维管理、告警管理、巡检、资源管理及安全管理等功能。以“多租户为核心”实现一体化的大数据平台能力管控及运营体系,资源“按需分配,即分即用”。为企业提供统一的多类型数据存储能力,支持数据湖及数据仓库的建设。提供大数据集群负载、性能分析及日志检索功能,支持告警管理、巡检等集群监控健康检查功能,助理集群问题发现,降低集群运维难度。

责任描述:
告警管理:负责告警管理模块的系统方案调研设计及基础框架搭建
集群管理:定义设计集群、服务等操作功能接口及集群注册纳管流程
集群作业、中间件监控及日志检索:完成集群作业查询统计,中间件监控图表,集群异常日志检索等核心编码
仪表盘:负责定义设计仪表盘模型及接口,并完成全部功能代码的开发及测试

项目总结:
项目采用主从架构,具备HA及灰度发布,数据库主备切换等基础能力
边缘Agent支持Hadoop集群Hdfs RBF及Yarn fed等社区新特性资源管理,提高集群资源水平扩展及资源利用率
引入prometheus,使用PromQL自定义集群警报规则。自研alertmanager实现告警的分组、抑制、静默及通知等功能
使用beat、logstash及ElasticSearch等组件完成集群服务metric、日志等采集任务
采用SSO及Session共享支撑多个子系统之间免密登录及系统HA功能
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论