项目描述： 　　通过各应用服务内部打点、服务日志、前端页面埋码等操作产生原始数据。使用大数据统计分析技术，完成对各服务运行情况的监控及预警的实时计算功能；以及系统用户使用行为、各服务战队问题单分析，服务运行耗时等的离线数据分析。将结果以报表的形式通过短信、邮件等及时通知到具体的相关人员，为系统的维护、改进提供数据支持，从而为系统的稳定、高效保驾护航，提升用户感知度。 责任描述： 打点数据清洗：与各服务Owner沟通、设计服务打点方案，进行日志数据的收集清洗 服务运行预警：对打点数据进行实时分析计算，监控服务链路的运行情况，对异常情况进行预警 　　 项目总结： 使用Flume进行数据的采集、清洗、备份 使用Spark Streaming进行实时数据分析 使用Elasticsearch实现分析数据的全文检索功能

项目描述： 　　一线工程师将网管上采集到的基站配置、存量等信息文件通过压缩zip包后上传至本系统，系统通过分析处理数据并进行还原，将站点配置信息以图表的方式呈现及导出，用于精确指导一线人员进行站点改造及搭建等设计工作。功能模块包括任务管理、配置管理、现网还原、布局连线、文件导出、物料计算、目标网设计、规则校验等。 责任描述： 文件预处理模块：zip解压、文件递归分类、xml文件的读写 站点还原模块：调用diy初步还原、解析xml结果并转换为现网还原业务模型，任务进度管理、消息的生产分发及消费 站点操作交互模块：站点信息相关信息查询指导页面出图、站点补bom操作、模型抽取 项目总结： 使用Eurake+Feign实现多系统模块间的分布式服务调用 使用RabbitMQ实现微服务间的异步、解耦及削峰 使用MongoDB进行站点还原、设计及配置等数据信息的存储 使用Redis控制任务进度刷新、全局锁等

项目描述： 　　数据基础设施平台，包括运维管理、告警管理、巡检、资源管理及安全管理等功能。以“多租户为核心”实现一体化的大数据平台能力管控及运营体系，资源“按需分配，即分即用”。为企业提供统一的多类型数据存储能力，支持数据湖及数据仓库的建设。提供大数据集群负载、性能分析及日志检索功能，支持告警管理、巡检等集群监控健康检查功能，助理集群问题发现，降低集群运维难度。 责任描述： 告警管理：负责告警管理模块的系统方案调研设计及基础框架搭建 集群管理：定义设计集群、服务等操作功能接口及集群注册纳管流程 集群作业、中间件监控及日志检索：完成集群作业查询统计，中间件监控图表，集群异常日志检索等核心编码 仪表盘：负责定义设计仪表盘模型及接口，并完成全部功能代码的开发及测试 项目总结： 项目采用主从架构，具备HA及灰度发布，数据库主备切换等基础能力 边缘Agent支持Hadoop集群Hdfs RBF及Yarn fed等社区新特性资源管理，提高集群资源水平扩展及资源利用率 引入prometheus，使用PromQL自定义集群警报规则。自研alertmanager实现告警的分组、抑制、静默及通知等功能 使用beat、logstash及ElasticSearch等组件完成集群服务metric、日志等采集任务 采用SSO及Session共享支撑多个子系统之间免密登录及系统HA功能