因公司业务发展，为提高身份比对项目系统可用性，由运行部提出建设双活系统方案，并由运行部主导操作。 1、前期规划：包括硬件，网络，软件，系统架构等方面做出详细规划方案。运行部设计两套方案： （1）自己机房搭建方案，需要采购设备，网络规划，系统及服务安装、调试、性能测试，其资源耗费较大，费用较高；但不需要修改软件的系统架构。 （2）公有云方案，需要设计网络架构，公有云与本地生产机房的数据同步等。资源耗费较小，软件系统架构需要做少量修改。如：计费及账号信息管理等。 2、采购及实施方案，经审批后运行部选着阿里云的公有云服务，其方案主要关注的点如下： （1）阿里云与本机生产机房联通性问题：我采用阿里云的VPN网关，对其做点对点的IPsec通道。 （2）数据库数据问题，在上一步的基础上，阿里云不单独部署数据库服务，通过业务模块直接远程调用本机机房数据库服务。 （3）计费问题，采用logstash直接将计费日志发送至生产机房的kafka服务，实现计费模块单一化原则。 3、性能测试。配合测试部门进行业务的性能测试，实现生产环境同级别的性能要求。

新系统建设后，需使用一套成熟监控软件，运行部采用市面教成熟的Zabbix进行搭建监控服务并监控系统及各种运行服务。 1、系统环境：Centos 7 2、使用软件：Zabbix-3.2 3、架构：agent端采集-->zabbix服务端-->Apache展示 （1）数据收集采用zabbix-agent服务，（因服务器数量80多台，器规模较小为采用zabbix-proxy模型）。 （2）系统数据通过zabbix自带模板进行采集，Nginx, Redis, Mysql, zookeeper等服务器，使用自己编写脚本进行采集数据，Tomcat采用JMX监控器指标。 （3）网络设备通过SNMP协议使用自带模板进行监控，比如流量等指标。 4、其他监控方式：通过shell编写监控脚本（对专用设备及业务往来的客户IP等）。

因业务发展需求及研发部门对日志的查看需求，运维部门采用现今较为常用的的ELK日志收集系统。 1、系统环境：Centos 7 2、选用软件：filebeat-5.6.13; logstash-5.6.13; elasticsearch-5.6.13; kibana-5.6.13; kafka-2.10 3、使用架构：收集日志-->kafka-->logstash-->elasticsearch-->kibana （1）日志收集：应用服务器的日志收集使用资源消耗较小的filebeat，收集应用及系统日志，并将收集日志发送至kafka中。 （2）缓存队列：使用性能较高的kafka做消息队列。 （3）日志过滤：logstash从kafka中消费日志并做相应过滤操作，最后再传送至es集群。 （4）搜索引擎：使用性能较高的elasticsearch集群做日志的搜索引擎。 （5）展示：使用ELK经典架构的Kibana做日志展示，其有强大的绘图及关键字搜索功能。 （6）业务日志监控：使用logstash的exec和mail模块，并利用其filter功能对日志做过滤后，在通过exec来调用日志发送脚本，将有问题业务日志发送至*。 4、使用场景及用途： 业务分析、问题查找、报表展示等。其URL提供给研发同事，让其能够查看错误信息，减少运维频繁的在系统中查询日志，提供运维的工作效率。 5、技术难点： （1）filebeat收集日志配置中的多行匹配及添加fieds字段。解决方法：查看官方文档使用相应正则表达式及匹配规则进行多行匹配。 （2）logstash过滤条件配置。解决方法：同filebeat，查看官方文档查找相应配置方法。 （3）elasticsearch日志存放时间问题（运行时间较长其日志量问题）。解决方法：采用集群模式（es存储数据时及形成raid0方式），对时间较长数据进行删除。