cisco sitecleanup

我要开发同款
xiasummer2023年02月10日
129阅读
所属分类webmysql

作品详情

项目主要是删除那些和cisco终止合作关系基于GDPR 的原因,要在用户完全无感知的情况下,并且优先级并不会太高,要避开server运行高峰删除站点在不同存储系统的数据,项目整体架构采用master slave架构,该项目通过shell脚本驱动,会在脚本里编排执行顺序,再启动java进程去执行,根据配置datacenter容器里包含的domain信息,去cisco数据库连接信息注册中心拉取连接信息,api的调用都采用安全验证,最终拉去到的配置信息写道本地csv文件,本地csv文件也会根据写入时间设置定期取重新拉取,并且会校验连接的合法性, manager发起删除command,通过kafka发送消息,worker
接收到任务进行校验,同步或异步得执行任务,worker有10多个,分别删除db,文件系统,es系统等等各个存储上的各种类型的数据,最终worker通过kafka反馈task完成情况。项目主要通过job驱动manager,worker工作,并且系统也有完善的报警机制,worker 状态异常,运行时异常都会发送mail通知

主要负责项目的二次开发
难点主要是各个删除的worker的异步任务调度
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论