项目主要是删除那些和cisco终止合作关系基于GDPR 的原因,要在用户完全无感知的情况下,并且优先级并不会太高,要避开server运行高峰删除站点在不同存储系统的数据,项目整体架构采用master slave架构,该项目通过shell脚本驱动,会在脚本里编排执行顺序,再启动java进程去执行,根据配置datacenter容器里包含的domain信息,去cisco数据库连接信息注册中心拉取连接信息,api的调用都采用安全验证,最终拉去到的配置信息写道本地csv文件,本地csv文件也会根据写入时间设置定期取重新拉取,并且会校验连接的合法性, manager发起删除command,通过kafka发送消息,worker
接收到任务进行校验,同步或异步得执行任务,worker有10多个,分别删除db,文件系统,es系统等等各个存储上的各种类型的数据,最终worker通过kafka反馈task完成情况。项目主要通过job驱动manager,worker工作,并且系统也有完善的报警机制,worker 状态异常,运行时异常都会发送mail通知
主要负责项目的二次开发
难点主要是各个删除的worke