广西分行大数据服务中心

我要开发同款
六六丶丶2022年05月10日
128阅读

作品详情

随着我行业务的日益增长和数据应用建设逐步丰富,需接入数据和存储规模越来越大,各个系统的批处理和计划任务作业数量繁多,同时各个作业的计划时间段也各不相同,并且多个系统之间的作业调度需要整体协调,计划任务之间的关系错综复杂。无疑这将对我行系统运维管理工作带来极大的挑战,这种没有统一的批量调度管理将会带来以下问题。
大数据平台作业目前主要是后台部署,涉及系统较多,缺乏审计和跟踪;
数据文件交换目前主要使用kettle,开发规范和风格差异性较多,开发难度较大,性能无法保证;
目前大数据平台的每天增量较大,导致大数据平台性能和数据平台可用空间显著降低,运维成本增加,在众多数据中,大部分是非活动数据,清理并迁移出非活动数据和超过生命周期期限的数据到硬件成本更为低廉但可靠的文件集群,即形成:在线历史数据库。
目前在建和待建的应用系统繁多,业务测试环境跨系统数据缺乏一致性和数据完整性,需要从生产环境导出数据,需要对敏感信息进行漂白处理,目前是手工处理,工作量大而且未实现共享。
该类工作频度高、耗时长、易出错、缺乏规范。从节约成本与统一架构、统一规范考虑,拟在全行推行统一的数据服务平台BDPS,实现统一调度、数据交换、作业辅助部署、历史数据管理、数据漂白功能模块 。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论