操作型数据存储系统

我要开发同款
屠兽大侠2021年02月08日
754阅读

作品详情

ODSS系统,是属于EDWH数据仓库的一个下游系统,由于EDWH主要是为了进行一个长期的趋势分析,存储了大量的数据,需要进行复杂的数据转换,通常执行时间较长,数据时效性比较低,但在日常经营中,常常需要用到一些日常管理的数据。ODSS 克服了数据仓库系统数据过于臃肿,处理时间过长等问题。提供了中 低层决策者以快捷准确的分析信息。
ODSS系统分为odm层(该层为源系统每日下发的贴源增量数据)、fdm层(该层通过累加每天的odm 层的贴源增量数据,形成了某一时间段的源系统全量数据)、idm(应用接口层)、gdm(轻量整合数据层)。
使用平台、工具及开发语言:
control-m批量管理工具,xshell工具,aix系统,ultraEdit文本编辑器,dbvisualizer客户端,db2数据库,shell、perl脚本等等。

1、负责ETL脚本开发,通过与需求发起人员沟通及需求文档,使用标准SQL语言进行相应的ETL脚本开发。进行基本简单的数据分析。
如:通过源系统(ECPP网络支付清算系统)下发过来的交易数据,
分析集团商户和个体商户在618大促的前三天、当天及后三天的交易;
分析交易金额前十的收款商户和付款商户;
分析其交易渠道以及分析商户所属的国标行业等。
2、负责对开发的SQL脚本,进行SIT测试,配合UAT测试;
3、负责db2数据库的维护及优化,对db2数据库的表空间、表状态等进行定期检查及优化;
4、通过生产上报错处理,记录原因,严格监控并及时处理上源或本系统数据质量问题。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论