报表平台迁移

我要开发同款
proginn23351117862024年11月22日
248阅读

作品详情

所属公司:
拉卡拉支付股份有限公司上海分公司
项目描述:
项目背景:公司原先的报表系统的数据清洗都是基于oracle一体机,现数据量激增导致数据清洗
缓慢,且存储压力大(主要是扩容困难)
项目实施:采用新搭建的大数据平台,完成报表数据的数据清洗计算部分,再重新推回原报表数据
库,从而减轻计算压力,另将历史数据同步到大数据集群,开放hue分用户分资源查询,减轻数据
库存储压力
责任描述:
1、制定工作计划以及详细到人的任务分工
2、组织成员完成现有计算任务的梳理以及分类,分清主次
3、完成模板以及核心代码的编写,指导成员完成所有计算脚本的改造编写以及优化、测试
4、调度任务的部署,切换方案的制定
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论