数据开发

我要开发同款
proginn17074581452023年08月13日
303阅读
所属分类作品

作品详情

2、项目名称:中华保险应用数据开发,迁移
软件环境:windows系统、
开发工具:阿里云 dataworks专有云数据平台,hive星环数据库
项目描述:
基于阿里云dataworks专有云数据平台做开发:
(1)数据校验:对模型数据进行数据校验,通过星环数据库与阿里云数据做比对。
(2)对数据进行取数,并按照模型定义将星环源数据内容转化为模型数据。
(3)制定工作流程:每月的需求任务以及上线时间的规划的时间节点进行需求分析,
编写代码,测试,代码审查,验证数据准确性,生产上线等。
(4)数据迁移的目标是,协助中华财险通过构建新一代全分布式保险核心系统,正式开
启数字化变革之路。
项目职责:
1.编写 hive 星环数据库至阿里云 dataworks 数据平台 迁移脚本,并测试;
对迁移到阿里云dataworks数据平台上的al进行优化与测试
2.熟练使用阿里云datayorks数据平台,熟练SQL语言,增删改查,函数等。
3.使用数据集成的方式从hive星环数据源,进行对数据进行转换、抽取、加载到阿里云的
数据平台。
4.进行调度配置,实现定时任务跑批,通过ecs服务器进行上传文件。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论