蚂蚁DataGo大数据一站式解决方案

我要开发同款
田宝宝2021年12月12日
1891阅读

作品详情

DataGo智能数据构建和管理平台是蚂蚁金服第一代大数据全生态体系的面向各类金融机构和证券企业的完整数据研发和管理平台,在生产环境上看分为公有云,专有云,国际A+站点和内部主站环境,我负责的模块是日志采集和数据研发,涵盖项目管理,资产定义,元数据管理,数据IDE研发,任务发布,向下对接日志采集层主要是对离线和实时采集的数据进行建模和研发,在IDE针对不同的计算任务类型用通用的SQL语法来研发和发布,支持冒烟和依赖血缘设计等,向上为数据存储层和数据服务层提供数据存储和应用来源,从BD数据仓库构建和管理层面属于数据研发层的技术和业务,是整个大数据构建和管理的核心中间环节,力求保障产出数据的准确性和任务研发的敏捷性,对数据进行科学合理建模和加工以满足不同业务不同层次不同环境的实际需要
核心技术栈:蚂蚁自研SOFA框架、SpringCloudAlibaba、ServichMesh、Docker、Kubernetes、OceanBase、DataX、OneService、MaxCompute、ODPS、Kepler、Blink、AntQ
项目成果:我负责包含天津银行,农发银行,巴基斯坦,比利时银行等新老客户的续约和二期开发,我所负责的核心数据系统研发,个人连续三个月SLA 3.5+
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论