大数据服务平台 ibp 是一个面向内部的数据系统,包含数据输出任务创建,数据任务调度,模型文件管理,数据仓库质量监控等功能
【1】 数据输出任务创建 ,是基于数据仓库的ads层输出表,方便的创建各种类型的数据输出任务,包括邮件任务,短信任务和不复杂的数据接口
【2】 数据任务调度是基于 quartz 开发的调度功能,方便内部人员对数据任务进行调度安排
【3】 模型文件管理 是方便数据科学家团队针对数据研究结果 pmml 文件进行管理, 更好的与开发团队协作
【4】 数据仓库质量监控是针对数据仓库的 etl任务, 数仓任务等进行质量监控,出现数据异常时进行快捷的排查
我负责了大数据服务平台的整体设计,后台开发与前端开发
本系统开发的难点在于数据输出任务与数据仓库的对接,需要考虑 dws 层或 ads 层的表设计,来适配更多的数据任务