济南瀚达数仓

我要开发同款
proginn22533708702023年12月18日
82阅读
开发技术oracle、mysql、hadoop、shellpython

作品详情

1.参与总体数据仓库设计。

2.使用Python/自研调度工具将最底层不同系统不同类型的数据源(接口,Excel,Json,Mysql,Oracle)统一抽取到操作数据存储层。

3.使用自研调度工具对总线层数据进行转换、清洗,生成干净的数据流。

4.定期对项目整体代码review,对Python代码和SQL和储过程进行优化。

5.由于项目前期甲方提供数据不足,我负责使用Python的Pandas、Numpy、Nyhive、Flask生成模拟数据,并将数据保存到Hive、Excel中,并将数据通过接口和视图、表的方式暴露出来,以保证有数据,项目可以正常推动。

6.将明细数据仓库层进行聚合,形成业务领域的明细数据集,最后使用调度工具将数据入到Mysql中。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论