整合各个数据库，各个平台的数据，经过kettle 进行筛选和清洗，统一到同一个数据库，并对数据进行同步更新。对于一些api 提供的数据，可以进行数据的处理整理到表中。例如，json 数据解析成各种表格，导入到数据库中。速度很快。对于某些api 不提供历史数据的情况，可以添加自定义列时间，把每次取到的数据进行存储，为以后的数据挖掘做准备的工作。声明：本文仅代表作者观点，不代表本站立场。如果侵犯到您的合法权益，请联系我们删除侵权资源！如果遇到资源链接失效，请您通过评论或工单的方式通知管理员。未经允许，不得转载，本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论