平台主要用户为数仓人员和特征风控人员，平台提供离线任务开发和实时任务开发功能，离线任务包括hive, mysql. spark, mysql2hive, hive2mysql 等离线任务。实时任务包括kafka2es，kafka2hive 等。离线任务底层调度系统是基于airflow 二次开发，实时任务底层是基于flink ，所有的spark 任务在k8s上运行。
评论