数据中台是面上PB级数据的一站式数据集成、治理、共享、分析及可视化平台。涵盖数据管理、
数据集成
项目经历、数据质量管理、元数据管理、数据仓库、数据标准管理、数据服务、图引擎及数据可视化等模块。
负责模块：
1. 数据管理： 设计、编码各个数据源的元数据信息及样例展示，为半结构化数据源（如HBase，
Hdfs，Mongo
db,kafka）等数据源设计并开发schema相关模块。
2. 数据集成： 实现组件化、交互式数据处理模块：
基于flink自定义开发soure及sink，实现多元异构的数据处理架构，并支持数据样例及运行数量回
传及脏数
据处理。
使用flink支持批流一体数据处理，并支持kappa实时数仓架构，支持HBase等数据库作为维表点查
提升实
时数据join效率。
支持数据库日志-kafkaUpeset-hudi湖仓一体架构。
提供sql组件（包含sql校验及解析）、restful组件、加/解密、脱敏及分支等多种数据处理组件。
支持任务运行日志通过logback kafka append流入elasticsearch，并进行日志分析。
支持flink udf 与系统上
