离线数据采集:支持离线采集MySQL、ORACLE、DB2、SQL Server、瀚高、TiDB、Doris、ClickHouse、PostgreSQL等关系型数据库,http、Kafka、Excel、InfluxDB、Redis、MongoDB、SQL、FTP、Elasticsearch、HBase、Hive等组件的数据到ods层或其他数仓数据源。
实时数据采集:支持Flink实时采集MySQL-binlog、PostgreSQL-WAL、PolarDB- binlog,Oracle,kafka,ActiveMqd等组件的数据。
数据治理:从数据的规范性、一致性、准确性、完整性、唯一性等角度进行数据处理,形成标准统一的数据资产
治理组件如下:
1.规范性校验-对各个字段的值域、长度、最大值、最小值进行限制
2.顺序校验-对字段值进行排序
3.数据量统计-对字段值进行预警统计
4.级联校验-对多个字段值进行联合校验,如省市区三个字段值校验
5.空值替换-对字段空值进行处理
6.日期格式转换-对日期字段进行格式转换
7.身份证标准化-对身份证进行标准化处理
8.电话号码标准化-对电话号码