该平台是我司独立研发的一款专门对数据进行处理的平台,提供全链路数字化解决方案。它基于数据平台,通过数据中台作为桥梁,结合机器学习平台和大模型应用,为用户提供了一站式的数据管理和分析服务。使用的技术栈有Spring Cloud、MySQL、MongoDB、Redis、RabbitMQ、Docker、Kubernetes、HDFS、Spark、Pandas、Nginx。
主要的模块有:
数据集成:负责数据的收集、整合和清洗,确保数据的质量和准确性。
数据质量:对集成后的数据进行质量评估,确保数据的可靠性和有效性。
数据标准:制定和维护数据标准,确保数据的一致性和可理解性。
元数据管理:对数据的元数据进行管理,包括数据的描述、来源、使用方式等,帮助用户更好地理解和使用数据。
数据资产:管理企业的数据资产,包括数据的存储、备份和恢复等,确保数据的安全性和可用性。
数据市场:提供一个数据交易和共享的平台,促进数据在企业内外的流通和共享。
数据比对:支持数据的比对和校验,帮助用户发现数据中的异常和错误。
BI报表:提供丰富的报表和可视化工具,帮助用户直观地理解和分析数据。
流程编排:支持数据处理和