项目分为：离线、实时、资产、api、标签、指标、数据湖七大模块，主要进行企业大数据的etl、分析、治理。其中我作为架构师，负责整体项目的架构及公司开源组件的维护。项目难点基本都跟自研开源调度及数据同步组件，要保证调度系统跟数据同步组件稳定性的同时还要保证组件的性能达到客户标准，无论是实时还是离线T+N模式的同步，必须保证数据无误且同步时间准确。
评论