该项目是通过在大数据平台接入上游数据并进行ETL过程处理，或统计整理，以更加合理的存储与使用这些数据，我在项目中负责运维，主要责任有： 1.日常运维及新增调度任务。根据需求增加调度任务，检查调度任务是否正常，排查错误。日常运维包括airflow调度任务监控、informatica任务监控、streamsets实时任务监控。 2.监控需求。根据需求编写监控脚本，一般有数据监控、组件监控、接口监控、服务监控等。 3.捷达前端系统维护及业务指标数据排查及解决。确保前端系统正常，配合客户排查相应业务指标数据异常问题并解决。 4.完成周报统计。

时间：2020-06~2020-09 技术：Dataphin、maxcompute、adb、quickbi 角色：开发： 1.参与数据模型设计。通过对原系统业务过程整理、设计cdm数据模型，达到对数据的合并转换以及整理。 2.参与逻辑模型设计。基于cdm层，搭建dataphin的逻辑模型，基于逻辑模型设计派生指标。 3.参与报表设计。在ads层，基于派生指标，设计报表所需要的表结构。 4.参与quickbi前端开发。将ads层数据同步到adb数据库，连接adb数据源，构建数据集，用于quickbi开发前端页面

2018-11~2020-06 技术：Azure、Shell、hive、sqoop、python、linux、mysql、oracle 角色：运维： 1.日常运维。通过脚本监控日结ETL任务中的进程、数据，监控接口、上下游数据、web服务、mysql等组件。 2.监控需求。根据需求编写监控脚本，一般为数据监控、接口监控、服务监控等。 3.周报月报。①收集系统指标数据，如系统容量、hive容量等。②收集业务指标数据，如新老客等。 4.后期迁移至Azure。①负责数据迁移，将老集群mysql、oracle数据通过azure迁移工具迁移到新生产，将客户数据从postgrey迁移到新生产。②调度任务迁移，将老集群日结任务都调度任务迁移到新生产，通过azure调度器调度。③监控脚本迁移。将监控脚本迁移至新生产并用azure调度器调度。