工作经历
2020-07-01 -2023-07-01某互联网公司数据平台
数据调度开发 支持百万级别任务稳定调度,保障业务稳定 稳定可靠 统一的数据任务调度平台,支持百万级任务的复杂调度,让数据加工更流畅。 可视化管理 提供DAG可视化操作界面。 多种调度周期支持 支持分钟、小时、天、周、月多种调度周期配置。 监控报警 调度任务支持多种报警方式,出错、指定时间未完成/已完成
教育经历
2016-09-01 - 2020-07-01长春理工大学计算机科学与技术本科
数据资产管理、数据治理、数据开发、数据调度等 数据调度: 支持百万级别任务稳定调度,保障业务稳定 稳定可靠 统一的数据任务调度平台,支持百万级任务的复杂调度,让数据加工更流畅。 可视化管理 提供DAG可视化操作界面。 多种调度周期支持 支持分钟、小时、天、周、月
技能
数据调度,就是一个任务何时运行,何时结束以及正确的处理任务之间的依赖关系。我们需要关注的首要重点是在正确的时间点启动正确的作业,确保作业按照正确的依赖关系及时准确的执行。 在数据开发当中,对于数据调度,我们通常会指是“任务调度”或是“作业调度”。这里,我们先说一个概念,就是job和task。
狭义上讲,数据治理是指对数据质量的管理、专注在数据本身。广义上讲,数据治理是对数据的全生命周期进行管理,包含数据采集、清洗、转换等传统数据集成和存储环节的工作、同时还包含数据资产目录、数据标准、质量、安全、数据开发、数据价值、数据服务与应用等,整个数据生命期而开展开的业务、技术和管理活动都属于数据治理范畴。有的专家干脆把广义的数据治理称为数据资产管理。 数据治理专注于将数据作为企事业单位数据资产进行应用和管理的一套管理机制,能够消除数据的不一致性,建立规范的数据应用标准,提高数据质量,实现数据内外部共享,并能够将数据作为组织的宝贵资产应用于业务、管理、战略决策中,发挥数据资产价值。