




个人介绍
5年工作经验,3年金融工作经验。
1.精通oracle、mysql、hana和DB2数据库操作,能编写较为复杂的sql,熟练使用各种常用函数及分析函数;
2.熟悉linux系统以及Xshell、xftp使用,掌握常见命令和编写存储过程、数据同步等,有大量的数据处理经验;
3.熟悉掌握SQL性能调优方法,熟悉BI开发和实施流程,掌握数据仓库架构;
4.熟悉ETL工具,使用Kettle对不同数据库平台数据进行清洗、转换、处理;
5.掌握Tableau、FineReport、BO(SAP)报表工具,实现报表可视化操作;
6.熟悉Hadoop体系下HDFS分布式文件存储系统结构;
7.了解azkaban调度任务,了解spark -sql高效查询引擎等;
工作经历
2024-08-12 -至今北京先进数通数据工程师
项目说明: 为了更好满足各部门的数据需求,搭建新数据库为新报表系统提供数据支持。同时在信息同步过程中检测数据质量是否出现脏数据。出现后如何处理并分析原因。 1.数据质量:在业务系统复杂多表,每次变更都会产生数据变化。例如数据库新增表,业务拓展新增售卖平台。通过设置数据质量规则(如数据类型、数据长度、数据范围等)来监控数据的质量。如采集的数据不符合规则,可以立即进行警告或拒绝采集。 2.开发质量:代码出现了问题直接影响质量,因此如何最大程度避免人为错误,是数据质量保障的重要工作。 3.模型质量:数据模型除了满足业务需求外,还需要在性能、成本、效率、质量等方面有助力。高质量数据模型能改善数据统计统计口径的不一致性,减少数据计算错误的可能性。 4.指标质量:通过指标质量规则来监控指标的质量。 5.整体质量:上线前产品或服务需要经过严格的测试,以确保质量。 工作内容:配合各部门人员,在现有数据中梳理或加工,提供项目数据支撑。 1.梳理全域全部报表的数据来源模型以及模型所在的文件夹,并且把各报表的指标列举出来,指明数据来源表。 2.梳理商品主数据、门店主数据、客户主数据、直播账号主数据等各主数据
教育经历
2014-08-30 - 2017-06-30湖南应用技术学院酒店管理专科