个人介绍
2.毕业至今一直从事大数据开发工程师工作
3.熟悉Java及Linux的编程语言熟悉常见的数据库Mysql等
4.熟悉大数据生态的常见框架,包含但不限于Hadoop、Hive、Kafka、Spark等
5.参与过多个大型数仓的设计实施等工作
工作经历
2022-03-10 -至今赛诺菲中国投资有限大数据开发
搭建医药类的数据中台,从1.0的PGSQL迁移到2.0的大数据平台,整个中台划分为ldg、sta、ods、dwh、dmt等五层,离线模块中上游通过腾讯云的Cos系统上传当日或T-1日数据文件,通过自研应用DI拉取做处理到外部表ldg层,通过informatica工具进行调度,进而去做后续的ETL流程,整个过程中数据存放在HDFS,表结构使用HIVE。 开源组件:Hadoop、Hive、Informatic、Airflow、Kafka等 个人职责: 1.维护1.0由PostGre SQL构建的数仓,为上下游解决数据质量问题,优化当前数据逻辑,开发新的数据集成需求等。 2.参与2.0数仓的模型搭建及ETL开发工作。
2020-08-01 -2022-02-01上海腾梭科技有限公司大数据开发工程师
项目上主要负责参与前期的需求评审、模型设计、分层搭建、ETL开发、BU报表的制作及后期的产品维护等工作; 日常工作主要是为风控团队提供高质量数据指标,生成用户画像给团队分析
教育经历
2018-09-01 - 2020-06-01四川轻化工大学物联网工程本科
专科毕业后考取全日制本科,并取得毕业证及学位证,学信网可查
2015-09-01 - 2018-06-01四川工程职业技术学院物联网技术专科
在校期间担任学生会宣传部部长,获得多次荣誉证书等奖项
技能
搭建数据仓库主要以支持报表需求开发为目标。在行方信贷业务量增多之后,需要对某个时间点的业务数据进行统计,根据行方现有的业务数据以及日志数据来进行分析,通过前期熟悉整个公司信贷业务后,对数据进行划分,模型设计及ETL开发等,将数据通过Sqoop直接从业务系统的数据库进行接入,接入后经过调用存储过程进行多层次的关联,最终生成可供业务人员进行统计分析的BI报表。
搭建医药类的数据中台,从1.0的PGSQL迁移到2.0的大数据平台,整个中台划分为ldg、sta、ods、dwh、dmt等五层,离线模块中上游通过腾讯云的Cos系统上传当日或T-1日数据文件,通过自研应用DI拉取做处理到外部表ldg层,通过informatica工具进行调度,进而去做后续的ETL流程,整个过程中数据存放在HDFS,表结构使用HIVE。