个人介绍
能够熟练使用java语言,熟悉各种常用的java开发框架和大数据框架;熟悉python和scala,对前端有一定的涉猎;
工作经历
2020-08-01 -至今建信金融科技有限公司大数据技术经理
大数据平台建设方面,主要针对开源数据同步工具DataX做二次开发,提供对接集团架构的能力和部门业务快速开发的能力; 在数据治理方面,整合DataX,搭建元数据管理、数据质量、数据校验、数据存储等方面的能力,为业务系统提供底层的支持能力;
教育经历
2011-09-01 - 2014-06-01电子科技大学信号与信息处理硕士
硕士期间主要负责图像处理算法方面的课题研究,包括图像目标检测,目标识别等算法的研究
技能
DataX数据同步工具二次开发:在原有基础功能之上,结合部门的业务和集团架构要求,丰富原有的接口,增加脏数据处理统计,数据质量检测等功能。不仅将DataX改造成适用部门的一款数据同步工具,而且结合相关业务,丰富其在数据治理方面的能力等。
负责电商平台用户社区的建设和维护,以用户生产内容为中心,如用户发表的文章,个人购买商品的内容图片展示和分享,通过用户内容的曝光来拉新和提升用户活跃度,围绕ugc和pgc等业务开发相关的周边业务,包括基于用户行为,用户内容等统计分析服务和基于定位的相关服务。
提供一套以人群分析为核心的技术平台,基于底层的用户画像系统,标签系统,用户行为分析系统,机器学习等相关子系统,采用离线计算和实时计算技术,使其具有多维度的人群筛选和分析能力,能够有效地帮助运营人员分析和实施运营策略。同时提供完善的触达功能和触达统计,帮助运营人员第一时间掌握运营效果,调整运营策略,从而形成一个完整的闭环运营系统。系统依赖的技术框架有elasticSearch,hive,impala,spark,clickhouse,mysql,redis等。平时主要工作负责系统离线计算和实时计算相关开发,以及系统维护等。目前该系统每台带来的GMV在5000万以上。