个人介绍
1、从事大数据平台研发、知识图谱、数据治理、数据集成有近7年工作经验,其中数据集成是以技术组长的角色带领8人团队保证数据的供应。
2、从事 Java Web 有9年工作经验,其中游戏 ETL有1年工作经验。
3、掌握的技术栈有:主流的开源框架 SprigCloud、SpringBoot、Mybatis、MyBatisPlus、SpringMVC ,大数据生态圈如 Hadoop、Hive、Spark、Kafka、Flume、Hbase ,涉及过的技术语言有 Java 、Shell、Python、Scala。
工作经历
2014-07-01 -2016-06-01北京有爱互娱科技有限公司BI
● 主要责任 1、负责游戏数据的治理工作,后期做了 BI 平台的可视化研发,同时利用 kettle 搭建了离线计算模型。 2、 负责计算模型的 hiveSql 编写工作。 3、 负责数据报表的维护工作,提供给运营人员参考。 4、 利用 kettle 搭建实时计算模型,编写实时计算的 hiveSql。 5、 开发 BI 平台的可视化 Web 报表系统。 ● 工作细化 1、负责数据的接入、采用shell、python、mr进行数据清洗; 2、原始表、事时表、维度表、指标计算的ETL开发; 3、开发maprduce实现用户等级分布及付费用户分布情况等功能; 4、开发udf支持数组结构数据的解析及md5加密等功能; 5、开发前端报表系统; 6、根据领导及运营人员的需求提供相应的数据报表(excel); 7、实时分析用户的次日留存、dau、充值等基础指标 8、游戏数据的完整性恢复; 9、部署及维护Flume,开发flume监控功能; 10、负责集群的维护工作、各个节点的权限管理等工作; 11、维护游戏数据的完整性及准确性;
2013-01-01 -2014-06-01北京泽元迅长软件有限公司Java开发工程师
● 中国皮书网/皮书数据库 项目描述:中国皮书网是社科文献出版社构建的皮书相关新闻资讯、评价研究资料、发布会视频直播、皮书内容检索阅读等诸多功能于一体的皮书门户网站;而皮书数据库是该社皮书内容数字资源服务产品,该项目包含了书籍管理,分类管理,词库管理,子库管理,书籍购买等核心模块。 主要责任描述: 1、后台系统管理模块 (1) 分类及词库的管理、(2) 作者和机构的管理菜单、(3)书籍管理维护工作,该模块是对书籍进行入库,对书籍附带的多媒体文件,标引文件都需要处理入库。 2、负责系统书籍资源的标引工作。 3、负责了该项目中前台页面的标签书写和数据的展示功能,以及作者,机构涉及到的一些功能性的工作。 4、镜像版的项目。
教育经历
2012-02-01 - 2024-07-01北京航空航天大学计算机科学与技术专科