个人介绍
熟悉大数据生态相关组件,如Hadoop、Hive、Zookeeper、Spark等,熟悉Python,有过大数据基础平台开发、大数据集群运维以及ETL等项目经验;
拥有多个云平台云服务项目开发经验,熟悉云产品迭代开发流程和规范。
工作经历
2019-12-01 -至今TPLINK软件工程师
内容:1、负责云平台多个云服务业务包括智能推送、iot智能联动服务的开发; 2、负责云平台上设备数据统计平台及可视化系统的架构设计和开发; 3、业务报表开发。 业绩:独自完成数据统计分析平台的架构设计和 ETL 、数据可视化系统等组件的开发,实现千万设备数据每日自动化统计和构建,引入 kylin 框架提升数据查询效率10倍左右;负责了多个云平台云服务项目的开发和维护,包括动态域名管理系统 ddns ,对接第三方平台 IFTTT和 Smartthings 的适配器服务,以及设备智能通知系统。
2015-07-01 -2019-07-01华为软件工程师
内容:1、负责软件产品版本开发和版本交付,交付过彩铃平台门户网站、中间件、集中平台等多个组件多个版本; 2、开发华为大数据平台FusionInsight X86&ARM服务器混合部署版本以及Hive在ARM服务器上的性能测试和优化; 3、支撑一线,包括产品在一线的交付和现场问题定位。 业绩:负责了彩铃平台包括门户网站、数据集中平台和中间件等的版本开发和维护,其中在数据集中平台项目中担任项目 pm ,连续交付三个版本;在海思部门负责大数据平台产品 ARM&X86混合版本的开发,以及大数据组件 HIVE 在ARM服务器上性能优化,对比x86,提升性能40%左右。
教育经历
2011-09-01 - 2015-07-01中山大学软件工程本科
主修软件工程导论,数据结构,操作系统,计算机网络等课程,在校期间曾完成多个软件项目。
技能
此项目是数据统计分析及可视化平台项目,总体包括云上数据自动化统计流程的设计和组件的开发。该项目主要是引入了kylin框架对原来的数据统计平台做优化,利用kylin以空间换时间和预计算的思想,对云平台上设备数据做多维分析,每日自动化统计分析生成计算结果数据,对接到报表系统和数据可视化系统,供领导和业务部门查看,以及便于观察设备数据的历史趋势,让业务部门更好地做业务决策。整体的架构与数据流向如附件一图所示,采用Hive做数据仓库,使用Spark实现一个ETL组件,完成数据的抽取、转换和加载,引入kylin做数据预计算,另外开发报表模块和数据可视化系统,对接kylin获取统计数据。使用语言java和Python。