工作经历
2022-10-01 -至今三才智者技术有限公司高级java开发
1 负责项目中审批流的配置与开发 2 校审工具功能开发 3 文件签章功能开发 4 人员组织架构功能开发 5 图纸批注功能开发
2018-08-08 -2021-03-01德特赛维技术有限公司java,大数据开发
负责项目代码开发,开发任务调度平台功能,开发大数据相关功能,开发数仓,开发实时任务系统
2010-03-08 -2018-10-08深圳天玖隆科技有限公司java开发,大数据开发
负责项目代码开发,监督其他人工作等,,,,,,完成工作任务,并交付。代码测试,代码开发。监督小组成员完成开发任务
教育经历
2016-10-09 - 2018-04-04西安交通大学计算机科学与技术本科
2007-03-09 - 2010-10-06武汉工程职业技术学院应用电子专科
技能
古德菲力是全国连锁的大型健身会所,本项目利用大数据实时统计会员运动数据。 1flume 采集tomcat 日志,需要离线计算的数据放到hdfs 上,需要实时计算的数据,发给kafka集群 2 离线数据从hdfs 上定期导入到hive,spark连接 hive 利用sparkSql 进行离线计算(包括会员的入场纪 录,离场记录,会员使用的器械.热门(冷门器械统计,活跃会员统计沉默会员统计,器械的日月 周使用总结),把计 算好的数据放到mysql 中 3spark 连接 kafka 进行实时计算(包括会员消耗的卡路里,会员跑步里程,会员心率 会员运动时长,会员做举重个数)把计算好的数据放入redis,供javaEE 程序员展示 4 利用 spark 的udf 简化sparkSql 操作 5 自定义累加器实现会员跑步历程,运动时长数据累加 6 利用广播变量 分发运动数据,提高计算效率
1 基于ambari的大数据平台搭建和维护 2 修改dolphinscheduler的数据同步方式 3 旧算法转换到dolphinscheduler上 4 基于ambari的搭建日志采集框架elk 用于采集项目日志 5 修改ambari的sql任务下发方式 6 基于quartz集群的hive生命周期管理 7 数据源管理功能模块 8 修改dolphinscheduler的工作流依赖模式,让不同周期的工作流通过依赖建立链接,并逐步下发