个人介绍
本人2020年毕业于广东海洋大学。
大学毕业后我一直从事大数据开发相关工作,参与过后台管理系统、日志收集系统的开发,现在在广州市自来水做项目,主要负责大数据域和战略域的数仓建设、建立指标体系和可视化,平时常用的技术有Oracle、hdfs、hive、hbase、spark、sparkstreaming、kafka、sqoop、Echarts,我还熟悉java、scala、vue、typescript等语言和Linux常用指令。
同时,我会粤语,获得英语六级证书,听说读写能力还不错,逻辑分析能力较好,具有主动分析和解决实际问题的能力和态度。
工作经历
2021-03-23 -至今浪潮国际开发实施
工作描述: 协助完成大数据域数据仓库建设 配置可视化看板 对数据进行清洗,建立指标体系
2020-07-10 -2021-01-20湛江蓝科技工作室开发
工作描述: 协助完成项目模块功能开发 对所开发工作进行单元测试、验证和维护 根据业务及技术发展,持续优化项目功能
教育经历
2018-09-01 - 2020-06-30广东海洋大学国际经济与贸易本科
辅修国际经济与贸易
2016-09-01 - 2020-06-30广东海洋大学船舶与海洋工程本科
在校获奖: 1、2017-2018年期间担任团支部书记,获得“十大红旗团支部”三等奖 2、2018年6月获大学生英语六级证书 3、2020年6月获广东海洋大学工学学士学位证书、经济学双学士学位证书
技能
项目描述: 当用户在偶书网浏览或阅读时产生大量日志数据,根据这些日志数据分析以下指标:页面访问量、独立访客数、 独立会话数、页面跳出率、新增IP数、新增用户数、平均会话访问深度、平均会话访问时长等。并将这些指标可视 化展示,便于站长更好地了解用户喜好。 架构描述: ZooKeeper+Flume+HDFS+Hive+Sqoop+MySQL+Echarts 责任描述: 1. 参与计算页面访问量、独立访客数、页面跳出率、平均会话深度指标 2. 配置日志服务器通过Log4jAppender发给Flume收集数据 3. 使用Flume将数据存储按日期存储在HDFS上 4. 用Hive清洗HDFS的数据,并设置定时任务,自动加载处理 5. 使用Sqoop将结果导出到MySQL,使用Echarts可视化展示
项目描述: 使用浪潮集团GS_Cloud产品升级广州市自来水公司原有的海颐业务系统,覆盖各部门各业务系统,实现填报报 表、统计报表、审批流程、可视化等功能简单化、智能化。并搭建Hadoop大数据平台,实现数据治理持续化。 架构描述: GS_Cloud(浪潮集团产品)+DMP平台(浪潮集团产品)+HDFS+Hive+Hue+Sqoop+Oracle 责任描述: 1. 划分业务域、业务主题,并根据业务域、业务主题划分指标体系,建立数据仓库 2. 抽取各业务系统数据、迁移系统历史数据到数据仓库 3. 清洗、计算数据仓库数据,形成指标, 建立管网域、水质域指标体系 4. 根据业务主题、业务指标配置可视化看板