个人介绍
数据采集:
熟练掌握 Flume, Sqoop, DataX 数据采集同步工具
数据存储:
熟练Hbase表结构、存储、Phoenix关联查询
熟悉FlinkCDC等数据采集工具
熟悉运用 HDFS 分布式文件系统
数据计算:
熟练Hive进行数据的分析d,对其本身的 sql 优化及配置文件优化有一定了解
熟练运用 Hive、Spark、Flink等大数据主流工具和技术
数据查询:
熟练使用 Mysql, Redis, ClickHouse;
熟练使用阿里云Maxcompute,Dataworks计算服务,有过相关的开发经验
任务调度:
熟练使用Azkaban,Apache DolphinScheduler,有相关的经验
数据可视化:
熟练使用Final BI, Suger Bi,QuikBi等可视化工具,有相关的经验
数据治理:
了解元数据管理以及数据质量等
工作经历
2020-08-01 -2024-06-01厦门同领科技有限公司大数据开发工程师
相关技能 熟悉数据仓库,清楚其分层、架构、流程 数据采集: 熟练掌握 Flume, Sqoop, DataX 数据采集同步工具 数据存储: 熟练Hbase表结构、存储、Phoenix关联查询 熟悉FlinkCDC等数据采集工具 熟悉运用 HDFS 分布式文件系统 数据计算: 熟练Hive进行数据的分析d,对其本身的 sql 优化及配置文件优化有一定了解 熟练运用 Hive、Spark、Flink等大数据主流工具和技术 数据查询: 熟练使用 Mysql, Redis, ClickHouse; 熟练使用阿里云Maxcompute,Dataworks计算服务,有过相关的开发经验 任务调度: 熟练使用Azkaban,Apache DolphinScheduler,有相关的经验 数据可视化: 熟练使用Final BI, Suger Bi,QuikBi等可视化工具,有相关的经验 数据治理: 了解元数据管理以及数据质量等
教育经历
2016-09-01 - 2020-06-01南通理工学院计算机科学与技术本科
就读于南通理工学院工作5年,在这一期间做了5个项目
技能
项目简介 智慧园区的概念已成为当今城市规划和社会发展的关注焦点,各方对于智慧园区的理解也各有不同 ,智慧园区(Cloud Community)以“园区+互联网”为理念,融入社交、移动、大数据和云计算, 将产业集聚发展与城市生活居住 的不同空间有机组合,形成社群价值关联、圈层资源共享、土地全 时利用的功能复合型城市空间区域,充分降低企业 运营成本,提高工作效率,加强各类园区创新、 服务z和管理能力,园区的基础设施也逐渐走向智能设备,能为智慧 园区创造高附加值、低人工的 服务赋能。提高经济效益的同时也符合国家可持续化发展的要求。 技术架构 SpringBoot+sqoop+Mysql+Flume+Hbase+Mysql+Hive+Kylin+Dolphinscheduler+ Sugar 职责描述 1.需求分析阶段 ,参与业务方案讨论 ,分析需求可行性; 2.开发阶段,完成智慧园区数仓的搭建 3.使用 SparkSQL 计算部分用户行为指标,近 30 天消费次数和金额,最常消费品类,消费能力等级,消费频次等级,消费 频次变化,用户价值分析,用户活动参与度,用户访问频次等 4.负责海量离线数据的维护、开发和优化等需求任务,保证产出数据的准确性、完整性和及时性、驱动业务快速发展 5. 使用Shell脚本和hiveSQL,监测对各层数据的完整性,一致性等进行数据质量的监控与管理
项目简介 好衣库是鲸灵集团旗下的私域电商品牌特卖平台。 对每天用户行为产生的日志进行分析和统计,具体指标包括: 每日、周、月活跃设备明细,留存用户比例,沉默用户、回流 用户、流失用户统计,最近 7 天内连续 3 天活跃用 户统 计,GMV 成交总额分析,转化率及漏斗分析,品牌复购率分析、订单表拉链表的设计等,最后用直观清晰 的可视化 界面来分析用户的活动,为领导提供决策,为公司运营提供方向。 技术架构 Sqoop+HDFS+Kafka+Zookeeper+Mysql+Hive+Spark+FineBI+Azkaban+Hbase 职责描述 1. 参与监控文件,数据采集 flume+kafka,下沉到 hdfs; 2. 自定义 flume 拦截器,编写拦截器相关配置文件; 3. 编写 shell 脚本,将 mysql 中业务数据导入 hdfs; 4. 参与数仓的搭建(ods,dwd,dws,ads); 5. 负责原样数据的拉取 6. 参与 dwd 层的搭建,使用自定义函数(udf,udtf)进行炸裂,并做 etl 数据清洗; 7. 负责 dws 层的搭建,建立一些跨主题的宽表; 8. 分析相关业务指标,可视化报表分析,利用 azkaban 进行全流程调度。
乐嗨购与百万淘宝天猫京东等一线商家合作,每日精选推出近万件大额内部优惠券。实时的监控用户从浏览到下 单的过程,实时的统计出最热门的商品,用户访问渠道量的占比,时间段活跃的人数,监控用户的行为规范。主要在 于对日志和订单数据的进行统计分析,根据需求产生所需要的的结果,为公司决策作出数据支持。通过可视化界面展 示 相关的运营数据。通过数据大屏可以实时查看全球用户行为数据及商品数据,及时掌握数据发展动向。可以多方位 分析 客群、客流、商品等情况,为后续运营策略提供数据参考 技术架构 MySQL+FlinkCDC+SpringBoot+Kafka+Hbase+Redis+Clickhouse+Sugar 职责描述 1.负责大数据海量采集和实时计算平台的设计、开发 2. 负责将维度数据写入 Hbase,事实数据存到 Kafka; 3. 完成 PV、UV、跳出率、页面停留时长、新老用户人数、商品曝光数、商品添加购物车数 下单商品个数、下单金额、热词统计、各地区下单数等指标计算; 4. 负责指标数据落地 clickhouse; 5. 使用 Sugar 进行数据可视化展示;