个人介绍
本人会Java全栈开发、大数据。
vivo实习期进行了ClickHouse的BulkLoad数据导入开发。目前在职,是数据开发工程师。
(1)计算机基础扎实,熟练使用Linux操作系统;
(2)熟悉Java语言,熟练使用SQL,会使用Python;
(3)熟练使用ClickHouse,熟悉大数据生态中Hadoop、Hive、Kafka、Spark、Zookeeper、HBase等技术;
(4)熟悉数仓建模理论,熟练使用HQL;
工作经历
2023-07-01 -至今贝克找房大数据工程师
1.熟悉数仓分层、规范。 2.参与实时、离线数据需求开发。 3.作为主力,参加过完整数据项目。
2022-05-01 -2022-09-01vivo大数据开发工程师
用户行为分析平台(vivo -人工智能一部- Al数据中心-数据平台组) 项目简介:基于ClickHouse、SSM实现的每日千亿增量数据亚秒级用户行为分析平台。 项目背景:用户行为分析平台每日的千亿级增量数据需要集中在凌晨数小时之内同步到ClickHouse集群,这给线上集群造成很大压力。BulkLoad数据导入流程将写入压力转移到中间集群,并分散到24小时,实现读写分离、削峰,减小数据导入压力及对查询的影响。 (1)负责用户行为分析平台ClickHouse集群BulkLoad数据写入开发。(2)负责用户行为分析平台ClickHouse查询性能优化。 (3)负责用户行为分析平台ClickHouse集群平台化和运维。 (4)负责用户行为分析平台Java后端开发。
教育经历
2020-09-01 - 2023-06-01厦门大学计算机技术硕士
成绩排名:前1/3
2016-09-01 - 2020-06-01南昌大学计算机科学与技术本科
成绩排名:8/219 英语水平:六级 获奖经历:蓝桥杯程序竞赛A组国家级二等奖(Java组);特等奖学金一次,一等奖学金三次
技能
大数据开发项目,本人是主要开发者。 1.设计模型来从任务运行情况、模型和代码规范性、链路情况等多方面评估数仓模型质量,给出一个评分。 2.搭建了完整的看板,包括总览、趋势、详细指标,可详细查看每个组织/个人模型质量情况,从而针对性优化。 3.编写了详细文档。
在公司内基于Java独立设计、开发的一款表字段推荐工具。 本人在其中用进行全栈开发,包括需求调研、设计文档、前后端开发、项目部署和运维 1.输入字段中文名,自动推荐出英文名。 2.基于开源项目,开发了完整的后台管理系统,可以对词根、词库进行增、删、改、查、评审等操作。 3.将项目部署在公司服务器上。
项目简介:基于ClickHouse、SSM实现的每日千亿增量数据亚秒级用户行为分析平台。 项目背景:用户行为分析平台每日的千亿级增量数据需要集中在凌晨数小时之内同步到ClickHouse集群,这给线上集群造成很大压力。BulkLoad数据导入流程将写入压力转移到中间集群,并分散到24小时,实现读写分离、削峰,减小数据导入压力及对查询的影响。 1)负责用户行为分析平台ClickHouse集群BulkLoad数据写入开发。(2)负责用户行为分析平台ClickHouse查询性能优化。 (3)负责用户行为分析平台ClickHouse集群平台化和运维。 (4)负责用户行为分析平台Java后端开发。