proginn2014241235
全职 · 300/日  ·  6525/月
工作时间: 周末09:00-21:00工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

我是程序员客栈的garvain,毕业于南京大学计算机系,就职于国内某大厂数据开发工程师。熟悉大数据生态相关,包括Hadoop、Spark、Flink、数据仓库建设,数据挖掘算法等。

工作经历

  • 2023-06-01 -2023-09-30腾讯后端开发工程

    在腾讯实习3个月,主要负责HDFS的数据治理,通过观察数据访问情况,调整数据在多层存储中的存储介质。

教育经历

  • 2020-09-01 - 2023-06-30南京大学计算机科学与技术硕士

技能

Hadoop
Docker
HDFS
0
1
2
3
4
5
0
1
2
3
4
5
作品
实时指标统计开发

负责某公司智能驾驶车运行数据的数仓建设,业务/技术指标开发以及业务报表制作。通过流式计算引擎进行数据清洗,生成业务所需的数据记录并进行数据落仓。将数据仓库中的记录使用 SQL 生成对应业务/技术指标并制作指标报表。

0
2024-01-28 20:32
冷热分层存储系统

以 HDFS 为例的分布式存储系统支持不同存储介质。由于不同文件的访问频率以及访问时间不同,使文件具有不同的文件热度。该系统通过统计 HDFS 中数据的访问记录来动态调整文件使其迁移到合适的存储介质中。负责该系统的设计及部分主体功能实现,主要包括 HDFS namenode 数据访问记录的生成,存储文件热度与访问特征的状态管理器以及基于 Ai 的调度算法的设计. 数据访问记录的生成:在namenode节点上通过不断解析日志来获取读写操作。无锁队列MpscQueue,解决高并发读写操作问题,解决单次记录发送造成的通信问题。 存储文件热度:在内存中存储每个文件的访问结果。存储元数据以及文件访问信息。记录文件热度信息,并能够按照文件热度进行排序

0
2024-01-28 20:27
航空大数据分析及售票系统

本系统是一个用户航空购票系统,分为用户端和管理员端。用户注册登陆进入主界面后,可以根据既定的出行需求,选择出行时间、起点与终点、座位类型等等,系统会按照对应座位类型查询是否有所剩余,如果有剩余座位,则该用户成功购票。如果用户因为误操作或者行程有变,则可以对所购机票进行改签或者取消购票。用户还可以查看自己的出行记录以及待出行日程安排,针对即将出行的日程,系统会自动给用户进行提示。管理员端是基于SpringBoot的系统,分为航班管理、订单管理以及数据分析三个模块。在航班管理中,管理员可以浏览所有航班信息、条件查询航班信息、新增航班信息等。在订单管理中,管理员可以所有订单信息、条件查询订单信息、按照条件导出订单Excel表格,以及按照固有模板导入订单信息等等。在数据分析模块中,管理员根据已经导出的用户行为信息进行文件导入,然后进行数据分析,可以为每一个符合条件的用户进行分类。针对不同类别的用户,可以进行制定个性化服务。

0
2024-01-28 20:36
更新于: 01-28 浏览: 87