工作经历
2021-09-06 -至今绿盟科技集团股份有限公司java运维开发工程师
公司主要做网络安全产品 内容: 2021.9-2022.3 学习k8s技术,对公共组件任务管理进行分布式改造,实现业务解耦。改造前,因为业务和任务管理跑在一个系统上,任务 执行依赖的资源可以直接访问到,因此任务可以随意执行。改造后,业务和任务管理组件跑在不同的容器中,所以将任务管 理抽象成调度器和执行器,调度器运行在一个容器中,管理任务的生命周期。执行器,负责执行任务,上报任务状态。 亮点:任务可以分布在各个服务器上并发执行,调度器管理任务的状态即可,实现不同任务的资源隔离 2022.3-至今 大数据运维,处理现网问题,保证环境稳定运行。处理经典案例可总结如下: 1 Elasticsearch数据倾斜,节点频繁离线 2 spark任务挤压,重启,异常 3 系统服务器负载高(内存,磁盘,网络),磁盘损坏,文件系统损坏,磁盘满引起的大数据设施问题 4 kafka堆外内存溢出 5 hadoop resource Manage 主备来回切换等等
2020-05-05 -2021-08-31华为技术有限公司java开发
内容: 将采集到的数据,通过 kafaka 消息队列,通知上报,全量以及增量同步到微服务的数据库 中,并计算数据之间的关系,使用分布式锁来保证多节点部署,全量同步的原子性。通过算法来实现 解决消息队列数据无序,数据之间互相依赖,而导致数据不一致的问题。通过 sql 调优,数据预制, 数据库重构等等方法,大大的提高了性能,解决了 100K 大网环境的性能问题,实现 100K 大网可商 用,并提高了微服务的可扩展性。 业绩: 工作绩效:入职定级 14,转正优秀,一年绩效为 A,获得调薪机会,曾评为软件之星,公共开发之星
2019-07-22 -2020-05-01广州市品高软件股份有限公司java开发
公司主要做云计算 我的职责是java开发: 内容: 2019.10-2019.11 广州地铁 App 积分管理 项目描述:(1)商户 app 之间的积分增减:使用 redis 的乐观锁原理, 当用户参与了某项活动增加积分 时,先查询商户的可分配积分,判断是否足够,增加完用户积分后,扣减商户可分配积分时,将原来 的可分配积分作为条件传入,更改失败则回滚,扣减积分同理;(2)商城-app 之间的积分增减:实现 原理同上;以上请求都作幂等处理(3)积分总览:实现积分总分查询,积分获取,使用明细的分页查 询。 业绩: 转正优秀,一年绩效为 A,获得调薪机会
教育经历
2015-09-01 - 2019-07-21武汉纺织大学物联网本科
1 连续三年位列全班第一,获得国家励志奖学金 2 曾参加机器人比武擂台大赛荣获国家三等奖 3 曾在校实训后参加由培训公司举办的思科企业网络搭建大赛,荣获唯一一个一等奖 4 曾担任院学生会的舞蹈队队长,带领队员进行舞蹈的编排和相关活动的表演以及参加相关比赛,曾获得舞动纺大三等奖,
资质认证
技能
技术:kafka ,java,mysql,网络拓扑,算法,数据结构 通过订阅网元,子网,链路,子网和网元的关系,子网和子网的关系等等topic的消息,计算出整个图的关系,支持增量同步消息和全量同步消息,并通过设计合适的数据结构,优化算法和sql语句,实现秒级的百万数据网络拓扑关系查询
技术:kubernetes,pvc,postgresql ,java,RPC 将任务管理模块拆分成调度模块和执行模块,调度模块负责管理任务的调度和生命周期,执行模块负责不同类型任务的执行和状态监控,实现业务解耦,通过RPC协议上报任务状态