个人介绍
· 日均百万级电商系统,三千万级订单物流系统整体架构实践经验
· 多家公司主导产品的技术路线,从0到1创建团队,5年以上30人团队管理经验
· 10年以上的 Java 开发、5年以上架构设计,技术管理经验,0-1成功上线多个千万级大型项目
· Elastic 认证工程师,5年以上 ES 实战经验,擅长集群容量规划,亿级数据秒级查询
· 熟练掌握 Canal 等数据同步技术,有日均同步10亿+实践经验
· 熟练掌握 Mysql 关系数据库设计和开发、亿级分库分表架构实践经
工作经历
2021-09-05 -2024-05-22麦克尔斯软件架构师
1.负责订单服务架构设计与核心功能开发,确保系统处理日均百万级订单的高效稳定。 2.主导北美黑五、圣诞节等大型促销活动前的系统性能调优、压力测试,保障系统稳定运行。 3.将原有订单服务按功能场景拆分为 moh-api、moh-admin-api、moh-es-client 等多个服务,显著提升服务能力和稳定性。 4.完成提交订单、购物车功能的重构,实现性能提升20%,并主导开发高效的秒杀功能。 5.通过 MeterSphere 进行全链路压测,并开发 Grafana 监控功能,优化北美黑五、圣诞节等大促期间的系统性能。 6.负责数据同步及日常流量、订单、用户、营销等关键报表的开发,确保数据准确性和业务决策支持。 7.持续优化系统架构,通过技术创新解决高并发场景下的性能瓶颈,提升用户体验和系统可靠性。
教育经历
2019-03-01 - 2022-06-01电子科技大学软件工程本科
技能
1.负责电商系统订单服务的后端研发、架构拆分与优化,确保系统的高性能与稳定运行。 2.主导购物车、秒杀等关键功能的开发,成功实现峰值QPS达到10000+,有效支持大促期间的用户需求。 3.开发日常流量、订单、用户及营销相关的报表功能,采用ElasticSearch提升数据检索效率。 4.实现日均处理数据量超过500万条的数据同步机制(Mysql,Canal,ElasticSearch),同步速率10000+/s,确保Mysql与 ElasticSearch间数据的一致性与实时性。 业绩: 1.订单服务拆分: + 提交订单、购物车、秒杀、买家订单服务(moh-api 4C8G*8) + 卖家订单服务、统计报表、离线报表导出、数据同步(moh-admin-api 4C16G*4) + ES数据同步(moh-es-client 8C 16G *1) 2.黑五、圣诞大促优化: + Arthas 性能优化(针对 TOP30接口) + MeterSphere 压测(针对 TOP30接口进行单接口、混合、全链路压测) + Grafana 性能排查与优化(TOP20-job 任务) 3.Grafana 监控功能开发: 技术架构支持 项目负责人 2021.06-2022.07 ElasticSearch平台 技术负责人 2020.06-2021.06 服务质量平台 技术负责人 2020.01-2020.12 + 订单状态监控(包括下单失败、支付失败、回调失败) + xxl-job 任务耗时监控+监控面板整合(包括 POD、MQ、DB、ElasticSearch 、数据同步延迟)
1. 设计并实现高性能分布式唯一ID组件,(SnowFlake+Zookeeper),服务于全公司1000+微服务 2. 设计并实现高性能快递运单号生成组件(号段加密算法+Redis+XXLJOB),满足日均3000w+订单使用 3. 低代码报表服务设计及实现,与公司权限体系打通,提升公司报表开发效率90%+ 4. 设计并实现高性能Web网关,集鉴权,熔断,限流一体,,统一JMS体系内部,外部系统登录授权,权限认证,二次开发及整合 A l ibaba-Sentine(规则持久化, 监控数据->ES) 5. 离线报表中台: web页面导出报表(50-100W数据)->小前台->异步MQ-->离线报表中台-->查询数据->生成数据->文件上传到OSS->通知 下载中心 Mysql分库分表->通过Canal or Dts 同步数据到聚合库->聚合表(单表),批量查询数据 ElasicSearch->Scroll实现 6. 数据同步: 部署Canal-Server节点(8C16G)50+,消费端(8C16G)30+,日均同步数据10亿+ Canal-admin 源码二次开发,兼容Apollo,兼容Jenkins自动化构建,新增Binlog源点位置修改,删除,JOB校对数据功能 Canal-Server 源码二次开发,兼容Apollo,兼容Jenkins自动化构建,针对数据库链接失败,表结构变更,binlog文件丢失,消费延 迟等问题进行钉钉告警 yl-data-migration 自研数据同步消费端,支持Mysql-Oracle,Mysql-ES,Oracle-ES,Mysql-Mysql等数据同步方式,消费能 力1.5w/秒 7. 日志管理: 数据采集:operation-log.jar,定义CRUD,批量操作,导出,下载等自定义注解类型,通过切面进行数据清洗,全网日均日志 3000w+ 数据处理:FileBeat->Kafka->LogStash->ElasticSearch集群中,根据操作日志类型(近实时),索引设置不同的ilm策略
制定公司开发及运维ES使用手册,集群容量规划, 版本升级, 数据迁移操作流程 1.操作平台-错分件:16C64G*12,OGG->ES,日均3000w+,索引ILM(按天),列表查询加速,Count查询,QSP15000+ 2.财务账单:16C64G*103,总数据约800亿,Mysql->ES,日均5亿+,索引ILM(按月),列表查询,QSP1000+ 3.网点经营-运单:16C64G*12 OGG->ES,日均3000w+,,索引ILM(6个月),列表查询加速,2-3层聚合报表,Count查询,QSP1000+ 4.服务质量-快件留言:16C64G*12,Mysql->ES,日均2000w+,索引ILM(按天),列表查询加速,Count查询,QSP2000+