1. 设计并实现高性能分布式唯一ID组件,(SnowFlake+Zookeeper),服务于全公司1000+微服务
2. 设计并实现高性能快递运单号生成组件(号段加密算法+Redis+XXLJOB),满足日均3000w+订单使用
3. 低代码报表服务设计及实现,与公司权限体系打通,提升公司报表开发效率90%+
4. 设计并实现高性能Web网关,集鉴权,熔断,限流一体,,统一JMS体系内部,外部系统登录授权,权限认证,二次开发及整合
A
l
ibaba-Sentine(规则持久化, 监控数据->ES)
5. 离线报表中台:
web页面导出报表(50-100W数据)->小前台->异步MQ-->离线报表中台-->查询数据->生成数据->文件上传到OSS->通知
下载中心
Mysql分库分表->通过Canal or Dts 同步数据到聚合库->聚合表(单表),批量查询数据
ElasicSearch->Scroll实现
6. 数据同步:
部署Canal-Server节点(8C16G)50+,消费端(8C16G)30+,日均同步数据10亿+
Canal-admin 源码二次开发,兼容Apollo,兼容Jenkins自动化构建,新增Binlog源点位置修改,删除,JOB校对数据功能
Canal-Server 源码二次开发,兼容Apollo,兼容Jenkins自动化构建,针对数据库链接失败,表结构变更,binlog文件丢失,消费延
迟等问题进行钉钉告警
yl-data-migration 自研数据同步消费端,支持Mysql-Oracle,Mysql-ES,Oracle-ES,Mysql-Mysql等数据同步方式,消费能
力1.5w/秒
7. 日志管理:
数据采集:operation-log.jar,定义CRUD,批量操作,导出,下载等自定义注解类型,通过切面进行数据清洗,全网日均日志
3000w+
数据处理:FileBeat->Kafka->LogStash->ElasticSearch集群中,根据操作日志类型(近实时),索引设置不同的ilm策略