1、项目分成:用户、财务、订单、商品、物流
2、我负责:后台各种数据统计。统计涉及很多表,直接查询会对mysql产生巨大压力。解决方案是使用MongoDB,把查询的业务和统计类的业务进行拆分。
由于不同库,会存在数据的一致性的问题,首先考虑到使用阿里的canal进行同步,但是监听到的log 日志,需要进行手动同步到MongoDB,复杂度有点高。
最后决定,使用go 开发的一款插件, go-transfer-mysql,可以自动实时的同步mysql 的bin log 日志。
3、技术难点:后台大屏统计,展示数据的准确性,相应的速度。