1. 使用 storm 作为分布式实时流处理架构.
2. 使用 zookeeper 进行 storm 集群协调,保证 storm 的高可用. 3. 使用 common-pool2 管理 sftp 连接,实现 sftp 的连接复用. 4. 使用 redis 缓存减少数据库读写压力,提高处理效率.
5. 使用 elasticsearch,优化了结果集统计效率.
6. 使用 rocketmq 保证了计费的消费顺序.