点击空白处退出提示
作品详情
2、我主要负责整个项目的架构,该项目后端采用springcloud+nacos+netty+kafka+hadoop+Hbase+mysql+redis+websocket+skyworking等技术,服务运维用到了k8s+jenkins+docker等一系列工具,该数据主要来源在于动车wtd设备通过tcp传输数据到公网,然后我方通过协议去解析数据,然后进行分析,车辆每秒发送一次数据,后端接收数据后存入kafka集群,然后数据分析服务接收kafka数据,解析完后存入集群hbase,列车实时定位的数据需要通过websocket实时推送到前台数据大屏。
3、项目主要难点在于网络数据传输及大数据存储方面,数据存储之前是采用mysql按月分表的形式存储数据,但是随着时间积累,几十T的数据查询起来,特别慢,随后采用了HBase集群的方案。网络数据流在TCP协议下传播,因为协议本身对于流有一些规则的限制,这些规则会导致当前对端接收到的数据包不完整,会出现粘包和拆包的现象,后面采用netty自定义编码和解码的方式,对流做了一定的处理。该项目用到了10来台服务器,主要是用在数据解析,数据存储等方面
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论