属于中国联通相关项目,采集联通网络各级技术指标汇总数据,分析,最后输出展展示在大屏上,在大屏上即时查看 通讯质量和指标等信息。 涉及到大数据采集和存储,大数据的分析处理,前端展示系统的实时性等技术和问题。我参与了其中的数据处理和大屏监控开发等工作和讨论。 使用HADOOP、hdfs来存储采集的海量原始数据,经过脚本分析处理归集到HIVE中,前端使用任务再次对数据做加工处理后放入Redis中供大屏系统拉取实时数据。
评论