项目描述
● 以爬虫，接口，硬件设备收集数据并对数据进行可视化展示。其主要项目模块如下:
● 爬虫模块，对公开网页，app ,数据登录网站，接口，相关环境气象数据进行抓取接入。
● 集成工控机模块，硬件设备通过本地485接口线，接入到集成器中，并对数据进行同化质控，对设备进行反向控制，对设备信息的报警，入到本地数据库，对数据三维地图立体进行实时展示
● 云端数据传输模块，硬件设备数据通过 mqtt 传输，云端接入并实时入库，进行展示
● 无人车模块，通过云端对无人车及设备进行到反向控制，与无人车数据的同化接入
● 数据同化模块，将所有数据通过算法进行同化质控，达到可使用的标准
● 数据可视化模块，对同化后的数据，通过模型进行可视化输出，达到二维及三维展示效果
● 预测模块，对数据通过 WRF,CMAQ 等模式对空气质量进行预测
● 三维展示模块，将数据应用到三维地图上
人员配置
● 前端：2人
● 后端：4人
● 硬件：2人
● 地图：2人
● UI：1人
主要负责
● 团队项目管理
● 项目架构
● 数据抓取，对 app ,登录网站，攻克登录的加密方式及各种验证码的处理。通过线程池与代理池加快数据抓取速度，以每小时万级的数据量控制在三分钟左右入库完成
● 硬件数据接入，每两秒一组的采集数据图片处理不过来，用两个线程，做一个环形缓存，一个负责接收，一个负责环形处理。并且先进行数据接收，再处理图片，保证此线程不做任何任务切换，接收完在释放
● 数据库的读写分离及分库分表，减轻单表数据量的压力
● 数据同化，将各类数据利用多线程进行质控并根据需求处理为可用数据
● python 进行数据可视化
● 气象模型的搭建接入服务 (WRF)