[1] 开发时间：2020.02
[2] 项目描述：客户端在特定WIFI下进行互联网使用，并对该客户端的QQ操作、微信操作、邮箱操作、搜索记录、个人信息和GPS进行信息采集。可以应用于网络安全和公安定位嫌疑人等方面提供信息；
[3] 职责描述：负责CentOS环境的CDH部署，及WebUI操作的组件安装、数据采集、采集处理、Sink数据库和对外提供查询服务；
[4] 技术架构：Flume+Kafka+SparkStreaming+ElasticSearch+HBase+Redis+MySQL+Hive+SpringCloud；
[5] 原始数据：wechat_sourceid_uuid、qq_sourceid_uuid、mail和search的txt文件名；
[6] 技术实现：
▪信息采集：Flume对WIFI采集器的数据进行间接采集,在实时推送至Kafka集群；
▪信息缓冲：Kafka作为流数据缓存,接受Flume推送请求，并将数据再次推送于SparkStream处理系统；
▪查询服务：SparkStream处理qq、email、微信和搜索记录写入至ES；
▪犯人追踪：MySQL存储嫌疑人身份信息，并将其关键字段数据同步于Redis，结合SparkStream处理数据和Redis匹配，匹配成功将嫌疑人信息和GPS位置保存至MySQL。公安收到黑名单信息即可报警，进行抓捕；
▪分析服务：SparkStream处理qq、email、wechat和搜索记录写至hdfs, 及文件合并. 在关联Hive进行离线分析；
▪数据关联：SparkStream处理qq、email、wechat和搜索记录进行关联处理，在写入至HBase；
▪查询接口：使用SpringCloud对外提供HBase的数据查询接口；
[7] 项目经历：
▪报错结果：Themainclasscannotbefoundorcannotbeloaded；
▪错误分析：在打JAR上传集群时，执行出现异常。本人在通过更换其它PC端重新打JAR上传集群时却执行成功，无报错异常。经测试得出是本地PC端环境不兼容问题；
▪解决方法：通过大量测试，最终更换Pom.xml里的打JAR依赖的方式，主要添加Scala打JAR编译要使用的类库和scala打JAR插件，成功兼容了本地PC环境；