1、项目面向使用者提供了针对结构化数据自动挖掘数据间关联关系的功能，如给定一个数据列表，发现其中会频繁出现的数据序列，从A出现时，必定B会在A出现之后出现 2、在本项目中个人采用MaxSP算法实现了针对序列数据库的频繁项挖掘功能，并采用图数据库的形式对结果的关联关系进行了展示

1、项目针对数据分析中数据清洗、特征提取、统计分析常用的计算方法进行了固化，面向分析人员以规则化的语法形式实现快速的数据分析和结果输出，使用户拜托了定制化、重复性的代码开发工作。 2、在本项目中，个人首先完成了规则化语法以及算子的设计，同时采用akka框架实现了分布式多线程的并行计算，达到了单台128GB服务器实现10Gbps流量数据处理的效率。 3、本项目中的难点在于规则的设计；并行化效率。

1、项目主要包括实时流量数据处理和历史流量数据处理两个大的部分，实时流量数据又涵盖上下行流量监控、关键服务器行为监控、基于规则的异常检测等模块，历史流量数据处理涵盖用户画像、用户群像、代理流量检测等模块。面向用户来说，系统可以以可视化的形式向用户展示所在网络环境的基本概况，包括出口流量大小、在线人数、web网站信息、dns服务器信息、邮件服务器信息、实时的安全事件等，对整个网络的基本情况有一个清晰的认知。 2、个人负责采用Spark框架对接Spark streaming以及HDFS实现流量数据解析、流量数据分析、数据库写入等功能，具体实现了关键服务器行为监控、用户画像、代理流量检测、用户违规登录行为检测等功能模块。同时采用Django框架和Echarts实现了前端的可视化。 3、项目难点主要在于大数据处理的数据倾斜问题、分布式读取写入问题等。