1. 项目主要分为两个系统，分别为前台系统与后台系统，前台系统提供C端用户进行查看漏洞库数据等，后台系统可对漏洞库数据进行增删改查、发布等操作，也可以通过爬虫采集功能从互联网上公共漏洞库进行数据采集、数据清洗、数据融合操作。 2. 此项目主要难点为爬虫采集与数据处理功能，需要保证爬虫采集的稳定性和数据处理时的准确性。 3. 此项目从后端架构设计、数据库设计、功能开发全是我个人开发。

1. 系统分为仪表盘、漏洞知识图谱、漏洞库管理、源数据库管理、任务管理、系统管理、用户管理、角色管理、日志管理、备份管理模块 2. 此系统后端部分从架构设计、数据库设计、功能开发全部是我个人开发，此系统主要逻辑为通过任务中心的 定时任务进行爬虫任务采集，定期的进行增量数据的采集并使用etl进行数据清洗、数据融合等操作并展示到漏洞库中。 3.此系统主要难点为任务调度如何保证调度成功，可以进行节点监测等内容，保证数据处理的准确性，数据融合等问题。

灵知是一个SAAS系统，主要负责对企业进行外部攻击面资产梳理，基于企业认证的名称进行暴露面资产数据采集与梳理，攻击面弱点发现，生成资产数据报告等功能。当租户创建完账号后，会进行企业认证，当企业认证完成后，系统会根据企业名称在数据底图库中挖掘出暴露面资产，租户可根据当前的暴露面资产进行任务下发，可选择系统已配置好的策略进行定期探活、漏扫、端口扫描、子域名爆破、cdn检测、waf检测等主动扫描功能（需授权功能）收集出攻击面弱点数据，租户也可以设置事件监测任务，对某一类资产可根据高级语法进行定期的资产变更事件监测，例如信息系统资产在资产变更时包含某一些指纹的特征可进行预警（发送邮件等方式），租户可以定期生成数据报告并下载。数据底图在收集时为通过api和爬虫的方式进行的，通过任务中心的工作流编排先把api和爬虫的任务编排为企业数据收集（被动）策略，包含天眼查API、fofa-api、zoomeye-api、hunter-api、quake-api、*小程序爬虫、*公众号爬虫、github、gitee、csdn、百度文库、站长之家等爬虫进行企业数据收集，此系统任务平台与引擎完全分离，引擎节点全部支持动态的扩容与缩容，任务中心支持工作流任务编排、分布式任务拆分并下发、任务暂停、任务恢复、任务停止等功能，web页面与后端接口通信时都通过rabbitmq做任务事件队列，工作流任务执行引擎下发任务使用rabbitmq通信，分布式任务队列使用redis做缓存队列，引擎节点与任务服务通信为http接口，引擎节点输出数据使用kafka队列，kafka数据到mysql使用streamsets、flink进行大数据处理，mysql到es统一使用监听binlog到kafka队列，在从kafka队列到es中，数据处理全部使用流式处理，效率极高。