灵知.互联网威胁监测预警中心 Ai.Radar

我要开发同款
平凡安全程序员2024年01月31日
78阅读
开发技术网络安全、爬虫docker、elasticsearch、springcloud
所属分类rabbitmq、ES、数据采集、flink

作品详情

灵知是一个SAAS系统,主要负责对企业进行外部攻击面资产梳理,基于企业认证的名称进行暴露面资产数据采集与梳理,攻击面弱点发现,生成资产数据报告等功能。当租户创建完账号后,会进行企业认证,当企业认证完成后,系统会根据企业名称在数据底图库中挖掘出暴露面资产,租户可根据当前的暴露面资产进行任务下发,可选择系统已配置好的策略进行定期探活、漏扫、端口扫描、子域名爆破、cdn检测、waf检测等主动扫描功能(需授权功能)收集出攻击面弱点数据,租户也可以设置事件监测任务,对某一类资产可根据高级语法进行定期的资产变更事件监测,例如信息系统资产在资产变更时包含某一些指纹的特征可进行预警(发送邮件等方式),租户可以定期生成数据报告并下载。数据底图在收集时为通过api和爬虫的方式进行的,通过任务中心的工作流编排先把api和爬虫的任务编排为企业数据收集(被动)策略,包含天眼查API、fofa-api、zoomeye-api、hunter-api、quake-api、微信小程序爬虫、微信公众号爬虫、github、gitee、csdn、百度文库、站长之家等爬虫进行企业数据收集,此系统任务平台与引擎完全分离,引擎节点全部支持动态的扩容与缩容,任务中心支持工作流任务编排、分布式任务拆分并下发、任务暂停、任务恢复、任务停止等功能,web页面与后端接口通信时都通过rabbitmq做任务事件队列,工作流任务执行引擎下发任务使用rabbitmq通信,分布式任务队列使用redis做缓存队列,引擎节点与任务服务通信为http接口,引擎节点输出数据使用kafka队列,kafka数据到mysql使用streamsets、flink进行大数据处理,mysql到es统一使用监听binlog到kafka队列,在从kafka队列到es中,数据处理全部使用流式处理,效率极高。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论