HiSpiderisafastandhighperformancespiderwithhighspeed
严格说只能是一个spider系统的框架,没有细化需求,目前只是能提取URL,URL排重,异步DNS解析,队列化任务,支持N机分布式下载,支持网站定向下载(需要配置hispiderd.iniwhitelist).
特征和用法:
基于unix/linux系统的开发异步DNS解析URL排重支持HTTP压缩编码传输gzip/deflate字符集判断自动转换成UTF-8编码文档压缩存储支持多下载节点分布式下载支持网站定向下载(需要配置hispiderd.iniwhitelist)可通过https://127.0.0.1:3721/查看下载情况统计,下载任务控制(可停止和恢复任务)依赖基本通信库libevbase和libsbase(安装的时候需要先安装这个两个库)工作流程:
从中心节点取URL(包括URL对应的任务号,IP和port,也可能需要自己解析)连接服务器发送请求等待数据头判断是否需要的数据(目前主要取text类型的数据)等待完成数据(有length头的直接等待说明长度的数据否则等待比较大的数字然后设置超时)数据完成或者超时,zlib压缩数据返回给中心服务器,数据可能包括自己解析DNS信息,压缩后数据长度+压缩后数据,如果出错就直接返回任务号以及相关信息中心服务器收到带有任务号的数据,查看是否包括数据,如果没有数据直接置任务号对应的状态为错误,如果有数据提取数据种link然后存储数据到文档文件.完成后返回一个新的任务.
评论