网络爬虫子系统是社会工程软件数据收集入口，用于从新浪博客抓取博文，用于后续的内容提取和归类。提供数据内容管理接口与其他系统对接。网络爬虫子系统基于Linux平台，分为主控模块、下载模块、URL提取模块和持久化模块，其中用到了Linux多路复用技术（Epoll模型），socket，多线程、正则表达式、守护进程、Linux动态库等Linux系统开发技术。
评论