JSpider Java网页爬虫开源项目

JSpider是一个用Java实现的WebSpider，JSpider的执行格式如下：jspider[URL][ConfigName]URL一定要加上协议名称，如：https://，否则会报错。如果省掉ConfigName，则采用默认配置。JSpider的行为是由配置文件具体配置的，比如采用什么插件，结果存储方式等等都在conf\[ConfigName]\目录下设置。JSpider默认的配置种类很少，用途也不大。但是JSpider非常容易扩展，可以利用它开发强大的网页抓取与数据分析工具。要做到这些，需要对JSpider的原理有深入的了解，然后根据自己的需求开发插件，撰写配置文件。