Jedi-Crawler是一款轻量级 Node/PhantomJS爬虫,可以动态的抓取网页内容。
安装:
npm install jedi-crawler示例代码:
var jedi = require('./modules/jedi.js'),fs = require('fs');/// REGISTER ALL THE PADAWANSvar PADAWANS_DIR = "./padawans/";fs.readdirSync(PADAWANS_DIR).forEach(function(padawan){ require(PADAWANS_DIR + padawan)(jedi);});jedi.crawl('https://en.wikipedia.org/wiki/Montpellier,_France', function(err, data){ console.log(data);});
评论