网络爬虫

一个轻量级的基于事件分发的爬虫框架。 功能介绍 基于完全自定义事件处理机制的爬虫框架。 模块化的设计，提供强大的可扩展性。 基于HttpClient支持同步和异步数据抓取。 支持多线程。 基于J...

spidernet是一个以递归树为模型的多线程web爬虫程序, 支持text/html资源的获取. 可以设定爬行深度, 最大下载字节数限制, 支持gzip解码, 支持以gbk(gb2312)和u...

Bixo 是一个开放源码的Web挖掘工具包，基于 Hadoop 开发和运行。通过建立一个定制的级联管总成，您可以快速创建Web挖掘是专门为特定用例优化的应用程序。

项目代号：土拨鼠 万维网网络机器人,又称蜘蛛,爬虫,原理主要是通过构造符合HTTP协议的网络数据包,向指定主机请求资源,获取返回的数据.万维网有大量的公开信息,人力采集数据费时费力,故激发了爬虫...

lightcrawler 可以抓取网站并通过 Google lighthouse 运行网站。 npm install --save-dev lightcrawler lightcrawler ...

爬冠状病毒新型肺炎疫情实时数据+数据持久化+邮件通知。 数据源来自“丁香园” ：https://3g.dxy.cn/newh5/view/pneumonia_peopleapp?from=tim...

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。并提供数据分析功能，基于用户数据生成图表文件，使得用户更直观、深入了解...

Crawler4j是一个开源的Java类库提供一个用于抓取Web页面的简单接口。可以利用它来构建一个多线程的Web爬虫。 示例代码： import java.util.ArrayList; im...

Colly 是一个采用 Go 语言编写的 Web 爬虫框架，旨在提供一个能够写任何爬虫/采集器/蜘蛛的简洁模板。通过 Colly ，你可以轻松从网站中提取结构化的数据，然后进行数据挖掘、处理或归...

AppCrawler 是一个基于自动遍历的 App 爬虫工具。支持 Android 和 iOS，支持真机和模拟器。最大的特点是灵活性，可通过配置来设定遍历的规则。 为什么做这个工具 各大云市场上...

NZBGet是一个新闻采集器，其中从新闻组下载的资料格式为nzb文件。它可用于单机和服务器/客户端模式。在独立模式中通过nzb文件作为参数的命令行来下载文件。服务器和客户端都只有一个可执行文件”...

Weboob (Web Out Of Browsers) 提供了很多工具用来和很多的网站进行交互。例如在youtube上搜索并播放视频；查询天气、银行帐号等等信息。

Asyncpy 是基于 asyncio 和 aiohttp 开发的一个轻便高效的爬虫框架，采用了 scrapy 的设计模式，参考了 github 上一些开源框架的处理逻辑。 更多详细内容可参考d...

Arachnid 是一个基于 Java 的 Web spider 框架。它包括一个简单的HTML解析器对象，可以解析包含HTML内容的输入流。简单的网络蜘蛛可以通过对Arachnid进行子类化并...

贴吧精灵 百度贴吧发贴机 要的请自己下载哦。 有啥问题，BUG请联系我哦，admin@baidupost.com，完全免费中。 使用说明 1.设置好用户名，贴吧，内容就可以直接发送了 2.绿色软...

Combine 是一个用Perl语言开发的开放的可扩展的互联网资源爬虫程序。

________ _________________ ___ __ \___________ /_____ /____________ __ / / / __ \ __...

WebCrawler 是一个网站数据采集工具，使用 scrapy 框架。 环境准备 [Scrapy] (http://scrapy.org/) [MongoDB] (https://www.mo...

larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。...

Methabot 是一个经过速度优化的高可配置的 WEB、FTP、本地文件系统的爬虫软件。