网络爬虫

一个简约灵活强大的Java爬虫框架。 Features: 1、代码简单易懂，可定制性强 2、简单且易于使用的api 3、支持文件下载、分块抓取 4、请求和相应支持的内容和选项比较丰富、每个请求可...

这是一个非常简单易用的抓取工具 怎么使用? 首先你需要创建一个对应站点的规则文件 比如test.json { "name": "bing searcher", "action":...

此服务器是使用mongoose web服务器改写的并发抓取多个页面的服务器, 使用可以查看test.php

Gather Platform 数据抓取平台是一套基于 Webmagic 内核的，具有 Web 任务配置和任务管理界面的数据采集平台，一个轻量级的搜索引擎系统。具有以下功能 根据配置的模板进行数...

ListPage 是专门用于爬取或操作列表式网页的页面类，基于 DrissionPage。页面类抽象了列表式页面基本特征，封装了常用方法。 只需少量设置即可进行爬取或页面操作，实现可复用、可扩展...

Douyin-Bot 是一个用 Python 和 ADB 打造的 Python 抖音机器人。 特性 自动翻页 颜值检测 人脸识别 自动点赞 自动关注 随机防 Ban 原理 打开《抖音短视频》AP...

NEOCrawler(中文名：牛咖)，是nodejs、redis、phantomjs实现的爬虫系统。代码完全开源，适合用于垂直领域的数据采集和爬虫二次开发。 【主要特点】 使用nodejs实现，...

百度云分享爬虫项目 github上有好几个这样的开源项目，但是都只提供了爬虫部分，这个项目在爬虫的基础上还增加了保存数据，建立elasticsearch索引的模块，可以用在实际生产环境中，不过w...

Blog-Hunter（博客猎手），基于 webMagic 的博客爬取工具，支持慕课、csdn、iteye、cnblogs、掘金和 V2EX 等各大主流博客平台。 主要功能 多个平台：该项目内置...

QueryList是一套简洁、优雅的PHP采集工具（爬虫），基于phpQuery。 特性： 拥有与jQuery完全相同的CSS3 DOM选择器 拥有与jQuery完全相同的DOM操作API 拥有...

美容新闻淘客免维护全自动采集 1.采集瑞丽女性美容频道文章,免维护全自动采集 2.可自定义网站标题,关键字,描述等 3.可选择是否应用新浪SAE平台 支持 新浪SAE环境 与普通环境自由切换 4...

介绍 p2pspider 是一个 DHT 爬虫 + BT 客户端的结合体, 从全球 DHT 网络里"嗅探"人们正在下载的资源, 并把资源的metadata(种子的主要信息)从远程 BT 客户端下...

用JAVA编写的web 搜索和爬虫，包括全文和分类垂直搜索，以及分词系统

XCrawler - 轻量级、易维护的PHP爬虫框架 特性: 极易上手，具备完善的文档和示例 支持多并发爬取 支持基于 xpath、css 选择器解析内容 模拟浏览器行为，如 user-agen...

Crawler 基于 Java 开发的一款跨平台爬虫，可以使用Shell脚本和DOS命令进行任务式处理。 比如CR命令 使用一个Email正则就可以从贴吧中提取所有邮箱 使用Ci命令 爬取所有新...

NCrawler 是一个Web Crawler 工具，它可以让开发人员很轻松的发展出具有Web Crawler 能力的应用程式，并且具有可以延展的能力，让开发人员可以扩充它的功能，以支援其他类型...

spider-web 是爬虫的网页版，使用xml配置，支持大部分页面的爬取，支持爬取内容的保存、下载等。 其中配置文件格式为： <?xml version="1.0" encoding="UTF...

guozhongCrawler的是一个无须配置、便于二次开发的爬虫开源框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。模块化设计完全 面向业务提供接口，功能覆盖整个爬虫的生命周期(链...

Scrapple 是一个用来开发 Web 爬虫程序的 Python 框架，使用 key-value 配置文件。提供命令行接口来运行基于 JSON 的配置，同时也提供基于 Web 的接口来输入。

本项目基于golang开发，是一个开放的垂直领域的爬虫框架，框架中将各个功能模块区分开，方便使用者重新实现子模块，进而构建自己垂直方方向的爬虫。 本项目将爬虫的各个功能流程区分成Spider模块...