网络爬虫

HiSpider is a fast and high performance spider with high speed 严格说只能是一个spider系统的框架, 没有细化需求, 目前只是能...

JobHunter旨在自动地从一些大型站点来获取招聘信息，如chinahr,51job,zhaopin等等。JobHunter 搜索每个工作项目的邮件地址，自动地向这一邮件地址发送申请文本。

jcrawl是一款小巧性能优良的的web爬虫,它可以从网页抓取各种类型的文件,基于用户定义的符号,比如email,qq.

项目有登录功能，选课功能，刷课功能，自动校验验证码，自动答题，自动检测防暂停。 所有功能均由自己完成，所有预期效果均已实现。

介绍：国内OA系统的历史可以追溯到上世纪90年代，当时企业开始采用计算机技术来管理和协调日常办公工作。 随着互联网的普及，OA系统迅速发展，逐渐演变为今天的多功能平台。 OA系统的行业发展背景反映了企业追求效率、协作和信息管理的持续需求。 职责： 1.负责OA流程开发 2.在线实时新闻爬虫 3.OA收发文 4.需求讨论 5.文档编写 6.前端页面实现 7.桌面数据迁移程序开发

BlueLeech是一个开源程序，它从指定的URL开始，搜索所有可用的链接，以及链接之上的链接。它在搜索的同时可以下载遇到的链接所指向的所有的或预定义的范围的内容。

urlwatch 是一个用来监控指定的URL地址的 Python 脚本，一旦指定的 URL 内容有变化时候将通过邮件方式通知到。 基本功能 配置简单，通过文本文件来指定URL，一行一个URL地址...

Spidr 是一个Ruby 的网页爬虫库，可以将整个网站、多个网站、某个链接完全抓取到本地。 安装方法：sudo gem install spidr 代码示例： Spidr.start_at('...

YaCy基于p2p的分布式Web搜索引擎.同时也是一个Http缓存代理服务器.这个项目是构建基于p2p Web索引网络的一个新方法.它可以搜索你自己的或全局的索引,也可以Crawl自己的网页或启...

Snoopy 是一个强大的网站内容采集器（爬虫）。提供获取网页内容，提交表单等功能。

Spindle 是一个构建在 Lucene 工具包之上的 Web 索引/搜索工具。它包括一个用于创建索引的 HTTP spider 和一个用于搜索这些索引的搜索类。Spindle 项目提供了一组...

Web-Harvest 是用 Java 编写的开源 Web 数据提取工具。它提供了一种收集所需网页并从中提取有用数据的方法。为了做到这一点，它利用了成熟的文本/xml操作技术，如XSLT、XQu...

市区开放集成化一体系平台，内含：科技政策业务平台、科技创新管理平台、科技数据中心、专家库及评审系统、科技招商等等模块。 其中目前正进行其中一个模块，科技政策业务平台：由某市区开放各类项目，各企业提交申报申请，余额计算。 负责功能测试，接口自动化测试。

AI-powered Sentiment Analysis Tool是一款基于人工智能的情感分析工具，旨在帮助用户分析文本数据中的情感倾向。该工具利用自然语言处理技术，能够识别文本中的情感（如积极、消极、中性），并可视化展示分析结果。通过这款工具，用户可以快速了解社交媒体评论、客户反馈等文本数据的整体情感趋势，从而辅助决策。

Ebot 是一个用 ErLang 语言开发的可伸缩的分布式网页爬虫，URLs 被保存在数据库中可通过 RESTful 的 HTTP 请求来查询。

JSpider 是一个用 Java 实现的 WebSpider，JSpider 的执行格式如下： jspider [URL] [ConfigName] URL 一定要加上协议名称，如：http:...

WebLech是一个功能强大的 Web 站点下载与镜像工具。它支持下载网站所需的许多功能，并尽可能地模拟标准的网络浏览器行为。WebLech是多线程的，并将具有一个GUI控制台。

Methanol 是一个模块化的可定制的网页爬虫软件，主要的优点是速度快。