Colly是一个采用Go语言编写的Web爬虫框架，旨在提供一个能够写任何爬虫/采集器/蜘蛛的简洁模板。通过Colly，你可以轻松从网站中提取结构化的数据，然后进行数据挖掘、处理或归档。
项目特性清晰明了的API
快速（单个内核上的请求数大于1k）
管理每个域的请求延迟和最大并发数
自动cookie和会话处理
同步/异步/并行抓取
高速缓存
自动处理非Unicode编码
支持Robots.txt
支持GoogleAppEngine
通关环境变量进行配置
可扩展
示例func main() {c := colly.NewCollector()// Find and visit all linksc.OnHTML("a[href]", func(e *colly.HTMLElement) {e.Request.Visit(e.Attr("href"))})c.OnRequest(func(r *colly.Request) {fmt.Println("Visiting", r.URL)})c.Visit("https://go-colly.org/")}
评论