爬虫主要使用的是java和python语言，java语言是Python语言写爬虫的最大竞争对手。Python与java相比有很多优点，利用python写爬虫程序比较简洁，高效。python含有第三方urllib库，一个最基本的网络请求库，是用来写爬虫的好工具。学习用Python语言爬虫必须要对python的基本语法规则要有一定的了解。我在大一寒假的时候学习过python语言的一些基本语法知识，当时还照着书做过一个用python语言写的游戏。差不多都一年半没碰过python语言，我在图书馆找了一本《一天学会python》的书，用了两个多小时看完了，对Python语言的一些基本语法规则及使用更加熟悉了。然后我就开始了我的爬虫之旅。 开始爬虫之前有些基础知识必须知道，这些知识是爬虫必须知道的基础知识： 1、http协议：超文本传输协议，一种发布和接收HTML页面的方法，80端口，浏览器一般默认的都是80端口 2、https协议：http协议的加密版本，在http下加入ssl层，443端口 3、URL详解：统一资源定位符（就是浏览器上方的网址）一个URL一般由以下几个部分组成： scheme：//host:port/path/?query-sting=xxx#anchor scheme:协议一般为http、https、ftp host:主机名或者域名例如www.baidu.com或者IP地址，域名是IP地址的简称 port：端口号，浏览器一般默认80端口 path：查找路径 query-sting=xxx:查询字符串例如wd=python anchor:锚点，前端用来做页面定位 在浏览器中请求一个URL，浏览器会对URL进行一个编码，除英文，数字和部分符号外，其他的全部使用百分号+十六进制码值进行编码。在urllib库里面有urlencode()函数对中文，符号进行编码，parse_qs()函数对中文、符号进行解码。 4、http常用请求方法： post:向服务器发送数据、上传数据，对服务器产生影响 get:只能从服务器获取数据，不会对服务器产生影响 http请求方法详解 5、http协议常见响应状态码 200： 请求正常，服务器正常返回（数据不一定正确） 301：永久重定向 302：临时重定向 400：请求的URL找不到，URL错误 403：服务器拒绝访问 404：not found 500：内部服务器错误

传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。 相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题： (1) 对抓取目标的描述或定义； (2) 对网页或数据的分析与过滤； (3) 对URL的搜索策略。

1.scarpy，mysql，redis 2.线程池，多进程 3.通过爬虫爬取网页数据下载链接，存入数据库 4.挑选种子URL； 5.讲这些URL放入带抓取的URL列队； 6.取出带抓取的URL，下载并存储进已下载网页库中。此外，讲这些URL放入带抓取URL列队，进入下一循环。 7.分析已抓取列队中的URL，并且将URL放入带抓取URL列队，从而进去下一循环。