需要做一个爬取二手房的房源信息数据:
项目由本人独自完成,程序设计到一下功能:
1、爬取指定数据
2、自动存入数据库
3、时时监控整个爬虫程序
4、做反爬虫处理
5、对加密数据进行解密
6、对整个程序从性能上进行优化
技术:使用的是scrapy爬虫框架,对目标链接进行提取符合规则的链接,进行深度爬取,再对页面通过xpath和正则表达式进行解析提取数据,将数据放入itmes提交到管道,再用过管道进行数据的存储与持久化,最后在下载中间件的请求拦截器中设置请求头参数,在响应请求拦截器中加载动态网页信息(seleum),在请求异常拦截器中,设置代理ip与异常日志监控