点击空白处退出提示
作品详情
主要使用python+Django+mysql/redis 构建。
主要负责:
一、网站
1、用户模块,包括用户登录、注册以及会员管理模块等。
2、行情报价模块,业务逻辑以及数据库数据交互。
3、简单数据分析后,在前台页面展示结果。
二、爬虫
1、跟据需要把取的数探进行需求分析,分析目标网站的网站结构和一些反爬手段
2、通过requests,scrapy,scrapy-redis,xpath等技术手段编写犯虫程序进行内容抓取
3、采用asyncio+aiohttp以达成高并发,异步请求。通过继承aiohttp.ClientSession类来保存cookie对象,以应对基于cookie的反扒策略
4、通过timeout设置超时重发机制,考虑网站能否打开和打开时间问题,一般能要加异常判断。超时,retry等成少报措。
5、对抓取到的数探进行清洗去重,分表存储,以供其他部门使用
6、根据爬取过程中遇到的一些反爬手段,优化自己的程序
7、不断学习新技术,满足业务需求
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论