1. 项目分为3个功能模块:
(1)需求分析:用户给定word需求文档,程序员分析问题需求
(2)任务实施: 程序员根据需求实施相应爬取操作
(3) 数据分析: 程序员把爬取到的数据进行分析,可视化
如此实现用户做国外影评网站的一个数据分析
2. 本人负责 整体网站爬取操作, 使用了 python语言 requests, urllib, re, selenium, js逆向,time, nodejs,模拟登陆,验证码识别等技术. 最终实现用户的需求,解决用户急需数据支持的任务
3. 网站的数据动态加载,cookie反爬,数据加密,验证码等:通过js逆向操作,请求头设置参数,设置代理IP等操作解决这些反爬问题