爬虫工程师采集 1688,京东,亚马逊等电商平台的数据 1.根据关键字搜索到所需要的数据 3.破解各种反爬措施(ip风控,请求参数逆向破解,验证码破解) 2.分布式规模采集数据(能日抓30万张页面,重构为异步爬虫,并优化网络性能与重新设计抓取策略,让单台低配置机器定向抓取200万张页面,后负责维护该爬虫) 4.将数据清洗入库使用 MongoDB、MySQL 存储
评论