根据公司需求和业务的扩展，需要对手机APP云集的所有商品信息进行采集，包括父类模块分类，子类模块分类，商品id，名称，售价，原价，品牌，相关参数，主图，详情图等信息进行了采集，并将图片上传到阿里云的OSS储存器中。
1.抓取手机app，必须借助于抓包工具，所以对fiddler抓包工具进行了相关配置，并对手机进行设置和安全证书的下载安装；
2.对云集app进行抓包，根据分析得到相关的json数据。因为此app的商品信息和商品的详情图参数不在一个链接中，所以需要对一个商品进行两次解析，才能获取到全部所需信息；
3.使用scrapy框架对相关的信息进行爬取并将数据保存在数据库，使用requests和urllib对商品的相关图片进行下载，并上传到阿里云的OSS储存器中；
4.对代码进行维护和对数据、图片进行二次清洗和更改。