1、Digikey(得捷)：https://www.digikey.com/ 2、Mouser(贸泽)：https://www.mouser.com/ 3、Avnet(安富利)：https://www.avnet.com/ 4、Arrow(艾睿)：https://www.mouser.com/ 5、Kynix(凯利讯)：https://www.kynix.com/ 6、Newark：https://www.newark.com/ 7、rsonline(欧时)：https://us.rs-online.com/ 8、datasheet5：https://www.datasheet5.com/ 9、bom2buy：https://www.bom2buy.com/ 10、Findic(采芯网)：https://www.findic.us/

一、 项目架构设计 简介: 基于Python3的scrapy_redis + crawlab框架拓展开发, 适用于芯片行业数据采集的分布式爬虫器 主要模块: settings、 middlewares、 pipelines、 items、 spiders、 tools(共用配置与方法封装器)、 special(特殊处理封装器)、 fileStores(文件储存器) 二、 项目功能与特点 拓展功能: 集合了对接mysql/mongo数据库、 redis缓存与队列、 阿里云OSS文件存储、 代理和识别验证码第三方平台接口等功能 爬虫池: 聚集了芯片行业主要的电商平台和知名品牌官网的爬虫 特点: 1、提供了芯片行业主流网站(Digikey、Mouser、Kynix、Arrow等)数据接口 2、封装了HTML中各种table样式标签的通用方法 3、链接了解决各种验证码的第三方平台接口 4、提供了爬虫脚本通用temp, 可更简洁、快速、清晰开发新spider 三、 crawlab爬虫管理后台搭建 1、集部署、任务调度、任务监控、结果展示等模块于一体的爬虫项目管理系统 2、阿里云centos7 + docker + mongodb、redis

集合了对接 mysql/mongodb数据库、 redis缓存与任务队列、 Amazon S3/阿里云OSS文件存储、 代理和识别验证码第三方平台接口等功能 聚集了芯片行业主要的电商平台和知名品牌官网的爬虫 1、提供了芯片行业主流网站(Digikey/Mouser/Arrow/Kynix/datasheet5等)数据采集脚本 2、封装了提取HTML中各种样式table标签数据的通用方法 3、链接了解决各种验证码的第三方平台接口及各种反爬解决案例 4、提供了爬虫脚本通用temp, 可更简洁、快速、清晰开发新spider wechat:rc92217991