汽车供应链小程序。
功能包含 下单,提车,出库,经销商入驻, 企业/个人用户实名认证(认证功能对接e签宝),聊天室,消息通知等等。
项目运用的技术:.net core2.2, uniapp, mssql, Siganlr
爬虫:
从各大汽车网站 (汽车之家,卡车之家, 车主之家) 获取业务所需数据: 车辆图片,销量, 品牌型号,性能,规格,市场价等等数据。
由于数据量较大,且需要持续更新。我编写了一个分布式爬虫框架,通过调度中心生成爬虫任务, 再由部署在其他服务器上的雇机
进行数据抓取。每日的运行结果再通过邮件定时发送指定账号,监控运行状况。应用技术栈如下:
● 服务端:.net5, furion框架
● 数据库: mssql
● 分布式缓存/任务队列: redis
● 网页解析,网站反爬加密破解: htmlAgilityPack, selenium, chrome ● 分布式雇机端: vue, axios,element-ui
● 任务调度: quartz, Hangfre
● 代理ip: 阿布云ip隧道