电商店铺数据获取

我要开发同款
东帝2023年07月23日
143阅读
开发技术python
所属分类dingtalk、mysql、pyppeteer、Selenium

作品详情

此项目主要是自动登录京东淘宝网站,定时获取京东、淘宝上自家店铺的商业数据,解析清洗到数据库中,供产品进行分析定位。并将程序运行状态通过dingtalk发送到钉钉报警群进行监控。
开发环境:python+selenium+pyppeteer+msyql
1. 使用selenium,自动输入账号密码进行登录,操作滑动进行图片验证,循环自动登录淘宝网站店铺,通过操控页面元素点击按钮等,分批获取指定tab页上的数据,将数据解析清洗到mysql数据库中。
2. 使用pyppeteer,自动输入账号密码进行登录,操作京东页面上的滑块登录,循环自动登录京东网站店铺,通过操控页面元素点击按钮等,分批获取制定tab页上的数据,将数据解析清洗到mysql数据库中。
3. 通过dingtalk模块,将预警信息发送到钉钉报警群中。
难点:京东、淘宝登录时可能会滑块登录验证,淘宝滑块可通过selenium+自身模块的防验证函数+指定版本chromedriver;京东滑块可通过pyppeteer+cv2+指定版本chromedriver
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论