利用自动化工具爬取某网站数据

我要开发同款
微信用户19085356532024年11月18日
15阅读
开发技术python
所属分类大数据
参考价格1000.00元

作品详情

爬取该平台数据(https://jzsc.mohurd.gov.cn/data/company )

将该网站前10页的数据爬取下来并保存到csv中

字段: 统一社会信息代码, 企业名称, 企业法定代表人 ,企业注册属地
WebDriverWait()显示等待
7.1.优点:
代码执行效率快。无需等待整个页面加载完成,只需加载到你要定位的元素就可以执行代码。是最智能的设置元素等待的方式。
7.2.缺点:
7.2.1.要导入from selenium.webdriver.support import expected_conditions as EC
- from selenium.webdriver.support.ui import WebDriverWait
- from selenium.webdriver.common.by import By
- 必须要导入以上3个包,导包路径相当的复杂,啰嗦而且麻烦
7.2.2.写等待时间的代码也是复杂。步骤稍微有点多。
- element=WebDriverWait(driver,10).until(EC.presence_of_element_located((By.ID,‘kw’)))
- element.send_keys(‘123’)
原文链接:https://blog.csdn.net/Gscsd_T/article/details/102837046
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论