我是BeastOrange,一名中高级爬虫工程师,还在不断学习中…
熟练使用线程池,多线程,异步,Selenium,Scrapy,Feapder等技术...
交付快、代码质量高、运行速度快、健壮性强...
支持数据分析、词频统计、词云图...
如果我能帮上您的忙,请点击“立即预约”或“发布需求”!

本项目完全独立开发。使用selenium自动化技术进行苏宁易购数据的抓取,可以保存在MySQL和MongoDB。并且对selenium的option进行设置,禁止图片加载,提高抓取速度,减少负荷。
02024-04-17 18:41

本项目完全独立开发。使用selenium自动化技术进行苏宁易购数据的抓取,可以保存在MySQL和MongoDB。并且对selenium的option进行设置,禁止图片加载,提高抓取速度,减少负荷。
02024-04-17 18:40

本项目完全独立开发完成。
通过asyncio、aiohttp获取数据并且提升代码效率。
7211张图片在35s内完成获取。
图片保存在文件夹内。
02024-04-17 17:28