0
1
2
3
4
5
我是程序员客栈的 耳语,一名数据工程师;
我毕业与 南昌工学院,
负责过 图书网站数据抓取,视频网站数据抓取
熟练使用 python,网络爬虫,json
如果我能帮上您的忙,请点击“立即预约”或“发布需求”
2023-06-06 -2024-06-09猪八戒数据分析
对从网页中提取的数据进行处理和清洗,通常使用数据处理库(如Pandas)进行数据分析或者使用正则表达式(re模块)进行信息提取。 将处理后的数据存储到数据库(如MySQL、MongoDB)或者文件(如JSON、CSV)中,用于后续分析或展示。 对爬取的数据进行清洗、去重、格式化等操作,使其适合进一步的数据分析和处理。 使用分布式框架(如Scrapy-Redis)进行分布式爬取,提高爬取效率和速度,同时减轻单个服务器的负载。
2023-06-09 - 南昌工学院大数据科学与大数据技术本科已认证