在Python中使用Request爬虫分析相关求职网站,采集“大数据”相关岗位的招聘数据,爬取的数据还需进一步使用Pandas进行预处理,确保数据分布合理,存入本地HDFS。招聘数据字段为:岗位名称、岗位需求数量、最高资薪、最低资薪、经验要求、学历要求、所在省份、公司名称等字段。
评论