该项目使用python爬取了boss直聘的大数据岗位信息,使用java对数据进行简单处理,然后在Hadoop集群上,将运用各种数据分析工具和技术,如Mysql、Hive、Sqoop等,对预处理后的数据进行深入挖掘和分析。通过分析职位描述、职位要求等文本数据,提取关键信息,如技能需求、经验要求等,并进行量化分析和比较。最后使用spring将数据可视化
评论