职位信息智能可视化

我要开发同款
吕杨平2023年02月04日
268阅读
开发技术JavaScript
所属分类hadoop、Spark、nodejs

作品详情

我负责页面请求,职位信息获取和数据分析,后端代码,数据流更新,源数据起初共50w

项目具体要求如下(这是一个软件杯赛题,我们是拿了国一的作品)
1、数据采集

分析相关求职网站,采集“大数据”相关岗位的招聘数据,要求采集的数据分布合理,将采集数据源写入HDFS中。

2、岗位数据智能分析和可视化

使用大数据技术和并行计算框架等,对采集数据进行处理和智能分析,将分析结果保存到达梦数据库DM8,所有可视化数据均来自该数据库。

(1)使用大数据处理技术对职位信息进行清洗、去重等。

(2)从采集数据中提取求职岗位名称,如:大数据开发工程师、大数据运维工程师等,将结果保存到达梦数据库DM8。

(3)使用大数据处理技术从职位信息中提取专业技术术语,如:Hadoop、SparkSQL等,将结果保存到达梦数据库DM8。

(4)针对岗位信息进行多维度分析(如岗位名称、招聘总数量、平均薪资、最高薪资、最低薪资、专业技术术语等),将结果保存到达梦数据库DM8,按年和月,以图表形式显示。

(5)针对招聘数量进行多维度分析(如岗位、时间、专业技术术语、城市等),将结果保存到达梦数据库DM8,以图表形式显示。

(6)针对岗位薪资进行多维度分析(如岗位、时间、专业技术术语、城市等),将结果保存到达梦数据库DM8,以图表形式显示。

(7)统计招聘最热城市,显示排名前20的城市。

另外还实现的导出报告等内容。和简单的后台管理
这是参赛作品的阉割版,后端本来是spring 硬盘坏了 原本后端和数据分析啥的没了 重新写了个简单的node后台

组件均可交互,数据详情到区级,返回上级双击地图

之前在达梦启云平台有过后来关了,本地开箱使用

controller文件夹底下第一个是后台服务,第二个是可视化服务
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论