HTML5
Vue
MySQL
0
1
2
3
4
5
0
1
2
3
4
5
项目创作
南宁全职 · 300/日 · 6525/月信用正常
工作时间: 工作日08:30-19:00、周末12:00-18:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
使用Spark大数据技术，从HDFS读取采集到的数据源，对数据源进行处理和智能分析，对职位信息进行清洗、去重、去除异常值，数据标准化（如资薪分布：千/月、万/月、年薪、十二薪、十三薪等单位，统一单位：千/月），还需针对岗位进行多维度分析将结果保存到达梦数据库DM8。
工作经历
2022-07-15 -至今广西交通职业技术学院项目创作
在校实习，对学校所拿到的招标项目进行参与制作设计（IT类），配合学校的一些日常工作
教育经历
2020-10-07 - 2023-06-30广西交通职业技术学院大数据专科
技能
作品
使用Spark大数据技术，从HDFS读取采集到的数据源，对数据源进行处理和智能分析，对职位信息进行清洗、去重、去除异常值，数据标准化（如资薪分布：千/月、万/月、年薪、十二薪、十三薪等单位，统一单位：千/月），还需针对岗位进行多维度分析将结果保存到达梦数据库DM8。
02023-04-21 23:53
在Python中使用Request爬虫分析相关求职网站，采集“大数据”相关岗位的招聘数据，爬取的数据还需进一步使用Pandas进行预处理，确保数据分布合理，存入本地HDFS。招聘数据字段为：岗位名称、岗位需求数量、最高资薪、最低资薪、经验要求、学历要求、所在省份、公司名称等字段。
02023-04-21 23:54
（1）数据采集 在Python中使用Request爬虫分析相关求职网站，采集“大数据”相关岗位的招聘数据，爬取的数据还需进一步使用Pandas进行预处理，确保数据分布合理，存入本地HDFS。招聘数据字段为：岗位名称、岗位需求数量、最高资薪、最低资薪、经验要求、学历要求、所在省份、公司名称等字段。 （2）数据处理、分析 使用Spark大数据技术，从HDFS读取采集到的数据源，对数据源进行处理和智能分析，对职位信息进行清洗、去重、去除异常值，数据标准化（如资薪分布：千/月、万/月、年薪、十二薪、十三薪等单位，统一单位：千/月），还需针对岗位进行多维度分析将结果保存到达梦数据库DM8。 （3）可视化大屏展示 使用Vue+Echarts读取存入达梦数据DM8的数据，对数据进行对多维度大屏展示，展示内容包括：岗位需求数量排名、招聘总数量、平均资薪、最高资薪、最低资薪、专业技术术语、岗位需求量最热城市排行、岗位学历资薪分布情况等图表。
02023-04-21 23:55
