使用Spark大数据技术,从HDFS读取采集到的数据源,对数据源进行处理和智能分析,对职位信息进行清洗、去重、去除异常值,数据标准化(如资薪分布:千/月、万/月、年薪、十二薪、十三薪等单位,统一单位:千/月),还需针对岗位进行多维度分析将结果保存到达梦数据库DM8。
评论