首先使用python的senlenium+xpath爬取安居客的北京租房信息数据,然后使用pandas对爬取的数据进行预处理,然后使用pymysql将数据写入mysql以及hadoop大数据平台。然后使用sparksql对数据进行数据分析,将分析的指标存入mysql,然后利用flask+echares从mysql里面抽取数据进行数据分析的可视化
评论