根据网站数据源的电商数据进行分析处理，并将电商数据由mysql转化至Hadoop中，在hdfs阶段搭建ODS层DW层APP层等数据仓库层级，根据需求处理数据，最后回写MySQL服务器中，并交由帆软BI进行可视化。

对于全国水雨情网站分析其页面逻辑，发现水道站及水库站，水流量等信息均在json文件中存在，即对于过去的历史数据直接请求json文件即可，对于实时信息，可于每天早上八点左右请求上一天的数据，这是因为部分水库的流量信息更新有延迟。对于数据分析，采用python的pandas及numpy等库进行分析，使用pyecharts进行可视化处理。

对于爱企查网站，部分信息是公开的，但是作为百度旗下的子产品，爱企查网站拥有百度安全验证、封禁IP等人机识别算法，批量爬取的情况下，极容易被封IP。对于封禁IP设置，可设置代理IP来访问网站，百度安全验证暂时无法绕过，解决方法为修改selenium浏览器头信息，降低百度安全验证的识别效率。