包含的模块： 数据爬取和序列化模块，用于抓取网页上的公开数据，并序列化为json文件，使用Python的Scrapy框架开发； 抓取失败报警模块，当由于网络或其它原因抓取失败时，向指定*发送邮件，使用Python的smtp模块开发； 定时执行模块，定时驱动程序执行，使用Python的apischedule第三方模块开发。 解决的难点： 网页公开数据的接口和解析方法的提取，通过抓包工具和浏览器检查工具。 对爬取过程中各种异常的捕捉和相应的标记处理。