项目概述： 领导了广电总局的互联网视频监控项目，任务是从500多家重点监控视频网站中抓取节目信息，实现关键字搜索以发现违规节目。此外，还需要进行广泛的互联网搜索，找出所有网站信息，分析哪些网站是视频网站，是否经过认证，是否违法违规，是否境外网站等。
技术选择： 为了实现这一目标，我们选择了Heritrix作为网络抓取工具，Solr作为搜索引擎。我在Heritrix上进行了大量改造和性能提升，增加了分布式抓取功能，引入了Webdriver等技术，以便抓取网站中的动态内容，并提高了系统的稳定性。
模板配置模块： 为确保信息抓取的准确性，我在短短的三到四个月内开发了一套完善的模板配置模块。这个模块允许用户在页面上配置需要抓取的信息，具备动态发布、动态修改、智能对比模板是否过期以及安全监测等功能。该模块高度可扩展，可以适配于Heritrix、Nutch等开源抓取工具。即使是非编程人员也可以轻松地使用该工具来精确抓取任意网站中的信息。