NCrawler Web爬虫工具开源项目

NCrawler是一个WebCrawler工具，它可以让开发人员很轻松的发展出具有WebCrawler能力的应用程式，并且具有可以延展的能力，让开发人员可以扩充它的功能，以支援其他类型的资源（例如PDF/Word/Excel等档案或其他资料来源）。NCrawler使用多执行绪（Multi-threading）模式针对网路资源进行探索，并且会依照给定的步骤来处理抓取到的资源，然后依给定的资源来活动（像是写入资料库或是撷取部份资料等等）。