每日挂服务器后台定时爬取指定网页的数据，并根据算法筛选出有价值的信息。不少网页属于非静态页面，不能通过简单的stock协议进行http请求进行抓取数据，只能通过c#或python中的chromedrive来调用chrome浏览器进行页面解析后抓取数据，抓取后的数据会进行分析后存入数据库。
评论