1.项目架构使用winform,cefsharp
2.功能点主要是爬取客户所需要的酒店数据,促销活动,日志数据操作,会员打折信息,促销时间等数据
3.主要抓取数据方式如下
①使用自带组件cef模拟登录,捕获cookie;
②通过httpclient调用网站对应的接口数据,传入捕获的cookie信息,以及模拟对应参数
③使用抓包工具,捕获当前网站请求的接口
④组装接口数据
⑤使用HtmlAgilityPack三方组件抓取页面元素,具体方式有xpath/class/jQuery等手段
⑥通过winform组件模拟按钮触发,捕获一些需要点击才能获取的数据
⑦编写监测程序,捕获对应网站的轮训接口,持续抓取数据,避免漏掉
⑧等等一系列抓取数据的手段,还要结合实际场景,保证合法合规