比价平台(2017.12-2018.06)

我要开发同款
丁龙2023年04月20日
124阅读
所属分类大数据

作品详情

项目名称:比价平台(2017.12-2018.06)
开发环境:Eclipse、Tomcat7、JDK1.7
主要技术:Httpclient、Htmlcleaner、Xpath、Hbase、Redis、Solr、SpringMvc、jquery、Echarts、Zookeeper、Ganglia
项目介绍:
该项目主要是抓取京东、易迅、国美、苏宁等电商网站的商品,获取商品的标题、价格、规格参数等信息,在前台界面为用户提供商品搜索查询,以及商品比价等功能。
项目主要分为6个模块:数据下载层、数据解析层、数据存储层、数据处理层、数据展现层、系统监控层。
项目问题:ip被封,网站页面结构变动。
职责描述:
1、负责商城的数据爬取收集,从电商页面,解析出商品的明细信息,商品的价格,商品的图片等信息
2、负责系统的监控,利用zookeeper对集群中的各个节点进行监控,当其中的有节点宕机了,会用邮件通知运维人员进行相应的处理
3、负责将获取来的数据信息存放到hbase数据库中,并且对数据建立索引等操作
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论