分析网站、网页、链接的特征挖掘，对指定的多个网站的网页进行网页抓取、数据提取, 负责特殊网页采集任务的分析及采集方案设计 项目经验 ※ 项目名称：房价网分布式信息采集 项目描述：这个项目是对房价网房产信息进行数据提取。 关键词：scrapy, scrapy-redis, XPath, re, json, redis, csv, mysql, User-Agent, IP, request 技术简介： 1、使用Python的爬虫框架scrapy框架 2、使用XPath（lxml）,正则（re）进行页面分析并提取提供给数据部门 3、使用scrapy-redis进行分布式爬取 4、使用json，CSV和redis进行信息存储 项目模块介绍： 1、spider模块：处理需要的数据和请求地址 2、中间件模块： 设置代理和User-Agent 3、管道模块：数据库交互并保存数据 职责描述：负责spider模块和中间件模块

项目描述：此项目是对安居客房价数据进行提取并提供给数据部门 关键词：scrapy, XPath,re, redis, MangoDB, User-Agent, IP, request 技术简介： 1、使用Python的爬虫框架scrapy框架 2、使用request进行代理ip信息采集 3、使用XPath（lxml）,正则（re）进行页面分析并提取数据 4、使用redis和MangoDB进行信息存储 职责描述： 负责该项目的各省市房价指数信息提取 ※项目名称：京东商品信息提取 项目描述：此项目是对客户提出的外包需求进行信息抓取 关键词：selenium, PhantomJS, request, XPath, json, csv, ajax 技术简介： 1、使用selenium模拟浏览器进行登录操作 2、使用pyautogui模拟鼠标对验证码进行滑动，解决验证码反扒 3、使用PhantomJS获取动态页面并触发click事件，获取下一页信息 4、使用request进行ajax请求 5、使用XPath（lxml）,正则（re）进行页面分析并提取数据 6、使用csv和json进行信息存储 职责描述： 负责该项目的各公司合作方数据提取 ※项目名称：股票数据可视化与分析系统 项目描述：本系统是在学校设计的毕业论文 关键词：flask、ajax、MySQL、pandas、pyecharts 技术简介： 1、使用flask搭建系统的web框架，协同团队完成系统的开发和测试工作 2、使用pandas对股票数据进行处理和分析，提取关键指标并进行可视化展示 3、通过ajax实现数据的动态加载，提高系统的响应速度和用户体验 4、使用MySQL进行数据的存储和查询，确保系统的数据准确性和稳定性 5、使用pyecharts进行数据的绘图，将股票数据以图表的形式展示给用户

分析网站、网页、链接的特征挖掘，对指定的多个网站的网页进行网页抓取、数据提取, 负责特殊网页采集任务的分析及采集方案设计 项目经验 ※ 项目名称：房价网分布式信息采集 项目描述：这个项目是对房价网房产信息进行数据提取。 关键词：scrapy, scrapy-redis, XPath, re, json, redis, csv, mysql, User-Agent, IP, request 技术简介： 1、使用Python的爬虫框架scrapy框架 2、使用XPath（lxml）,正则（re）进行页面分析并提取提供给数据部门 3、使用scrapy-redis进行分布式爬取 4、使用json，CSV和redis进行信息存储 项目模块介绍： 1、spider模块：处理需要的数据和请求地址 2、中间件模块： 设置代理和User-Agent 3、管道模块：数据库交互并保存数据 职责描述：负责spider模块和中间件模块