个人介绍
计算机: 熟练操作windows平台上的各类应用软件,了解FLASK框架
团队能力:具有丰富的团队组建与扩充经验和项目管理与协调经验
语言能力:熟悉c++ 熟练使用python,了解Linux,了解网络编程,熟悉JS,CSS,HTML,了解机器学习基本算法
会使用python进行数据可视化
爬虫方面:熟悉scrapy框架,了解其下载中间件以及pipelines管道机制
熟悉requests/urllib网络请求库的使用
熟悉selenium自动化框架,及其控制浏览器的基本使用
熟悉正则表达式、xpath表达式、bs4等数据提取语言
了解MySQL与MongoDB基本语句,并将爬取到的数据保存到数据库
了解基本反反爬手段:JS逆向,验证码识别,滑动验证码拖动
工作经历
2023-06-28 -2023-07-26中国联通爬虫实习生
协助团队成员进行数据爬取,分析与入库,学习JS逆向破解,独立爬取常见网站静态、动态数据,会基本反爬手段
教育经历
2020-07-15 - 2024-07-24天津大学通信工程本科
技能
通过scrapy框架搭建,可以爬取链家二手网站的房屋价格,地区以及多种数据,并将其保存到mongodb数据库中,熟练使用管道机制,熟练使用xpath表达式对数据的提取,熟悉常见反爬手段
计算机: 熟练操作windows平台上的各类应用软件,了解FLASK框架 团队能力:具有丰富的团队组建与扩充经验和项目管理与协调经验 语言能力:熟悉c++ 熟练使用python,了解Linux,了解网络编程,熟悉JS,CSS,HTML,了解机器学习基本算法 会使用python进行数据可视化 爬虫方面:熟悉scrapy框架,了解其下载中间件以及pipelines管道机制 熟悉requests/urllib网络请求库的使用 熟悉selenium自动化框架,及其控制浏览器的基本使用 熟悉正则表达式、xpath表达式、bs4等数据提取语言 了解MySQL与MongoDB基本语句,并将爬取到的数据保存到数据库 了解基本反反爬手段:JS逆向,验证码识别,滑动验证码拖动