proginn2240374071
全职 · 300/日  ·  6525/月
工作时间: 工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

我是yan

在校大学生,学习过Python;对Python中8种数据类型的精通使用;Python匿名函数、列表推导式、装饰器的熟练使用;Python中re、requests、beautifulSoup等库的熟练使用;Python爬虫框架Scrapy的熟练使用;Python爬虫伪装中代理IP、UserAgent的熟练使用;Python与scrapyt-redis分布式爬虫的基本使用;Python操作Mysql数据库增删改查;Python操作MongoDB数据库增删改查;Python建立数据库连接池提高效率

工作经历

  • 2023-02-01 -2023-02-28

    Python中8种数据类型的精通使用;Python匿名函数、列表推导式、装饰器的熟练使用;Python中re、requests、beautifulSoup等库的熟练使用;Python爬虫框架Scrapy的熟练使用;Python爬虫伪装中代理IP、UserAgent的熟练使用;Python与scrapyt-redis分布式爬虫的基本使用;Python操作Mysql数据库增删改查;Python操作MongoDB数据库增删改查;Python建立数据库连接池提高效率

教育经历

  • 2021-09-01 - 广西工商职业技术学院全媒体广告策划与营销专科

技能

0
1
2
3
4
5
作品
获取B站视频

用到了requests库;用来发送请求获取响应,转换数据类型并利用xpath获取到对应信息,再对影响视频合成的特殊字符进行处理;将视频和音频合在一起

0
2023-03-31 14:05
爬取汽车之家网站信息

1).对'https://k.autohome.com.cn/suva1/'网址发起请求,获取响应 2).转换格式之后,用xpath解析车名与评分,获取该数据 3).xpath语法解析详情页,获取到详情页的url(url不完整),并对url进行拼接,再对详情页发起请求 响应数据 4).通过xpath获取到特点,获取到的特点数据中带有空格符号,需进行删除操作; 5).因价格也在详情页当中,可以直接利用xpath语法获取到价格的数据 6).数据获取完成;就要把数据写入到表格当中,先创建对象,再把数据写入表格

0
2023-03-31 14:07
分布式爬虫爬取豆瓣top250

首先爬取首页后通过xpath匹配每个的信息块的span后构建请求,并通过scrapy.Request发送请求,用xpath匹配需要的信息。 同时循环创建下一页请求的form表单,通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中, 最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。

0
2023-03-31 14:09
更新于: 2023-02-28 浏览: 156