0
1
2
3
4
5
保密
成都全职 · 300/日 · 6525/月信用正常
工作时间: 工作日10:00-18:00、周末08:00-20:00工作地点:
远程
服务企业:
2家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
1. 有扎实的python基础，熟练使用列表推导式、生成式、字典推导式及很多高级函数
2. 了解python内置属性与元编程，日常编程中能使用内置属性在一定程度上优化代码
3. 拥有面向对象思想。注重函数的封住型、扩展性与可移植性，能手写装饰器优化代码结构
4. 掌握了python、python 爬虫、numpy、pandas、mysql、linux、c、等技术，以及ps软件的使用
5. 熟悉redis、MongoDB、Mysql、C/S、B/S、多线程、多进程、协程、线程安全和git的简单使用
1. 掌握requests, scrapy,scrapy_redis爬虫库，会selenium库的使用，及其服务端(server)的部署
2. 熟悉sql语法，服务器端爬虫部署
3. 掌握正则表达式、 xpath 、 css 等数据提取技术；
4. 装饰器，生成器，多线程，多进程等优化爬虫代码
5. 会简单的js逆向，滑动验证码破解，图片验证码识别
工作经历
2023-03-16 -2023-03-16保密保密
。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
教育经历
2023-03-16 - 2023-03-16成都信息工程大学保密本科
技能
作品
1. 批量下载X站视频，用到requests模块，多线程提升速度 。。。。。。。。。。。。。。。。。。。。。。。。。。 。。。。。。。。。。。。。。。。。。。。。。。。。。
02023-03-29 00:10
1. 数据的采集: scrapy_redis框架对主流门户网站进行数据采集 2. 数据反爬处理: 对个别门户网站的数据采集做一下逆向处理 3. 通用式采集: 对门户网站的数据进行融合,集成在scrapy框架里处理 4. 数据存储: 采用redis缓存+mysql长期存储 5. 服务端部署: 服务器采用Ubuntu22版本。docker容器,来进行主从模式的分布式数据采集。用到分布式爬虫管理框架Gerapy，便于程序的部署和管理。对一些特定的数据采集模块进行定时任务。 6. python端数据处理: 主要处理逻辑, 数据过滤。单机数据采集调试, 数据库之间的交互
02023-03-29 00:15
