0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
全栈工程师
北京全职 · 500/日 · 10875/月信用正常
工作时间: 周末10:00-18:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
我是程序员客栈小白，全栈工程师。熟悉网页抓取原理及解析技术，了解基于cookie的登陆原理。熟悉Re,Xpath等网 页的抽取技术，熟悉常用的反爬虫策略，熟悉scrapy，熟悉各种反爬虫策略及解决办法, 熟悉APP信息的抓取。熟悉mysql数据库，熟练使用sql语句，掌握mongodb，redis等非关系性数据库。 熟悉大型非关系型数据库pika的使用，熟悉elasticsearch数据库，熟悉clickhouse列式数据库。熟悉linux平台开发，熟练使用常用的linux命令和shell编程，项目实现自动化。 能够独立开发项目，有独立开发经验，熟悉应用部署流程，有良好的编码风格。熟悉python后端fastapi、flask、tornado等框架。前端vue,react.
工作经历
2017-09-13 -至今麦盟全栈工程师
责网站数据的抓取，负责项目的自动化部署，负责解决爬虫遇到的图像识 别和验证码问题，负责APP端数据的抓取，负责公司的数据对接，负责DSP接 口设计与开发，负责项目的测试与优化，负责后端程序设计开发与维 护，负责品牌接口的对接。
教育经历
2012-09-01 - 2016-06-30郑州大学电子信息工程本科
品学兼优，多次获得奖学金，无违纪挂科记录。
技能
作品
应用技术： 1. redis实现任务的调度 2. 2.mysql数据的存储和表的设计 3. 使用fiddler试探app端的接口，使用postman工具模拟请求。 4.使用shell项目的自动化 项目职责： 1. 负责部分APP接口的试探和研究 2.负责设计并实现抓取APP数据的轻框架 3.使用shell监控异常处理异常 4.负责数据的清洗及入库
02024-03-07 10:16
1.mysql实现xpath配置化，项目工程化，通过配置xpath即可实现数据的抓取 2.缓存配置可选择mongo,pika 3.去重可选择文件或者bloomfilter 4.使用supervisor监控数据库的进程 5.使用redis-sentinel实现redis的主从切 项目职责： 1.负责整体框架中的下载器的编写 2.参与整体框架的设计 3.负责下载配置数据库的设计 4.负责监控数据的进程 5.负责mongo的搭建和读写分离配置 6.负责pika主从搭建，及读写分离
02024-03-07 10:14
1. fastapi + pony orm设计后端接口 2. celery实现异步任务调度 3. vue呈现前端页面实现前后端分离 项目职责： 1.负责后台fastapi接口设计与开发 2.负责前端vue程序的设计与开发 3.负责实现后台异步或定时任务的设计与开发 4. 负责后台数据的整理与统计 5.负责项目测试与优化
02024-03-07 10:09
