爬虫
0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
爬虫工程师
上海全职 · 1000/日 · 21750/月信用正常
工作时间: 工作日19:00-24:00、周末00:00-24:00工作地点:
远程
服务企业:
12家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
我是程序员客栈的【开发者】，一名【二级方向】； 我毕业于【大学名称】，担任过【公司1】的【职位】，担任过【公司2】的【职位】； 负责过【项目1名称】，【项目2名称】，【项目3名称】的开发； 熟练使用【技术栈1】，【技术栈2】，【技术栈3】，【技术栈4】，【技术栈5】； 如果我能帮上您的忙，请点击“立即预约”或“发布需求”！
工作经历
2021-03-04 -2022-03-15上海华客信息科技有限公司爬虫工程师
1.主要负责技术部门分配的各种任务。 2. 对公司现存的爬虫框架的维护与扩展开发。 3. 对各种电商平台的商品数据抓取。
2020-01-02 -2021-03-01上海六界信息技术有限公司爬虫工程师
1. 主要负责公司交付的爬虫任务。 2. 参与公司底层数据系统的架构设计与开发。 3. 研究优化数据获取算法，提升系统的稳定性，可扩展性。 2. 快手直播弹幕礼物，网易CC弹幕礼物的抓取。 3. 负责php版本礼物系统平台的维护与开发。
教育经历
2013-09-01 - 2017-06-30宿州学院软件工程本科
技能
作品
1.爬取的是国外的Tik Tok短视频。 2.从app端通过抓包分析，找出请求url 3.化繁为简，通过翻译程序，把繁体字变为简体字。 4.除了短视频，还有图片的下载。
02023-04-24 12:03
1.自主研发开发全部功能。 2.主要难点就是文本内容不规范，需要大量正则表达式去匹配。 3.需要大量随即请求头，防止被发现。 4.需要将文本内容繁体字改为简体字。
02023-04-24 12:06
1.快手直播弹幕礼物抓取，由自己独立负责，采用的是ts语言，破解分析加密。 2.淘宝京东商品信息抓取，使用scrapy框架分布式爬取。 3.短视频，比如YouTube，Tik Tok，多线程抓取国外视频信息。 4.新闻游戏视频app微博用户数据爬取。
02023-04-24 12:07
