个人介绍
工作经历
2020-05-01 -2022-12-01深圳市易简空间技术有限公司爬虫工程师
1、金融部门:负责全球财报数据,舆情数据,原材料,专利 or 资质等数据的采集和清洗入库以及货运船只监控; 2、不良资产:负责企业工商数据,法律风险,经营风险,周边业态,法拍数据; 3、遥感部门:国内外卫星地图下载、碎片拼接、图像经纬度写入和纠正; 4、配合团队完成自动化数据采集,完成指定经纬度范围卫星图下载和成像; 5、配合分析师完成模型因子的标签工作。 备注: 编程语言:python 日常采集数据过程中,运用到 kafaka 消息队列,js 逆向,加密参数破解
2019-07-01 -2020-05-01深圳市京弘全智能科技股份有限公司爬虫工程师
公司主要业务运营多商户商城 工作内容如下: 1、协助招商部门采集素材数据,协助运营部采集多平台商品销售数据,评论数据等; 2、负责后台自动化功能的开发,实现批量导入数据,查询数据,日常报表处理等; 3、负责平台投放竞价排名价格的控制和监控; 4、配合团队完成刷单功能
2015-10-01 -2018-03-01深圳嘟嘟智能科技有限公司爬虫工程师
1、python 进行多平台信息(淘宝,京东,亚马逊,论坛等)的信息抓取和分析; 2、参与实现分布式爬虫的部署; 3、数据的去重、清洗入库; 4、django 框架开发接口
教育经历
2006-09-01 - 2009-07-01私立华联学院计算机网络技术专科
技能
项目主要为抢票功能的实现,功能模块分为:1.账号登录,2.日期选定和座位数据的获取,3.座位选定,4.表单信息和付款方式提交,5.订单生成 技术实现: 1. 账号登录实现,获取实时cookies,获取登录后token的秘钥key; 2. 秘钥key的加密base64; 3. js逆向解析生成token参数; 4. fiddler抓包,传参的所需参数的寻找和拼接,以及URL编码编译; 5. HTML和XML的解析,获取数据。 6.js逆向解决表单的提交所需要的用户身份key的生成 7.验证码识别 技术难点: 1、登录需要破解 token 的生成; 2、信息提交和订单生成需要破解身份 key 的生成; 3、验证码识别
相似推荐 换一批
python后端
600元/天
深圳前海中智人工智能投资有限公司
技能:Python,python django,python(爬虫),Linux,MySQL
技术leader
1000元/天
达而观信息科技(上海)有限公司
技能:Python,HTML、CSS、JavaScript、Jquery、Vue,Linux,git,mysql、mongodb、redis,Flask、Django,Nginx、uWSGI 、Gunicorn,celery,ElasticSearch,Scrapy、Scrapy-Redis,Matplotlib、Numpy、Pandas、Scikit-Learn,Docker
高级云计算运维开发工程师
600元/天
网宿科技
技能:ansible-playbook,Python,Shell,Docker,jenkins
Python后端工程师
1000元/天
深圳呗佬智能有限公司
技能:Java,JavaScript,Python