hello_world_7
全职 · 500/日  ·  10875/月
工作时间: 工作日20:00-23:00、周末08:00-18:00工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

我是程序员客栈的 7,一名Java开发工程师;我毕业于北京交通大学,担任过汇桔Java开发工程师,以及河北通信建设有限公司软件工程师;负责过智能合同管理系统电信业务支持系统工单管理平台等项目的开发;熟练使用JavaSpring BootMySQLRedisDocker等技术栈。如果我能帮上您的忙,请点击“立即预约”或“发布需求”!

工作经历

  • 2015-12-01 -2018-06-30奥鹏远程教育中心有限公司Java开发工程师

    项目描述:竞品分析系统通过数据分析行业内的相同业务,提取产品热门类目和热点数据,为优化类目商品的价格和优惠策略提供支持,并帮助判断市场趋势,从而提升产品竞争力。 技术描述:项目采用 WebMagic、Spring Boot、MyBatis、Zookeeper、Redis、MySQL、Dubbo 等技术。具体实现包括: 确定目标平台的数据请求频率,伪装 UserAgent 及代理池以规避反爬; 通过 PhantomJS 无界面浏览器解析含验证码的页面,利用 JavaScript 通过验证; 利用 Redis 和 ZooKeeper 实现系统监控及分布式抓取,采用布隆过滤器筛选已抓取 URL; 使用 ZooKeeper 通知功能在抓取后自动通知统计服务生成统计数据。 责任描述:主导架构设计,包括框架选型和数据库设计,扩展 WebMagic 框架以支持分布式抓取,大幅提升效率;通过对目标平台的反爬策略分析,提高数据抓取准确性;解决验证码和数据接口隐藏等难题;通过 Groovy 脚本动态配置抓取策略,减轻网址更新导致的重复发版压力;分析并展示同比、环比数据,生成可视化数据图表。 项目收获

教育经历

  • 2016-06-01 - 2019-09-01北京交通大学计算机科学与技术本科

技能

Docker
K8S
0
1
2
3
4
5
0
1
2
3
4
5
更新于: 11-11 浏览: 31