个人介绍
工作经历
2023-12-01 -至今长沙知能科技java主管已认证
负责平台部的后端组日常工作管理,对后端开发人家进行周期性的技术培训,负责后端组的开发规范编写。攻坚项目难点技术,指导新员工。
2022-10-01 -2023-11-30湖南砺石科技有限公司技术经理已认证
客户群体为国网电力,从事总部统推的pms项目开发,本人作为技术经理,进入项目组带领10人左右的团队驻场开发。解决项目中的技术难点,技术攻坚,合理安排组内员工的开发任务,协助项目经理保质保量完成项目交付。
2019-11-01 -2022-09-01北京闻煊科技有限公司研发组长已认证
1、负责项目的需求调研、技术预研、技术选型与人员管理,独自带领15人左右的研发团队; 2、负责系统核心功能架构和实现; 3、对公司内的大数据平台进行扩建以及维护; 4、管理公司云上和本地的服务器资源以及系统运维,针对项目上线进行流程管控; 5、解决项目中的重难点技术问题和与各部门建立有效的沟通协作; 6、制定研发计划,以及提前做出风险评估; 7、负责与客户建立有效的沟通交流机制。实现原理设计模式高可用性服务器配置基础扎实;
2017-10-01 -2019-11-01国防科技大学-智能科学学校研发组长已认证
负责部门的所有 javaweb 和大数据项目的人员调度及任务分配,主要工作包括: 1、基于 HDP+ambari、ELK、neo4j大数据基础平台分布式集群搭建; 2、集群的性能调优、ELK 搜索引擎和数据可视化开发; 3、esxi6.5+vCenter 虚拟化平台维护; 4、负责解决普通开发人员工作中遇到技术难点; 5、 负责关键技术问题解决,以及新项目的技术选型; 6、负责项目的需求调研与分析,以及新项目的评估工作。
教育经历
2008-09-01 - 2012-06-01邵阳学院计算机科学与技术本科
大一学期作为大学生入伍参军,后在部队学习自动化专业。
资质认证
技能
对Https请求采用RSA+AES的数据加密 发送方: 1、生成签名:使用MD5对发送的数据进行摘要生成;然后使用RSA公钥对md5数据做加密生成签名signature; 2、加密请求报文:动态生成一个AES秘钥key;使用密钥对请求报文进行加密生成body 3、加密AES秘钥:用Base64工具将AES生成的key进行转码,然后使用RSA公钥对转码后的字符串进行加密生成ARSKeySecert 4、加上时间戳; 接收方: 1、请求的真实性校验:时间小于5分钟以内; 2、获取AESkey:请请求头中获取ARSKeySecert;然后使用RSA秘钥解密 3、获取body:从报文中获取body,然后使用上一步得到的AESKey对body进行解密; 4、验签:使用md5摘要算法对body进行md5生成;然后获取signature,使用RSA秘钥对signature进行解密,并比较两个签名是否一致
1、稿件和状态信息封装在json/xml文件中,素材是小图片(2M以内)转BASE64码封装在json/xml中,大视频、大图片和大文件(超过2M)独立传输,json/xml中只关联稿件(采用分布式ID,保证生成ID唯一性)。(百度分布式UID,Twitter SnowFlake雪花算法分布式ID) 2、通过Https协议进入信息外网DMZ,再由融媒体同步服务器通过SQL透传至内网数据库。独立传输的大文件、视频、大图片(涉及到图片处理放在文件服务中)临时存储在外网非结构化融合平台,外网系统数据库旁路连接,存储稿件数据副本,以便在发生异常时可以读取副本数据进行重试,此外也作为向内网同步数据的缓冲区。 3、发起稿件保存操作过程中,保存同步状态为2个,分为稿件内容/稿件素材2中同步状态,成功1、失败0,稿件内容同步成功为必须条件,否则无法保存稿件内容。 4、素材同步过程中如果失败,在另一方打开稿件时,没有引用到相关素材,需要一个默认标志,用户通过点击加载方式进行及时加载。如多次用户加载无法成功,弹出提示信息引导用户在本端编辑或通过人工方式进行大素材拷贝。 针对每日无法同步成功的素材,定期定时夜里进行素材数据同步
项目目标 在力所能及的情况下,最大限度的提高 Web爬虫开发人员的生产力,爬虫框架里的一股清流 主要功能 基于webcollector开发的完整的分布式爬虫框架,该框架特点如下: 1、完全分布式:由管理端(Admin)、调度端(Master)和多个Worker组成,各个组件通过Http协议通信。 2、完全配置化:通过Admin端的页面配置规则就可以爬取任何网站的数据,当然不同网站的难度不一样,会有不同的组件分别针对处理登录、验证码、封IP等问题。 3、可扩展的任务队列:任务队列由Redis实现,根据任务的状态有四种不同的任务队列:初始、执行中、成功、失败。您也可以扩展不同的任务调度算法,默认是公平调度。 4、可定义持久化方式:爬取结果中,属性数据默认持久化到MonogoDB,当然您可以扩展更多的存储类型。 5、稳定和容错:任何一个爬虫任务都会重试和记录,只有任务真正成功了才会被移到成功队列,失败会有失败的原因描述。 技术选型 ● 核心框架:webcollector Spring boot ● 任务调度:Spring + Quartz ● 持久层框架:Spring Jpa ● 数据库&连接池:Alibaba Druid MongoDB MySql ● 缓存框架:Redis Ehcache ● 日志管理:SLF4J、Log4j2 ● 前端框架: Bootstrap + Jquary 开发环境配置: 1.安装JDK8 2.安装mysql数据库,用作存储解析规则等数据,需要创建一个“crawler”的数据库实例,并执行quartz相关的数据库脚本:quartz.sql(见发布包或源码)。 3.安装redis 4.安装mongoDB用于存放结果数据 5.安装ftp服务器软件ftpserver(可选,用于存放下载图片)