个人介绍
工作经历
2019-09-01 -2022-09-07北京大账房网络科技有限公司架构师
参与公司基于SpringCloud 的微服务化改造,负责ELK日志系统搭建; 负责财税平台个税一键申报系统的架构设计及机器人流程自动化(RPA)部分的核心代码实现; 负责基于此微服务平台的企业中心项目的架构设计、开发及企业数据整合; 负责基于此微服务平台的再生资源管理平台绿账本项目的架构设计及开发;
2019-01-01 -2019-07-31 糖豆兄弟(北京)科技有限公司架构师
系统基于Hbase及阿里TableStore大数据存储的爬虫系统的总体架构、阿里系电商平台爬虫系统的核心代码开发、技术团队组建及管理
2016-08-01 -2017-11-30北京中广创思文化传播有限公司高级后端工程师
负责基于熟人关***台服务端系统架构、核心代码开发,完成了即时通信(单聊和群聊)、通讯录、直播、视频会议、合照等功能的服务器端开发
教育经历
1996-09-01 - 2000-07-01北方民族大学计算机应用技术本科
技能
我和我们(I & WE)是中广创思基于熟人关系开发一套社交APP,旨在去掉*繁杂的好友关系,只为朋友圈中熟关系开发的一套社交平台,提供即时通信(单聊和群聊)、通讯录、瞬间、直播、视频会议、合照等服务。 将系统拆分成多个子系统各子系统,每个子系统通过分布式集群部署,从而达到根据用户量弹性扩容的目的。 服务器端整体采用 Jersey+Spring+hibernate 分层架构,向APP端提供Restful风格的接口 实现了基于XMPP协议的单聊和群聊的及时通讯模块,服务器端采用Openfire,好友关系通过WE应用服务来管理并映射到openfire,openfire仅作为一个消息通道以便于后期升级到集群; 直播部分前期采用Red5 作为推流、拉流服务器,后期切换到阿里云直播方案; 数据库方面根据需要用Mysql 和 MongoDB分别存储不同类型的数据; 使用Redis来缓存数据,减轻数据库压力; 使用Kafka实现模块之间的消息异步通知,通过发布订阅模式收发消息,各模块定制自己需要topic; 通过Thrift来实现各个独立部署的服务之间的RPC接口调用; 通过NFC文件共享实现了图像处理服务器和应用服务器之间的文件共享, 文件服务器独立部署,利用Nginx发布并缓存文件。
项目整体采用基于spring cloud的微服务架构,分为分布式爬虫系统、数据处理系统、数据分析系统和Saas平台几个独立的子系统,各子系统通过消息中间件kafka相互通信。 爬虫系统:爬虫系统分为淘宝爬虫、京东爬虫及小红书爬虫,根据数据来源相互独立,爬虫系统采用分布式架构,通过java 线程池实现多任务同时进行,单个爬虫每秒可处理2000+的http请求,数据根据需要直接写入阿里云tablestore库或者kafka消息系统。采用分布式架构保证了爬虫能够很方面的进行扩展。 数据处理系统:数据处理系统分为实时处理和离线处理,实时处理通过Flink读取kafka数据流实时计算商品的销量数据,离线处理根据业务特点通过Hive写查询语句对存储在hbase中的数据就行计算。 数据分析系统:一个独立的springboot项目,整合来自于数据库Hbase、tablestore及ES的数据,生成分析报表,并推送都前端mysql 库,用于saas平台展示。
相似推荐 换一批
研发主管
1000元/天
北京城市象限科技有限公司
技能:Python,JavaScript,SQLServer,MySQL,C#,系统架构,项目管理,postgres,jQuery,小程序
研发中心负责人
300元/天
北京融嘉合创科技有限公司
技能:Java,前端,系统架构,Hyperledger,K8S,MySQL,项目管理,jenkins,负载均衡,Docker
技术总监
800元/天
天津柚子科技有限公司
技能:PHP,C#,Java,Python,Delphi,Android,iOS,Vue,系统架构,项目管理
Team Lead
1000元/天
IBM
技能:C,Java,Python,系统架构,服务器运维,gRPC,GO语言