2022-03-01 -2025-04-01江苏润和软件股份有限公司上海分公司大数据架构师 已认证

在上海资信CCVS项目的第三阶段，我担任大数据架构师一职，负责整个项目的开发和运维工作。项目的主要技术架构涵盖了Hadoop生态技术，包括CDH、Hive、Kerberos等，以及微服务框架SpringBoot和分布式组件Kafka、Zookeeper、Redis等。具体工作包括使用CDH集群的Sqoop从NFCS抽取数据到Hive离线库，通过Flink读取HDFS并运行出特征变量，将其存储到HBase，并对外提供实时服务接口。同时，对接口调用的请求和响应进行存储到Hive，以便生成报表。为解决千兆网络瓶颈问题，进行了万兆网升级，涉及整个CCVS系统集群、组件和应用的IP修改切换，演练环境的搭建，CDH搭建，元数据的双主热备搭建，虚拟IP的自动监控切换，以及Redis三主六从集群的搭建与维护，KDC主从的搭建，CDH集成Kerberos的安全管理。在攻克技术难点后，设计了Oozie调度Flink的方案。此外，我还负责生产环境CCVS系统的健康运行，进行周期性的健康检查，并对季度的资源使用情况进行分析。为了提高效率，开发并维护了日常工作工具，协助业务人员减轻重复繁琐的手动工作。 参与采用

2017-01-01 -2020-10-01 上海方付通商务服务有限公司高级后端工程师

公司主要与银行合作，负责上海研发中心大数据平台的日常开发与维护，同时会到银行客户现场开发贷款系统与维护工作。 2017年大数据平台产出项目：客户画像，商户画像，报表查询 2018年出差：金农信E贷（安徽省联社贷款审批项目）

2015-12-01 -2016-12-01上海灵码网络科技有限公司Hadoop开发工程师

从事大数据任务的开发，调试，部署工作 2015/12-2016/12 比特盾端点防护系统 所属公司： 上海灵码网络科技有限公司 项目描述： 比特盾系统可帮助企业客户发现那些已经绕过自身安全防护体系的APT攻击、免杀木马、新型木马、内网渗透等潜在的安全威胁，并对受害节点和攻击源头进行精确定位，实现对入侵途径的回溯。 责任描述： 云端数据接收，分析与存储，发现恶意行为，向客户端下发查杀指令

2014-09-01 -2015-12-01上海瀚之友信息技术服务有限公司高级软件工程师

主要从事公司各业务线的日志抓取，清洗，分析客户兴趣喜好，使用基于协同过滤的推荐引擎进行基于用户维度和商品维度的推荐，从而为客户定制个性化服务与喜好推荐。 2015/2-2015/12 业务线日志分析系统 所属公司： 上海瀚之友信息技术服务有限公司 项目描述： Win7+SecureCRT+WinSCP+HUE+eclipse(开发工具)公司事业部门各业务线每天产生大量用户下单浏览行为日志，为了给客户提供更好的服务与体验和发现潜力客户，使用日志分析系统分析用户行为从而知道客户的兴趣喜好，给客户定制个性化服务推荐一些喜爱的商品，为运营部门跟踪客户提供有力支持。 责任描述： 各业务线的日志抓取，清洗，分析客户兴趣喜好，使用基于协同过滤的推荐引擎进行基于用户维度和商品维度的推荐，从而为客户定制个性化服务与喜好推荐。 2014/9-2015/2 任务调度系统 所属公司： 上海瀚之友信息技术服务有限公司 项目描述： 本项目的目的在于提供一种能够实时监控任务执行、动态修改执行规则的基于客户端、服务器系统的分布式定时任务调度系统。 责任描述： 1，负责进行任务信息的配置，配置完成后把信息数据保存进数

2013-08-01 -2014-09-01北京迪威特科技有限公司软件工程师

主要从事客户业务数据指标提取，使用amcharts展现图表和百度地图开发。 2013/8-2014/9 信达车险理赔系统 所属公司： 北京迪威特科技有限公司 项目描述： Win7+MyEclipse10.0+Oracle+Tomcat6.0(开发工具)理赔系统是车险公司为客户入车险，和车险后续处理的一个自动化处理平台。 责任描述： 百度地图智能显示查勘定损员实时位置和车事故地点上传经纬度信息到系统，分析大堂话务中心报案，入保，话务率使用图标展现。

2011-09-01 - 2014-07-01焦作大学软件工程大专已认证

2011级焦作大学信息工程学院软件三班