个人介绍
作为一名深耕IT行业10年的老猿,后端Java开发,以及大数据开发是我的强项,
曾担任过某Top1互联网信贷公司数据部门数据工程组小组长,承担过数据赋能与数据标签类系统开发管理工作;
主要技能偏JVM系语言开发,熟练掌握后端主流开发框架如SpringBoot等,此外尤为擅长大数据开发流程与各类数据开发挖掘分析工具如Hadoop,Spark,Python等;另外我对爬虫也较为熟悉,主导过某互联网求职类网站数据的竞品数据爬取分析工作。
10年来不断突破自我技术瓶颈,永远相信没有技术解决不了的问题。如果你有棘手问题,请放心交给我处理,谢谢!
工作经历
和TA聊聊APP扫码和程序员直接沟通
该用户选择隐藏工作经历信息,如需查看详细信息,可点击右上角“和TA聊一聊”查看
教育经历
2016-03-01 - 2018-03-01四川大学软件硕士已认证
2008-09-01 - 2012-07-01潍坊学院园林本科已认证
技能
该系统是为对外输出数据产品而开发建设的系统,通过承接各BU的各类数字化需求,主要以接口、MQ推数、数据文件生成并下载等形式对外输出数据产品,同时也对接了AI平台模型的数据打标评分能力,拓展了数据在推荐类业务场景应用。 系统主要分为潜客推荐,客户画像,客户经营,客户查询等模块,作为该系统的数据应用开发负责人,我负责了以下工作: 1.技术选型、架构设计、接口设计开发; 2.新需求对接,需求分析,性能评估,风险排查,制定异常监控方案并实施; 3.表结构设计,Code Review,生成问题排查,制定开发计划并推动实施。 项目成果: 借助CDP大数据平台以及Hive离线数仓,计算出销售等部门进行业务分析所需的流量以及业务统计指标数据,通过搭建数据应用服务系统进行数仓数据接入,依托该系统给业务部门提供了丰富的数据查询服务,协助销售等部门顺利完成了22年挖掘潜在客户价值的目标。
该系统意在为广大投资理财人群提供智能化的服务。这款理财机器人不仅能够实时解答用户的各种理财疑问,还能提供详尽的产品介绍和推荐优质的理财产品。通过结合自然语言处理技术,机器人能够准确理解用户需求,并给予个性化的理财建议。 该系统主要分为路由模块,语义解析模块,产品管理模块,资产管理模块,卡片管理模块。 我主要负责卡片管理模块的后端开发工作,该模块主要通过动态化的配置卡片实现了askbob问答页面的高灵活性调整以及发布时效。 前端采用vue框架,后端使用springcloud框架,数据存储采用mysql,Es,项目整体以微服务方式部署,配置管理采用的是nacos,为方便前端快速展示文件,使用nas进行文件存储。
项目介绍:该系统为更好地将数据以产品化形式为其他BU赋能而建,系统分前台、后台两个组件,前台面向业务、 产品或运营人员开放,具备全生命周期管理各类标签、各种标签客群功能,同时也为运营部门提供数据分析功能, 后台主要负责以标签类查询接口为主对外提供服务。 技术栈:计算:Hive、Spark、Flink,大数据调度:Azkaban,消息队列:Kafka, 应用调度:分布式调度平台,存储:ES,后端:SpringBoot、MyBatis、PG 主要流程:基于Hadoop平台上的数仓,通过Azkaban平台调度各层Hive Job,Hive离线数仓负责计算各维度 离线标签后,通过SparkJob推送到ES集群;通过FlinkCDC方式计算实时标签并更新到ES,对于组合标签通过 分布式定时任务进行预计算并缓存到Redis,其他业务系统通过后台接口服务查询标签使用。 负责内容: 1.标签系统平台整体规划设计、表结构设计、前台接口设计开发; 2.后台标签查询类接口设计开发,制定性能优化方案,确保标签类服务性能达标,服务稳定; 3.对接不同业务BU标签需求,分析需求,并进行标签开发,日常代码review,定制开发计划等。