个人介绍
(1)负责大数据数据平台规划、设计。
(2)负责大数据平台研发核心框架和核心模块搭建,对架构的性能进行优化。
(3)负责离线数据仓库、实时数据仓库、数据湖建设。
(4)负责java web/ java EE 方向服务端开发。
工作经历
2019-08-20 -2023-01-30马上消费金融有限公司大数据架构师
(1)开发语言:JAVA、SCALA (2)分布式存储:hdfs、hudi、hive、hbase、doris、kafka、tidb、ftp、kudu等 (3)分布式计算:spark(core、sql、streaming)、flink、presto、yarn等
教育经历
2008-09-20 - 2012-09-20滨州学院计算机科学与技术本科
技能
金联储 web 端项目:互联网金融产品,为投资人提供理财服务。 金联储 app 端项目:web 端的客户端产品。 大宗财经 App 项目:煤炭、石油、天然气、有色金属市场财经信息
OLAP、OLTP 项目:针对钱站业务数据、日志数据、爬虫数据、三方数据进行实时、离线分析。 爬虫项目:爬取全国 35 个省市的社保、公积金信息。 闪电算项目:个人信用风险计算引擎,采用微服务方式,结合预处理思想、流式处理思想保证单个用户 平均计算时间在 2 秒以内,且服务具有良好的横向扩展性。
项目涉及 离线存储项目:收集理财端业务库数据、日志类数据汇总到Hive,分层清洗、合并、去重处理。 实时存储项目:实时收集业务库binlog日志数据,汇总到Phoenix,分层分主题解析。形成维表、事实表,供分析人员使用。 日志收集项目:收集业务系统埋点数据,汇总到Hive,分层清洗、合并、去重处理形成日志指标层。 OLAP项目:对离线存储分层数据处理形成离线指标。 OLTP项目:对实时存储分层数据处理形成实时指标。 报表项目:利用凡软系统形成日报、周报、月报、绩效报表、业绩报表等报表。 用户画像项目:重新定义画像维度,通过对风险识别能力、用户承担风险能力、用户对收益敏感程度角度分析用户数据,再通过营销手段去执行验证效果(正在进行中)。 舆情监控项目:在各个媒体平台上使用爬虫方式搜索正面、负面关键信息,对信息进行分析、汇总包装成产品对外提供(方案执行中)。 数据监控项目:统计集群、关键业务节点数据信息,进行数据汇总,提供监控支持,作为子系统存在。 技术涉及 开发语言:JAVA、SCALA 分布式存储:phoenix、hdfs、hbase、doris、 分布式计算:spark(core、sql、streaming)、hive、yarn、flink 项目管理涉及 项目管理工具:jira 文档分享:wiki 管理开发方式 敏捷开发:产品给出的需求进入backlog,迭代内开启必要的需求,需求完毕之后关闭迭代。 敏捷思想:价值驱动、快速迭代、自组织管理。 人的管理:团队文化、氛围、技术水平、做事方式等。