2021-06-01 -至今北京新医强国技术有限公司大数据工程师

基于 hive 和 clickhouse 进行数仓搭建，将埋点日志等数据通过 sparkstreaming 消费 kafka 方式存 入 hive，同时将业务方报表数据存入 hive，构建原始数据层;之后进行数据清洗，剔除脏数据等， 存入数据明细层;根据业务需求进行报表整合，生成数据集合层;之后按照业务方具体要求，生成应用层数据并存入clickhouse。 基于现有数据为公司业务方提供接口服务

2020-03-01 -2021-02-01深圳市道通合创软件开发有限公司软件开发工程师

项目目的是为了把公司售卖的汽车诊断或检测类产品对汽车产生的诊断报告进行收集，对收集的数据 进行离线数据分析，生成汽车不同零部件的指标数据，根据指标数据对不同零部件打标签，以汽车维 度对标签进行整合，生成相应的车辆画像，为后续车主提供维修方面的建议。 1. 负责数据的采集及清洗，将清洗后数据存入dynamodb数据库。 2. 对存入dynamodb数据进行离线数据分析，生成汽车不同零部件数据。 3. 对存入dynamodb数据直接写restfulapi接口的方式进行前端页面的展示

2019-03-01 -2020-03-01深圳力维智联技术有限公司软件开发工程师

算子平台通过把行业数据处理流程中的常用操作进行功能模块化，接口规范化，UI 可视化从而屏蔽 了底层技术细节，使得对业务人员可以聚焦于业务逻辑实现。 • 每个算子实现独立的数据处理逻辑。 • 算子之间通过统一的接口来彼此通信。 • 算子构成有向无环图，像流水线一样把原始数据加工成为知识。 • 算子平台统一负责算子流的编译，执行，部署。而无需业务开发人员考虑。 算子平台框架提供了一套完整的架构来支持算子的设置，编排，运行，结果获取。算子平台提供的核 心功能是由算子提供的。算子是以一种可插拔的模块化方式集成进入算子平台的。 算子平台分为 Web 前台，Web 后台，算子引擎客户端，算子引擎四部分。 1. 参与模型编写，将redis数据库、协同过滤算法、填充列算子、生成列算子等封装成模型。 2. 使用springboot，完成web后端开发，为前端提供所需要的接口。实现了算子流组建、算子流 的同步/异步执行、算子流从算子平台导出到用户桌面和将算子流从用户桌面导入到算子平台并保 存到 mongodb 中等功能。 3. 为了提高算子流组建过程中的容错性，提供基于mongodb的回退和前滚功能。同

该用户选择隐藏教育经历信息，如需查看详细信息，可点击右上角“和TA聊一聊”查看