个人介绍
我是程序员客栈的【廿六】,一名【java开发工程师】; 我毕业于【武汉科技大学】,担任过【火花思维】的【java研发】,担任过【明略数据】的【大数据产品研发】; 负责过【数据工程】,【产业发展大数据】的开发; 熟练使用【java】,【springboot】,【spring cloud】,【大数据生态】,【mysql/redis】; 如果我能帮上您的忙,请点击“立即预约”或“发布需求”!
工作经历
2021-05-20 -至今火花思维java研发
主要负责数仓应用的开发,包括数据工厂、mdp元数据管理、cj埋点管理,mimir多维分析
2018-05-17 -2021-05-20北京明略大数据产品研发
主要负责大数据产品研发,包括cona数据治理工具,产业发展大数据平台,大数据治理管控平台
2015-10-11 -2018-03-01北京君石控股集团数据工程师
主要参与公司大数据平台运维,数仓任务学习运维,数仓应用开发,二师兄风控平台开发及项目实施
教育经历
2011-09-01 - 2015-06-30武汉科技大学计算机科学与技术本科
技能
CONA 是一款基于结构化数据量身打造,针对知识图谱构建的,分布式环境 下的数据治理产品。通过可视化界面,可以完成知识图谱构建与常规数据治理操 作。CONA 具有强大而完备的数据清洗与融合功能、多值与溯源功能。基于嵌入 式的任务调度器,可以让所有的数据治理工作得到自动、有序、高效地执行。同 时,对错综复杂的知识图谱构建中的人工错误,提供了一键错误验证机制。 软件架构:flume+kafka+hadoop+sparkstreaming+hive+hbase+SSM 本人职责: 数据对接:对数据源进行对接,导入导出数据源。 数据融合:对数据进行融合处理(去重,多值等)。 数据可视化:优化现有 cona 界面功能。 持续不断的优化:根据客户需求进行及时的产品功能优化
产业发展大数据平台面向产业发展、经济运行、园区服务等管理部门,立足 产业经济发展需求,基于多源产业相关数据,通过大数据分析及知识图谱等技术, 实现产业到企业的落点落图、产业-企业全景图谱构建、产业多维研判模型构建, 为产业的规划、招商、建设、监管、服务全环节提供专业应用支撑。 软件架构:爬虫+kafka+hive+hbase+es+redis+mybatis+springboot 本人职责: 数据处理:负责对一企一策部分的企业图谱库数据做清洗入库工作。 企业关系构建:产业图谱部分关系抽取入库。 索引构建:根据业务检索需求将处理完的数据构建索引。 业务交互:一企一策、产业图谱需求是实现
离线计算工厂作为一个面向数据治理人员和数据分析师的数据处理工具,旨 在通过统一处理流程,规范化、可视化进行数据治理,降低使用门槛,提高数据 处理效率;主要分为任务开发、运维中心、控制台,数据地图四个模块,分别是做 hsql 的开 发,数据集成,spark jar 等任务开发;任务的常规运维,上下线等;项目、资源、 权限、数据源的管理等功能。是的整个数据处理链路从接入到输出形成一个完整的闭环。 软件架构:springboot+spring cloud+redis+mybatis plus+hive+airflow 本人职责: 数据源管理:接入 mysql、hive、doris 等数据源及元数据管理。 任务开发应用层:到目前为止,开发了 hsql、数据集成 mysql->hive, hive->mysql 等任务管理。 运维中心:任务运维和实例运维的所有研发。 权限管理:整个项目的权限模块。 数据地图:数仓元数据管理/血缘管理 可视化建表:自助创建hive/doris表 微服务之间的协调调用。