wangruiming
1月前来过
全职 · 500/日  ·  10875/月
工作时间: 工作日19:30-23:00、周末10:00-21:00工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

熟练掌握:Flink、Spark、Hadoop、Kafka、Flink-cdc、Elasticsearch、HBase、Janusgraph、Hive、 Redis、MySql、Oceanbase、Spring Boot、Spring Cloud、Mybatis等技术 熟练使用:Docker、K8S、Persto、Iceberg、Hudi、Minio、Zookeeper、Clickhouse、Postgresql、 Prometheus、DM、GaussDB、Jenkins等技术

工作经历

  • 2019-05-07 -2024-06-11云上数联(贵州)科技有限公司研发部副总监

    工作职责: 1.PB级流批一体数据中台规划、设计、架构、研发 2.各大数据项目数据治理 3.知识图谱研发 4.技术预研 涉及技术: 大数据组件: Flink※、Spark、Hadoop、Hive、Flink-cdc、Iceberg、Hudi 框架技术 Spring Cloud、Spring Boot、Mybatis、 中间件: Kafka、Redis、Persto、Minio、zookeeper NOSQL: HBase、Elasticsearch、Janusgraph、Clickhouse、Prometheus SQL: Oceanbase、Starrocks、Greenplum、Mysql、Postgresql等 国产数据库: Kingbase、DM、GaussDB等 工作经历: 初入公司前年驻场重庆JZ开发百亿节点千亿边的知识图谱项目,主要工作内容为图谱建模、数据 处理,数据入图。 之后回到公司总部开展数据中台产品研发,主要工作内容为数据中台调研、规划、设计、架构、开 发,在公司两年后升任数据部技术经理。之后在主管数据中台同时兼任各大数据项目(包含贵州 健

  • 2017-11-01 -2019-05-01广州数说故事科技有限公司大数据开发工程师

    工作职责: 1.各大数据舆情系统开发、运维 2.数据同步、清洗、加工 3.对接客户需求 涉及技术: Elasticsearch※、Spark、Hbase、Hive、Redis、Spring、Mysql等 工作经历: 进入公司后作为项目二部后端研发工程师(大数据方向),主要工作内容为接手开发运维腾讯 MIG、腾讯TEG舆情分析项目的后端开发、数据清洗加工等,后由于工作成绩优异担任数说雷达产 品后端主程,参与研发雀巢 sociallis listening、保洁 数说雷达、⻜利浦 电商口碑、数说品牌雷达产品、 新希望雷达、美团年度舆情监测等系统。 业绩: 1.担任由项目孵化产品数说雷达主程,并服务包含保洁、腾讯、美团、雀巢等各大厂商十余个舆情监 测项目 2.公司2018年、2019年业绩冠军部门 3.2018年优秀员工奖

教育经历

  • 2013-06-01 - 2017-06-01湖南工学院网络工程本科

技能

0
1
2
3
4
5
作品
标签管理平台

数据质量管理: 实现规则配置化,任务调度化的数据标签管理平台: 支持多源异构数据源通过规则/SQL配置化方式,基于Flink大数据运算,支持实时/离线对数据进行打标签功能

0
2024-06-15 14:23
实时数据同步工具

实现配置化全量、增量数据库同步,支持自动建表,数据同步情况监控等: 基于Flink,自定义工具包,支持根据配置的数据来源及目标进行工具化跨数据源数据同步。

0
2024-06-15 14:19
数据中台

数据中台是面上PB级数据的一站式数据集成、治理、共享、分析及可视化平台。涵盖数据管理、 数据集成 项目经历、数据质量管理、元数据管理、数据仓库、数据标准管理、数据服务、图引擎及数据可视化等模块。 负责模块: 1. 数据管理: 设计、编码各个数据源的元数据信息及样例展示,为半结构化数据源(如HBase, Hdfs,Mongo db,kafka)等数据源设计并开发schema相关模块。 2. 数据集成: 实现组件化、交互式数据处理模块: 基于flink自定义开发soure及sink,实现多元异构的数据处理架构,并支持数据样例及运行数量回 传及脏数 据处理。 使用flink支持批流一体数据处理,并支持kappa实时数仓架构,支持HBase等数据库作为维表点查 提升实 时数据join效率。 支持数据库日志-kafkaUpeset-hudi湖仓一体架构。 提供sql组件(包含sql校验及解析)、restful组件、加/解密、脱敏及分支等多种数据处理组件。 支持任务运行日志通过logback kafka append流入elasticsearch,并进行日志分析。 支持flink udf 与系统上注册及测试并支持其于sql组件中使用 3. 数据质量管理: 实现规则配置化,任务调度化的数据质量管理平台: 提供非空率、格式合规率、値域合规率、数据唯一率、关联数据唯一率、及时率等指标的数据质量检 查, 同样基于数据集成模块的多元异构数据处理架构,支持多种数据源进行数据质检。 记录数据历史质检记录并生成质检报告。 4. 元数据管理: 提供元数据记录、版本变更记录、元数据手动/自动采集、数据血缘等数据治理辅助 功能: 开发元数据采集、变更历史记录等功能。 基于数据集成模块开发数据血缘记录及展示功能,通过sql解析及任务解析自动解析出系统中的表 级、字段 级数据血缘,并使用分布式知识图谱数据库进行数据血缘的存储与使用。 5. 图引擎: 基于janusgraph分布式知识图谱,提供支持万亿级别节点及关系的海量知识图谱的可视 化建模、配置 化数据入图及知识图谱可视化工具: 知识图谱的可视化建模。 知识图谱入图模块。 使用技术:Flink/HDFS/HBase/Elasticsearch/Openlookeng/HIVE/Prometheus/Janusgraph等

0
2024-06-15 14:14
更新于: 06-15 浏览: 85