0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
高级大数据开发工程师
武汉全职 · 500/日 · 10875/月信用正常
工作时间: 工作日20:00-23:00、周末08:00-21:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
1. 10年互联网经验(游戏行业、教育行业、零售行业、SAAS to B、智能硬件跨境电商 TOP1)注重数据驱动业务的价值。
2. 熟练掌握编程语言 java，scala，shell，Python 了解 Go
3. 熟练掌握 Hadoop、Flink 、Spark、Hive、Hbase、kafka ,有数据湖 Hudi，Detal 项目经验
4. 熟悉数据治理，有数据治理方法论来制定相关数据流程和实践方案
5. 熟悉 Presto/ClickHouse/Kylin/DriosDB等 OLAP 系统，能基于 Spring 全家桶开发业务系统。
工作经历
2023-04-05 -至今武汉市英卡大数据高级开发工程师已认证
1. 参与PB级车联网平台重构，基于CDH集群完成数仓架构升级，设计ODS/DWD/DWS/ADS分层模型，优化数据流转 效率，支撑日均处理10亿+车辆信号数据。在数据流转过程中，引入车辆信号数据质量检测机制，通过规则引擎 对信号数据的完整性、时效性、一致性进行实时监控与校验，确保车辆信号数据的准确性与可靠性。结合业务 场景，设计异常信号数据的自动修复与补偿流程，提升数据可用性，为上层分析提供高质量的数据基础。 2. 基于HBase设计高并发存储方案，优化RowKey设计与压缩算法，G1内存优化显著降低GC停顿时间，Full GC频 率减少70% 优化RegionServer与客户端交互机制，降低高并发场景下的超时异常，结合时间戳与车辆VIN码实现 数据均匀分布，热点问题减少 80%，集群吞吐量提升 40%。 3. 开发自动化巡检脚本（Python+Shell），定期检查HDFS块完整性、任务调度堆积、HBase Region热点等问题， 集成短信告警系统，实时推送异常信息至相关工程师，告警响应时间缩短至5分钟以内，全年集群可用性达 99.9% 4. 与上汽客户紧密沟通，深入理解业务需
2021-05-01 -2023-03-28安克(Anker)创新科技股份有限公司高级大数据开发工程师已认证
1. 制定并执行数据团队战略目标，管理5人以上团队，协调数据开发、测试和产品团队高效协作，成功交付多 个关键数据项目。 2. 主导大数据平台架构重构，成功将PB级数据平台从本地迁移至AWS云服务，采用EMR、Redshift等技术栈，平 台性能提升50%，成本降低30%，并实现弹性扩展，满足业务快速增长需求。 3. 设计并实施数据埋点规范、数据需求评审机制和数据开发流程，将数据开发效率提升40%，数据错误率降低 60%，为业务提供更准确、及时的数据支持。 4. 主导三个事业部的离线BI报表体系建设，开发并交付20+核心业务报表，涵盖用户分析、产品分析、运营分 析等多个维度。为业务决策提供有力支撑。 5. 跟踪数据前沿技术动态 ，组织内部技术分享 ，提升团队整体技术水平和创新能力
2018-04-12 -2021-05-19深圳市加推科技有限公司高级大数据开发工程师已认证
1. 责基于 Apache Kylin 的多维度数据仓库模型设计与性能优化，主导 Spark/Hive 离线数据中台的报表开发 与维护，优化 Oozie 任务调度平台的资源配置，提升数据处理效率与系统稳定性。。 2. 设计并实现数据中台的角色权限控制模块，支持 Apache Kylin 数据的横向切分与权限管理；负责 Kafka 和 Flink 流式数据仓库的搭建与优化，主导APP埋点SDK的数据采集与上报流程，确保数据实时性与准确性 3. 主导数据接入、清洗与校验流程，确保数据质量；开发并维护第三方数据服务接口，支持外部系统的高效数 据交互。 4. 负责数据集群的日常维护与性能优化，包括数据监控、故障排查与资源调度；协同运营与产品团队，提供数 据支持与分析报告，助力业务决策。
2017-08-11 -2018-04-06深圳市彩讯科技股份有限公司数据仓库工程师已认证
1. 负责移动 DM 项目组（终端大数据平台）的数据采集与用户画像构建，完成用户标签的设计与打入，支持精 准营销与用户行为分析。 2. 基于手机定位数据及 APP 用户行为数据，进行深度分析与挖掘，为商业决策提供数据支持，助力业务增长 与优化。 3. 与第三方（如中国移动各省份子公司）的数据对接工作，确保数据高效、准确地传输与整合，支持跨平台数 据协作与业务需求
2016-03-11 -2017-08-24深圳市华阳信通科技发展有限公司大数据工程师已认证
1. 负责公司大数据平台解决方案，初期架构的选型，评估与测试。 2. 针对公司关系型数据库的业务数据展开数据抽取，数据分析工作。 3. 实际开发中根据公司相关业务需求，用部分组件对数据的采集，离线，实时分析。 4. 阶段性的集群监控与维护，以及集群性能的优化。
教育经历
2020-09-03 - 2022-07-06西北工业大学计算机科学与技术本科
2010-09-01 - 2013-06-04武汉软件工程职业学院计算机网络专科
技能
作品
项目描述：为了更好的开拓移动市场需求，把握用户基本消费水平，进行客户留存，转化，渗透包括用户画像以及推广营销 等活动，采集用户端各大品牌*的各种用户行为数据作为分析，整理出各类 APP 的使用频率和用户市场份额，提供给各省 级运营商系统和总部系统之间的数据传输做出有价值的商业决策。 ● 技术组件： OceanBase+DataX+Hadoop+Hive+Spark+HBase+Phoniex+Kylin 使用 DataX 接入数据到 Hive ，通过 Hive和 Sparky 进行计算统计忠诚度客户的价值，用于发放优惠券，短信息等营销手段； ● 个人负责： 1) 负责用户行为分析模块数据统计与优化， 包括客户*机型，分布的地理位置，各个品牌用户 的 ARPU (用户平均收入)值 和以及月均流量 DOU值； 2) 处理用户行为分析中发生的数据倾斜， 优化方案， 提高系统稳定性； 3) 参与各大运营商需求的沟通，撰写和整理技术文档， 提供相关技术方案实现落地， 以及相关数据传输协议提供给各大运营 商； 4) 数据集群日常维护与优化， 各个指标异常跟进与问题反馈;
02024-01-09 15:23
● 项目描述：该数据平台为公司 VP ，产品、运营及 KA 代理商使用，主要分为企业、代理商、销售等业务数据采集和对小程 序、APP 埋点、Feeds 流等数据上报到中台进行采集传输、计算、存储最后可视化后对使用人员进行展示； ● 技术组件：Mysql+Flume+Sqoop+MaxWell+Hadoop+Hive+Spark+Flink+Oozie+HBase+Phoenix+ClickHouse+Kylin ● 个人负责： 1) 配合数据产品经理以及运营梳理公司现有业务及数据流， 构建公司流批一体的离线/实时数据仓库， 基于数仓分层，完成各 层开发及相应主题宽表并提供离线报表，实时数据供相关人员分析决策使用； 2) 主要负责公司 AI、 Boss 雷达/小程序/APP 等产品用户的增长模型数据开发， 提供用户新增/活跃 / 留存/订单/数据以及用户 画像标签处和及代理商、企业、销售、Feeds 流等主题明细、聚合、宽表开发工作； 3) 参与 Apache Kylin 多维度模型数仓设计与优化(优化完成 kylin 大宽表十亿级数据量秒级响应) HBase Rowkey 设计以及 Spar k/Hive 离线宽表模型数据的开发和 Oozie 任务平台度器资源优化 以及 Kafka,Flink 流式数仓与 APP 埋点 SDK 数据采集上报工 作； 4) 基于 SpringBoot 对外提供数据中台统一化接口，提供给相关技术业务部门调用，以及调研最新技术组件与加推实际场景的 应用相结合; 5) 解决过程中遇到的的数据倾斜问题以及优化设计宽表，日常数据以及群集维护,优化工作。保障应用服务系统7*24小时可 用；
02024-01-09 15:21
项目描述：用户数据中心，是基于企业统一的用户账号中心之上扩展建设的用户多维度系统，为应用提供基于用户画像和数 据打标的功能，精细化运营能力、连通了运营后台可以直接在 APP 内触达用户，推荐不同的内容进行数据的闭环。 技术组件： AWS/Ali EMR+S3+OSS+RDS+ELK+CLICKHOUSE+Dolphin+GRAFANA+METABASE 主要负责： 1)制定团队目标，跟进项目进度， 组织项目攻坚周会，协调测试人员、开发人员和产品经理。 2)参与2个事业部300多个数据用户画像标签的开发，测试和部署工作。 3) 对接数据接口模型实现用户自助打标和推送服务，降低50%客诉，提升复购率0.13%。 4) 根据公司战略调整实现数据共享，对接企业级数据入湖操作(DataBricks 商业数据平台)
02024-01-09 15:10
