proginn1624068638
1月前来过
全职 · 500/日  ·  10875/月
工作时间: 工作日13:00-17:00工作地点:
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

7 年互联网开发经验,4 年大数据开发经验,具备亿万级/TB 级的离线/实时计算的开发经验,具备良好
的编码能力。
1. 熟练运用 hdfs、yarn、mr 等 hadoop 体系文件存储、资源调度、任务计算等框架,深入理解其原
理,并具备 mr 性能调优的能力。
2. 熟练运用 spark-sql,具备面向 spark API 编程的能力,深入理解 sparkcore、sparksql、 sparkstreaming 原理,并具备 sparksql 性能调优的能力。
3. 熟练运用 hql,并对 hive 及其 metastore、hiveserver2 其原理有深入理解。 4. 熟悉 hbase 系统架构,能进行面向 hbaseAPI 的编程,并有实际 hbase 表查询性能优化经验。
5. 熟练运用 kafka 等消息中间件,深入理解其运行原理。
6. 熟练运用 mysql,理解 sql 运行的底层原理,并能进行性能优化。 7. 熟练掌握 redis 缓存数据库应用,深入理解 redis 持久化及高可用实现方案及其原理。
8. 熟练使用 java 编程,具备良好的面向对象编程思想,熟练使用 dubbo、springmvc 等开发框架。
担任 1 年左右 4 人团队管理工作,负责数仓项目的进度的管控。

工作经历

  • 2020-10-01 -2022-08-01深圳数联天下智能科技有限公司大数据开发

    1. 负责离线数仓的分层设计,数据模型设计,ETL编码,任务部署调度及数据质量、数据资产的维护; 2. 参与实时数仓的需求调研、编码,参与实时数仓架构的设计讨论; 3. 处理线上各类问题。

  • 2017-07-01 -2020-10-01深圳萨摩耶云科技有限公司大数据JAVA开发

    数据接入,数据调度任务的维护; 数据权限的维护及系统优化; 数据仓库指标的开发; 实时计算数据指标的开发; 可视化数据报表的开发; 集成化数据分析平台的开发维护。

  • 2015-09-01 -2017-07-01深圳博悦科创科技有限公司JAVA开发

    1.开发新的功能模块 2.调试程序 3.配合测试组及合作方测试联调 4.发布测试版本 5.整合版本,配合产品上线 6.维护生产版本

教育经历

  • 2010-09-01 - 2014-06-01华中农业大学生物信息本科

    学习生物学及信息技术相关知识,熟悉计算机理论知识并积极动手实验

技能

0
1
2
3
4
5
作品
财险多渠道系统重构

项目描述: 将原来老的多渠道系统由 spring 项目重构成 springboot 项目,并对 其中的部分功能模块进行优化。作为项目重要参与者,完成了 1. 将老的 spring 项目改造成 springboot 项目 2. 找到某些处理较慢的环节并加以优化 技术重难点: 1. 引入 druid 数据库连接池,并对 sql 加以监控,找到慢 sql 并加以 优化; 2. 将部分处理慢的环节由单线程改造成多线程; 3. 将校验过程要查询的部分值存入 redis,减轻 mysql 读写压力; 4. 将部分功能改造成定时任务,减轻主任务压力,优化程序 后端技术栈: springboot+mybatis+mysql+redis+quartz 工作业绩: 项目重构完成并顺利上线,通过压力测试请求平均响应时间提高 50% 左右。

0
2023-04-19 22:05
财务驾驶舱

项目描述: 企业的管理者希望对公司的财务分析状况了如执掌,因此财务管理驾 驶舱应运而生,管理者可以从 PC 端或是移动端及时的了解到公司的 财务情况。独立完成了以可视化的形式展示出当下公司的流入、流出 及余额等资金流情况,并可钻取个小类目的资金流情况,并对营收情 况做出趋势分析的工作任务。 项目流程:使用金蝶的财务软件产生财务明细数据,同步至本公司数 据库,根据财务拟定分类,由程序实时计算出各分类的资金流情况及 汇总情况,及其他财务分析指标,并进行可视化展示。 技术重难点: 1.财务原始数据不可进行编辑,但财务却有部分调整数据的需求,采 用对冲碰撞的方式完成明细数据调整; 2.要求计算实时的财务分析情况,全部基于内存计算随着数据量的增 大会逐渐拖慢程序,因此对财务关账的数据进行物化,存储到 mysql, 和未关账数据进行异构计算。 后端技术栈: springmvc+sqlserver+mybatis+mysql 工作业绩: 共完成 100+财务报表,1000+财务指标计算,实现了 pc 端和移动端 实时读取当下财务分析情况.,为管理者做决策提供有力数据支撑。

0
2023-04-19 22:09
离线数仓

项目描述: 公司智能设备上传数据以及合作养老院/幼儿园后台数据,没有很好 的归类整理,形成稳定的数据资产,因此对养老/校园数据进行数据建 模,数仓管理,以期更好的利用数据。作为项目负责人,带领 4 人团 队,完成前期需求沟通,数据建模,部分 ETL 编码,协调解决部门间 沟通及资源分配,处理组内 ETL 编码遇到的问题及项目时间节点的管 理。 项目流程:与业务部门沟通所需数据指标,并确定数仓主题域,沟通 梳理各指标计算口径,并设计分层及数据模型,进行 ETL 数据处理脚 本编码,验证数据准确性,并部署调度任务,数据可视化成数据大屏。 技术重难点: 1. 编写 udaf,实现自己独有的分组统计逻辑,便利的计算统计指标; 2. 需求分析并进行任务分解,利用甘特图的方式跟踪项目的执行完 成情况,并利用四象限法则,合理的分配和管理当前需要进行的项目。 后端技术栈: hive+spark+datax 工作业绩: 顺利完成了养老、校园数仓的建设,实现了 10+的数据大屏取数支撑, 500+数据指标的稳定计算,并由此成功引入柳州养老项目。

0
2023-04-19 22:14
更新于: 2022-09-01 浏览: 196