个人介绍
本人负责过数据治理、实时数据计算和离线数据分析项目,参与过自动化调度项目、大屏可视化、各类档案提取分析和预警工作。已有近6年工作经验,对于数据有很强的敏感性。能够熟练使用java语言开发,对python和scala语言较为熟悉,能够熟练使用zookeeper、kafka、hdfs、spark、storm技术和postgresql、达梦、mysql、oracle等关系型数据库,同时也使用过mongo、es等非关系型数据库。
工作经历
2017-06-30 -2022-11-13xxx项目研发
在公司中承担过进行项目的需求分析、概要设计、详细设计、编码和测试工作,在工作中认真负责,本着客户服务至上的原则。
教育经历
2013-09-01 - 2017-06-20山东农业大学计算机科学与技术本科
技能
1.项目功能:实现数据源选择、拖拽组件进行模型流程配置;模型通过任务调度中心进行定期调度执行;对模型生成资源进行报表配置确定展示形式、模型数据可视化报表展示;模型日志查看和运行监控。 2.本人在该项目中负责进行数据库建设和任务调度工作。通过quarter定时任务组件、activemq,spark,hive技术进行运行模型,日志插库和执行状态同步。
1.该项目实现各类数据组织 从而进行大屏展示,支持可视化配置修改数据,支持导入文件进行更新修改数据。 2.本人在该项目中实现数据库设计、导入文件解析服务。 3.使用springboot技术、postgresql数据库、vue和idea开发
1、【70%】本人在数据采集模块负责研发工作,实现从消息队列获取采集任务,进而分析出数据库读取和文件解析采集任务,从而实现增量和全量接入方式,困难点集中在不同文件结构采集解析方式存在差异,需要考虑大数据量集群形式,考虑负载均衡。 2、【50%】本人在实时计算模块负责研发工作,实现从kafka消费采集到数据,进行实时计算,包括:打标、关联、提取、格式规整等计算规则。使用storm框架针对每天数十亿数据实时计算。困难点集中在接收数据和计算速度的均衡,避免内存溢出。 3、【20%】本人在资源目录模块负责数据库设计和研发工作,实现采集任务同步,采集计算资源信息同步规整到资源目录,以便后续人员使用。