个人介绍
主要从事大数据开发、数据开发、Java开发
总体为数据抽取、hive数仓处理、数据中台,springboot微服务,数据分析、数据建模、数据开发。
涉及使用到的组件如下:
1.熟悉使用spark、hdfs、Hive、clickhouse、kudu、presto、sqoop、loader、datax、azkaban、hue、docker、Zabbix等;
2.熟悉使用storm流式框架开发,熟悉mongodb、kafka、elasticSearch、zookeeper操作,springboot组件化开发;
3.熟悉springboot注解搭建微服务应用,集成redis、mysql、oracle、达梦dm、kudu等;
4.熟悉应用Struts2+Hibernate+Spring架构注解开发模式,熟悉使用SSM+Maven+ mysql,了解cxf-restful webservice; 5.熟练使用linux、nginx
工作经历
2015-06-02 -2023-08-01易盛信息大数据开发、Java开发
总体为数据抽取、hive数仓处理、数据中台,springboot微服务,数据分析、数据建模、数据开发。 涉及使用到的组件如下: 1.熟悉使用spark、hdfs、Hive、clickhouse、kudu、presto、sqoop、loader、datax、azkaban、hue、docker、Zabbix等; 2.熟悉使用storm流式框架开发,熟悉mongodb、kafka、elasticSearch、zookeeper操作,springboot组件化开发; 3.熟悉springboot注解搭建微服务应用,集成redis、mysql、oracle、达梦dm、kudu等; 4.熟悉应用Struts2+Hibernate+Spring架构注解开发模式,熟悉使用SSM+Maven+ mysql,了解cxf-restful webservice; 5.熟练使用linux、nginx
教育经历
2011-09-01 - 2015-06-01湖南理工学院信息与计算科学本科
技能
平台操作手册 http://filescdn.proginn.com/frontend/1009475/6c4b815bcda1788e21d6ba43ab034072.doc 有意向可私聊,可二次改造,可优化页面 主要是在做报表的时候,由于源系统中数据缺失了一部分,导致在做报表统计的时候,这部分数据无法从数据仓库中捕获到。因此,就需要进行数据补录,将缺失的数据补录到数据仓库中,这样就可以对数据进行统计。对于业务来说,需要分为多个部门并有多个补录员,每个部门的补录员只能操作自己部门的数据,实现动态补录。 本系统数据补录平台主要有以下几个目标: 目标1:权限管理 系统管理员创建补录管理员,并赋予补录管理员具有数据补录、补录管理模块的所有权限;补录管理员根据业务需要,创建普通补录操作员,赋予其相应的具体权限。 目标2:自动生成菜单 进行补录时,对于数据库不存在的表,需要创建补录菜单并导入补录模板(创建菜单的同时数据库自动创建一个与之对应的表,并根据导入的模板创建相应的字段)。 目标3:数据维护及导入导出 根据实际业务需要,对相应的表数据进行新增、查询、修改、删除及导入、导出。
根据政务部门需求对XXXX十大业务数据进行数据采集接入到大数据平台,对接具体业务模块,按业务要求进行数据抽取、清洗换转、合并到hive数仓,形成基础库、主题库、专题库等进行数据治理,最终输出到下游MPP数据库,由springboot微服务提供接口服务,将数据输出展现到分析系统页面