个人介绍
技术栈
1、 Oracle、redis、DB2、Mysql等,灵活运用SQL实现海量数据ETL加工处理;
2、 熟悉Linux系统常规shell处理命令,灵活运用shell做的文本处理和系统操作;
3、 有从事分布式数据存储与计算平台应用开发经验,熟悉Hadoop生态相关技术
4、 Python
5、 熟悉数据仓库领域知识
工作经历
2016-07-01 -2022-11-01北大医疗信息技术有限公司数据开发
1、写 SQL 2、为集群搭大数据环境 3、维护大数据平台 4、深入研究数据库内核相关技术,设计并实现数据库管理系统; 5、数据迁移 6、深入了解数据库应用的业务需求,主导设计不同数据库架构的应用软件,并持续优化 7、应用迁移(
教育经历
2012-09-01 - 2016-11-07云南大学电子信息本科
技能
项目需求:工资代发是我行20年代发主要来源,但流失情况严重 技术栈:数据库,excel,thinkcell 产出:数据分析报告 结论:低资产层级及低发薪金额人群是流失的主要来源,转账是主要的流失原因
1.需求:定期爬取事业单位招聘信息,整理成excel 2.实现方式:python-requests 3.爬取频率:每天 思路: 就是通过编程向网络服务器请求数据(HTML表单),然后解析HTML,提取出自己想要的数据。 归纳为四大步: 根据url获取HTML数据 解析HTML,获取目标信息 存储数据 重复第一步
1.1 数据源 数据源是搭建BI看板的基础,基于企业规模大小,主要有三大类型数据源: Excel等文件导入数据源 小企业往往信息化水平低,企业数据主要通过Excel的形式手工记录。 基于这类数据源进行BI看板搭建,只需将Excel数据导入BI工具即可。 业务系统数据库(mysql) 中型企业已具备基本的业务系统,如销售ERP、仓储WMS等,这些业务系统的数据往往存储在Mysql、Oracle等底层数据库。 基于业务系统数据进行BI看板搭建,需要通过BI工具连接业务系统数据库,方可获取数据源。 数据仓库数据源(Hive) 大型企业信息化水平高,除了有多个业务系统外,同时建设了数据仓库用以整合各业务系统的数据。业务系统数据原表迁入ODS层,经过数据清洗、加工、建模、汇总等方式最终落入ADS层。 基于数仓进行BI看板搭建,一般通过BI工具连接数仓ADS层获取数据。 1.2 指标体系 BI看板是指标体系的可视化呈现,指标体系奠定了BI看板的分析目的和主题。 通过三步法完成指标体系搭建后,我们对每个主题需要展示的数据内容已了然于心,直接基于指标口径在BI软件配置可视化图表,方向明确、思路清晰、快速高效。 1.3 BI工具 BI看板搭建必定需要通过BI工具完成。信息化发展至今,市面上的BI产品早已技术成熟、功能强大。BI产品众多,核心功能大同小异。