个人介绍
1年数据管理,熟悉hive数据仓库大数据分析,DB2数据库ETL分析,熟练的用python脚本写出HQL对hive数据进行数据分析,数据挖掘,数据录入,数据下载。熟悉hadoop,hbase,mapreduce知识点。熟悉linux造作系统,会用Linux进行shell脚本的开发。负责运营管理平台整个项目的项目管理和底层因素数据、参数脚本的开发,用python脚本进行hive大数据建模,底层因素数据/参数脚本的开发,测试,部署上线。负责各个系统对接hive数据仓库,数据仓库对接运营管理平台的数据管理。测试阶段各种问题的处理,如前端页面登录超时,登录跳转到F5的地址,后台数据跑批太慢,系统调用短信,邮件接口异常,前台页面数据显示异常等问题。给出项目的评估各个系统的项目计划,开发时间,测试时间,上线时间。供职于交通银行太平洋信用卡中心。英语能力一般。
工作经历
2021-05-01 -至今中软国际java
bhi报表开发,数据中台开发,多线程,代码优化,redis,微服务,java后端开发,代码优化,工作轻松,需求不多,空间时间较多
2019-08-01 -至今北京银丰新融数据开发工程师
1,300号文报表加工,数据处理加工 2,编写存储过程 3,sql调优 4,规则模型优化开发 5,前台页面优化设计 6,项目上线
教育经历
2011-09-01 - 2015-05-01安徽科技学院电子信息本科
学校表现良好,团结互助,尊敬师长,爱运动
技能
每天客户会给出不同的需求,通常是*,*,或者纸质手写的需求提取数据给他们。如果是excel数据的话导入数据库里,进而处理数据。数据入库,记得有一次给了一大堆的数据,有压缩包的,有excel形式的文件,我首先将这些压缩包的数据解压放在指定路径下,然后在该文件下读取我所需要的文件,文件名保存在数据库里,然后写java脚本解析这些数据,数据入库。所使用工具kettle,java,datax,Dbvisualier,navicat,plsqldev
工厂图像网通过统一登陆系统,创建对象查询申请,*端也可以做同步申请(后期新加的功能点),申请时申请者必须要进行身份核实,上传相关的证明文件信息,然后经过二级审批处理。如果是系统申请会马上生成一条sql查询的文件,上传到ftp路径下,然后工厂内网在指定ftp过去刚刚传过来sql文件,对该文件解析,获得sql查询语句,在内部网络里查询已经接入的数据,将查询的文件生成数据文件通过ftp指定路径回传给图像网,图像网的系统通过ftp下载,解析数据文件,将数据解析录入图像网本地数据库。如果是人工申请审批通过会生成文件,传入另外的ftp路径下,另外一套系统(与外网相同)通过ftp获取查询文件和查询的附件信息。查询对象厂商登陆系统反馈查询信息,反馈附件必须要上传,反馈完成以后将反馈的信息生成json报文,和反馈附件一起上传ftp。图像网的系统ftp获取取文件并解析,将反馈信息存入图像网本地数据库,反馈附件下载图像网本地。后期加了*端的申请,在统一平台的基础上又加了微服务
上游系统推送交易流水,跨境交易,客户账户,黑白名单等一系列数据,shell脚本增量或者全量接入到ods层数据,数据库存储过程将ods层数据整理加工处理成T层表,反洗钱后台跑批量任务会根据银行自身或者人行的规则模型,跑出预警的交易,后台有一些人员或者企业的检验规则,符合检验规则的生成大额可疑案例,不符合检验规则要通过反洗钱前台交易、客户、账户补录,大额案例不需要人工审核审查直接生成报文压缩包报送人行,当天的数据当天报送。可疑案例它是预警几天内的交易,通过人工审查审批才可以生成报文数据包,对于新开户在有限内系统会根据评级模板给每个客户打分,评选出高中低风险客户,根据不同的网店号,客户公私性质统计,然后这些报表连同大额可疑报文一起报送人行,人行会根据,人行会给出回执信息,如果是正确回执,不处理,如果是错误回执,分析错误出现的原因,避免下次不会在发生。能够精准报送数据