个人介绍
v:1#8#6#1#2#3#6#5#9#0#3
熟悉:
python、Linux
了解:
java、go、vue、js
掌握:
数据库:mysql、oracle、postgres、mongodb、redis
后端框架django、flask
消息异步队列celery、rabbitmq
容器虚拟:docker、vagrant
大数据:cdh(hive,sqoop,hadoop)
测试:unitest、selenium
数据处理:pandas、numpy
认证:kerberos、ldap
工作经历
2019-03-01 -至今上海罗盘信息科技有限公司高级后端工程师
1、元数据采集&数据稽核 ● 采集多种数据源的元数据:数据库(oracle,pg,mysql,cdh,tdh),BI报表(永洪)等,支持元模型自定义、数据源接入校验、触发采集、采集策略配置、数据比对、采集汇总等功能; ● 数据稽核,支持sql稽核,并打包成可执行文件(bat/exe/shell); 2、 服务运维与监控 ● 负责公司的服务搭建运维,主要有数据治理平台多环境的代码更新部署,数据库、cdh集群、tdh集群、jumpserver等搭建,针对这些服务编写监控脚本进行服务重启和运行报告; 3、 产品容器化部署 ● 数据治理平台涉及到oracle,nginx,tomcat,es,redis等多服务的使用,基于docker-compose编排技术,完成的产品的一键部署; 4、 数据抓取 scrapy、requests抓取一些证券市场数据,金融百科语料等; 5、 产品自动化poc测试 ● 使用unittest及selenium完成产品实施前的poc测试,同时也兼顾一些接口测试;
教育经历
2010-08-19 - 2014-07-17西安体育学院新闻学本科
西安体育学院学士学位证书,学信网可查
技能
收集汽车行业舆情信息,用于信息评审从而助力市场开拓。 系统功能:信息持续采集,信息展示,信息参阅,信息督办,企业组织管理,角色管理。 采用技术:后端基于Django,前端使用vue,数据库使用mysql,同时还有fastdfs服务,libreoffice服务。
产品介绍: ● 是一个外包平台,企业可以在上面发布项目,自由职业者可以承接项目 主要功能: ● 项目发布,项目承接,项目管理,职位招聘等 开发技术: ● 后端sanic+redis+rabbitmq,前端vue