个人介绍
多年Python/JAVA开发工作经验,擅长爬虫,同时擅长运维管理,精通数据分析的全栈工程师。
Github链接:https://github.com/irvinren/
精通Python/Java/SQL/Bash/Java/Python/Linux/Teradata/Oracle/MySQL Database/Tableau/FineReport/Hadoop/Hbase/Pig/Hive/Spark/Kafka/ANSIBLE/Jenkins/Zsbbix/Nagios
工作经历
2020-02-01 -至今自由职业运维开发
Nagios监控系统 搭建Nagios监控系统,开发监控脚本,Nagios监控系统开源制定化。 Openstack私有云系统 监控 Openstack 私有云系统, 搭建 Mongodb数据库。 Openstack系统运维 Openstack安装运维与运维监控。 Mysql 数据库的 安装与维护。 Python多进程多线程共享原子性的开发 源代码https://github.com/irvinren/shared_atomic.git Pipy包https://pypi.org/project/shared_atomic/
2019-08-01 -2020-02-01中建八局第一建设有限公司 ETL/数据分析
发明数据架构以满足ETL需求。 安装和使用ETL工具完成数据的抽提转换与加载。 使用FineReport完成数据呈现。 对装载程序和SQL进行性能调优,确保数据的准确,以及及时的错误处理。 为企业优化与制定ETL工具代码。 使用人工智能进行自然语言处理。 升级与优化Finereport系统解决数据呈现问题。
2015-09-01 -2016-04-01平安健康互联网股份有限公司上海分公司维护工程师
搭建新的Hadoop/Hive/Hbase系统,支持在线交易与离线计算数据仓库计算平台。 搭建Ambari/Zabbix监控系统,搭建报警系统。 排查和修复Hadoop/Hbase/Hive问题。 HADOOP系统容量管理。 给HADOOP打补丁。
2014-09-01 -2015-01-01亿贝软件工程上海有限公司高级容量工程师
HADOOP运维开发 开发基于JAVA的CRONUS AGENT自动化部署,高度可放缩,集群管理和HADOOP系统临控。 使用Python/JAVA收集HADOOP/HBase性能数据。 HADOOP管理 发现,解决,修复配置问题,使用ansible playbook进行hadoop系统设置。 使用Jenkin完成自动化测试。 使用IAAS部置hadoop节点。
2012-04-01 -2014-08-01康伟实软件(上海)有限公司系统工程师
持续创新完成数组库资源管理目标。 通过负载合理化,发现容量节约的机会,基于历史数据优化负载。 处理查询性能优化。 基于用户历史性能数据给数据为用户打分,提供培训与提高查询性能。 提供7*24小时数据库支持服务。 开发脚本自动化数据库监控。 TD与HADOOP负载迁移以节约系统整体运营成本。
教育经历
2017-09-01 - 2018-12-31伯明翰大学计算机科学 硕士
系统性研究信息与计算的理论基础以及它们在计算机系统中如何实现与应用的实用技术的学科。信息安全的学习目标包括保护信息免受未经授权的访问、中断和修改,同时为系统的预期用户保持系统的可访问性和可用性。
技能
enhanced the parallel execution with option to do serialization without subjob, essentially it got the hops each job entry is connected with before the job entry, count on the finished job entries, proceed when it reach the condition.