个人介绍
1、公司内部数据计算Kubeflow平台,主要做ML模型训练和运行jupyter notebook。项目利用terraform 管理基础设施建设,实现gitops原理,服务构建在gcp云上,利用弹性扩容技术充分发挥服务的伸缩性
实现流程:
1.1 使用terraform+packer作为实现基础Linux应用镜像的构建
1.2 编写terraform+ansible实现服务器应用的部署、启动、定时备份和还原
1.3 使用bigquery+R fluent服务实现日志采集分析,并用terraform构建alerting实现邮件告警通知
1.4 全过程使用jenkins pipeline+gitlab webhook实现CICD自动构建
1.5 使用terraform构建GPU服务器,并自动安装对应版本的cuda+cudnn
2、公司内部IKP平台采用docker+kubernetes作为测试、生产环境架构,主要是实现pyspark、tensorflow模型和airflow容器化,实现模型应用的高可用和自愈功能
实现流程:
2.1、 编写Dockerfile构建pyspark、jupyterhub、pytorch应用镜像(基础镜像->公共库镜像->应用镜像),并定时清理过期镜像
2.2、 使用二进制方式部署kubernetes集群
2.3、 部署和维护Harbor私有容器仓库
2.4、 编写kubernetes的efk、traefik、prometheus、dashboard、storageclass等yaml实现功能
2.5、 实现jenkins kubernetes项目CICD流程
2.6、 kubernetes测试、生产环境应用部署、测试、上线
工作经历
2020-01-02 -2021-10-30汇丰高级后端工程师
1、公司内部数据计算Kubeflow平台,主要做ML模型训练和运行jupyter notebook。项目利用terraform 管理基础设施建设,实现gitops原理,服务构建在gcp云上,利用弹性扩容技术充分发挥服务的伸缩性 实现流程: 1.1 使用terraform+packer作为实现基础Linux应用镜像的构建 1.2 编写terraform+ansible实现服务器应用的部署、启动、定时备份和还原 1.3 使用bigquery+R fluent服务实现日志采集分析,并用terraform构建alerting实现邮件告警通知 1.4 全过程使用jenkins pipeline+gitlab webhook实现CICD自动构建 1.5 使用terraform构建GPU服务器,并自动安装对应版本的cuda+cudnn 2、公司内部IKP平台采用docker+kubernetes作为测试、生产环境架构,主要是实现pyspark、tensorflow模型和airflow容器化,实现模型应用的高可用和自愈功能 实现流程: 2.1、 编写Dockerfile构建pys
教育经历
2014-09-06 - 2018-06-24广州大学电子科学与技术本科
广州大学电子信息科学技术专业2018年毕业
技能
使用terraform构建谷歌云的计算资源,负责均衡和存储,同时负责ELK系统的脚本编写与资源创建,使客户从nas同步数据到bigquery,最后使用只能BI生成报表和分析,同时也负责ML环境搭建与数据备份,确保用户训练和使用的数据在机器过期重建时保持最新,使用python原生库编写代码,IMR工具接入ldap和saml校验从而判断用户权限,并编写自动化测试接口生成python代码扫描报告,提供给开发人员参考。
2、公司内部IKP平台采用docker+kubernetes作为测试、生产环境架构,主要是实现pyspark、tensorflow模型和airflow容器化,实现模型应用的高可用和自愈功能 实现流程: 2.1、 编写Dockerfile构建pyspark、jupyterhub、pytorch应用镜像(基础镜像->公共库镜像->应用镜像),并定时清理过期镜像 2.2、 使用二进制方式部署kubernetes集群 2.3、 部署和维护Harbor私有容器仓库 2.4、 编写kubernetes的efk、traefik、prometheus、dashboard、storageclass等yaml实现功能 2.5、 实现jenkins kubernetes项目CICD流程 2.6、 kubernetes测试、生产环境应用部署、测试、上线
1、公司内部数据计算Kubeflow平台,主要做ML模型训练和运行jupyter notebook。项目利用terraform 管理基础设施建设,实现gitops原理,服务构建在gcp云上,利用弹性扩容技术充分发挥服务的伸缩性 实现流程: 1.1 使用terraform+packer作为实现基础Linux应用镜像的构建 1.2 编写terraform+ansible实现服务器应用的部署、启动、定时备份和还原 1.3 使用bigquery+R fluent服务实现日志采集分析,并用terraform构建alerting实现邮件告警通知 1.4 全过程使用jenkins pipeline+gitlab webhook实现CICD自动构建 1.5 使用terraform构建GPU服务器,并自动安装对应版本的cuda+cudnn
相似推荐 换一批
技术顾问
1000元/天
埃森哲
技能:java,python,Redis、Mongo,lucene, solr, solrcloud,MyBatis/Hibenate,MQ、Kafka,Spring(Spring、Spring MVC、Spring Cloud),Nginx/Openrestry,Linux
Senior Developer
1070元/天
AID
技能:PHP,MySQL,nodejs,vue/vue_cli/vue_router,node.js + express,restful接口开发,HTML5/CSS,Magento,wordpress+php
php开发工程师
800元/天
浪潮
技能:Golang、Java,PHP,Redis,MySQL,ES,Kafka,c、c#
技术总监
400元/天
铭农
技能:C#,Java,Python,gRPC,架构,Docker,JavaScript,HTML5