小兵禅
1月前来过
全职 · 300/日  ·  6525/月
工作时间: 工作日07:00-24:00、周末07:00-24:00工作地点: 远程
服务企业: 2家累计提交: 1工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

1、公司内部数据计算Kubeflow平台,主要做ML模型训练和运行jupyter notebook。项目利用terraform 管理基础设施建设,实现gitops原理,服务构建在gcp云上,利用弹性扩容技术充分发挥服务的伸缩性

实现流程:

1.1 使用terraform+packer作为实现基础Linux应用镜像的构建

1.2 编写terraform+ansible实现服务器应用的部署、启动、定时备份和还原

1.3 使用bigquery+R fluent服务实现日志采集分析,并用terraform构建alerting实现邮件告警通知

1.4 全过程使用jenkins pipeline+gitlab webhook实现CICD自动构建

1.5 使用terraform构建GPU服务器,并自动安装对应版本的cuda+cudnn


2、公司内部IKP平台采用docker+kubernetes作为测试、生产环境架构,主要是实现pyspark、tensorflow模型和airflow容器化,实现模型应用的高可用和自愈功能

实现流程:

2.1、 编写Dockerfile构建pyspark、jupyterhub、pytorch应用镜像(基础镜像->公共库镜像->应用镜像),并定时清理过期镜像

2.2、 使用二进制方式部署kubernetes集群

2.3、 部署和维护Harbor私有容器仓库

2.4、 编写kubernetes的efk、traefik、prometheus、dashboard、storageclass等yaml实现功能

2.5、 实现jenkins kubernetes项目CICD流程

2.6、 kubernetes测试、生产环境应用部署、测试、上线

工作经历

  • 2020-01-02 -2021-10-30汇丰高级后端工程师

    1、公司内部数据计算Kubeflow平台,主要做ML模型训练和运行jupyter notebook。项目利用terraform 管理基础设施建设,实现gitops原理,服务构建在gcp云上,利用弹性扩容技术充分发挥服务的伸缩性 实现流程: 1.1 使用terraform+packer作为实现基础Linux应用镜像的构建 1.2 编写terraform+ansible实现服务器应用的部署、启动、定时备份和还原 1.3 使用bigquery+R fluent服务实现日志采集分析,并用terraform构建alerting实现邮件告警通知 1.4 全过程使用jenkins pipeline+gitlab webhook实现CICD自动构建 1.5 使用terraform构建GPU服务器,并自动安装对应版本的cuda+cudnn 2、公司内部IKP平台采用docker+kubernetes作为测试、生产环境架构,主要是实现pyspark、tensorflow模型和airflow容器化,实现模型应用的高可用和自愈功能 实现流程: 2.1、 编写Dockerfile构建pys

教育经历

  • 2014-09-06 - 2018-06-24广州大学电子科学与技术本科

    广州大学电子信息科学技术专业2018年毕业

技能

多线程
Android
K8S
0
1
2
3
4
5
0
1
2
3
4
5
作品
Model Risk Analysis Tool

使用terraform构建谷歌云的计算资源,负责均衡和存储,同时负责ELK系统的脚本编写与资源创建,使客户从nas同步数据到bigquery,最后使用只能BI生成报表和分析,同时也负责ML环境搭建与数据备份,确保用户训练和使用的数据在机器过期重建时保持最新,使用python原生库编写代码,IMR工具接入ldap和saml校验从而判断用户权限,并编写自动化测试接口生成python代码扫描报告,提供给开发人员参考。

0
2021-10-15 11:02
公司内部IKP平台

2、公司内部IKP平台采用docker+kubernetes作为测试、生产环境架构,主要是实现pyspark、tensorflow模型和airflow容器化,实现模型应用的高可用和自愈功能 实现流程: 2.1、 编写Dockerfile构建pyspark、jupyterhub、pytorch应用镜像(基础镜像->公共库镜像->应用镜像),并定时清理过期镜像 2.2、 使用二进制方式部署kubernetes集群 2.3、 部署和维护Harbor私有容器仓库 2.4、 编写kubernetes的efk、traefik、prometheus、dashboard、storageclass等yaml实现功能 2.5、 实现jenkins kubernetes项目CICD流程 2.6、 kubernetes测试、生产环境应用部署、测试、上线

0
2021-10-15 11:00
公司内部数据计算Kubeflow平台

1、公司内部数据计算Kubeflow平台,主要做ML模型训练和运行jupyter notebook。项目利用terraform 管理基础设施建设,实现gitops原理,服务构建在gcp云上,利用弹性扩容技术充分发挥服务的伸缩性 实现流程: 1.1 使用terraform+packer作为实现基础Linux应用镜像的构建 1.2 编写terraform+ansible实现服务器应用的部署、启动、定时备份和还原 1.3 使用bigquery+R fluent服务实现日志采集分析,并用terraform构建alerting实现邮件告警通知 1.4 全过程使用jenkins pipeline+gitlab webhook实现CICD自动构建 1.5 使用terraform构建GPU服务器,并自动安装对应版本的cuda+cudnn

0
2023-02-27 09:25
更新于: 2021-10-15 浏览: 463