项目描述：该项目背景为信息公司信创化改造，根据工作计划安排，需要将自动化运维平台（aops）和单点登录系统（cas）进行信创化改造，以达到基础软件（如操作系统、数据库、中间件等）的国产化替代，逐步降低对国外技术的依赖；数据库：海量数据库 Vastbase；中间件：web容器采用东方通的Tongweb代替Apache Tomcat，负载均衡软件采用东方通的TongHttpServer 服务代理中间件。 责任描述：1、负责编写自动化运维平台信创环境的部署手册、上线方案等文档，通过漏洞管理平台进行组件扫描和源码扫描，并生成漏洞报告； 2、负责自动化运维平台web模块和scheduler模块环境由Python2升级至Python3，升级相关第三方库及源码适配，对接Vastbase数据库验证及源码适配，MySQL数据迁移至vastbase，部署东方通THS（TongHttpServer）代替NGINX，东方通Tongweb代替Tomcat ，部署Redis和Gitlab； 3、部署自动化运维平台和Redis高可用（Keepalived），部署后端服务文件双向实时同步（rsync+inotify），完成以上环境各个组件的联调测试；

项目描述：应上级领导要求，需要定期报送信息公司各种软件硬件资产信息，通过脚本读取、清洗、整合蓝鲸平台CMDB中21个模型的数据，最终生成11张CSV文件，共计167 个字段，然后向数据中台发送请求获取token，携带token将数据文件 上传至OSS云存储 在服务器上离线部署Python运行环境，并安装所需第三方库，测试各个系统之间的网络是否通畅； 责任描述：编写Python脚本，读取CMDB模型中数据，清洗、整合后生成CSV文件。获取数据中台的认证token后上传数据到OSS，然后将返回的响应头中的存储文件链接回写到CMDB； 配合测试人员完成脚本功能测试，对不符合预期功能的地方进行修改； 部署脚本上线，使用Linux crontab定时执行，日常检查运行日志，及时发现并解决问题；

项目描述：基于一线业务部门需求，抓取国外导购同行的网站商品信息数据。项目需要采集几十个同行站点，我们使用Python爬虫框架scrapy完成，主要采集信息包括商品的出站链接，商品图片以及价格等等。项目中将数据抓取，图片采集和上传，出站链接的解析和清洗分离开，各自完成自身功能。采集过程中通过对接elasticsearch和grafana报警系统对某些指标进行监控，采集完成对数据进行检测校验 重复，缺失和异常的字段，及时修正，数据通过rabbitmq队列推送给需求方。 责任描述：研究同行的网站结构，编写爬虫脚本采集商品数据； 对采集后的数据清洗、去重、整合、入库； 完善日志输出信息，对接监控和告警。