Python

项目环境：Jenkins + SVN + Python + Linux + fabric； 个人职责： 1、通过Jenkins平台构建项目Project工程; 2、利用SVN进行开发代码分支的存储; 3、基于Python实现fabric自动化工具的编写； 4、基于Jenkins平台实现不同环境的模板发布; 5、基于shell脚本完成在Linux环境下的自动化工具的构建，如OS层自检，服务组件检查；

利⽤机器学习⾃动检测Hadoop中执⾏慢的节点、并且⾃动分析其根本原因。实验是基于6个异构的 Hadoop节点多轮分别运⾏不同类型，不同负载的任务。采集执⾏过程中的各种核⼼性能数据，CPU占⽤率、内存占⽤率、Job执⾏进度、硬盘负载、⽹络I/ O，利⽤机器学习检测数据的离散性，⾃动检测异常。对异常节点再次进⾏分析，对异常原因进⾏分类，然后训练⼀个基于 随机森林的模型。对实验组进⾏实验，最终实验 的结果精准率98%、准确率97%、误报率6%

1、功能：实现数据的定时同步给外围系统 2、施工python技术，制定读取数据库需要同步的表单，并生成需要同步的文件及分隔符，已经数据的清理，每天定时同步ftp服务 3、搭建ftp服务供外围系统的访问和获取同步的数据文件 4、实现方式灵活，不受应用程序的改动影响

1、数据分析，数据可视化。实现文件数据的分析加工和可视化展示。 2、自动化工具，模仿人工操作系统、自动登陆、自动提交、文件自动下载、自动化测试、自动处理逻辑清楚切有固定的工作等内容。 3、爬虫。 4、

此平台作为国内top5的互联网公司的重要业务数据处理平台，日均处理数据超30亿条（10T以上），支撑公司的重点业务。 平台包括数据处理系统、数据管理系统和旁路支持系统三大部分，提供包括数据的批量处理、实时处理、可视化管理、监控报警、指标报表等功能，支持业务人员通过拖拉拽简单配置的方式对数据和任务进行创建更新和管理，并支持任务的自适应调整和恢复。 作为平台负责人，带领研发团队从0搭建平台，并持续迭代，负责技术选型、整体架构设计、核心代码开发（80%以上）、code review等工作。 为适应业务发展和独特需求，以及对公司基础设施的适配，平台涉及从大数据到后端的各类技术，包括但不限于hadoop、doris、flink、zk、redis、kafka、spring、mysql等。

1、搜集A股市场的所有历史行情数据 2、搜集A股市场的所有股票板块信息 3、自动化计算板块指数等 4、自动化部署python脚本 5、数据监控报警

1.解析一类网页，批量爬取所有页面的信息上传mysql 2.独立完成，主要用Selenium操作 3.Selenium点击容易报错，使用了try-except解决

1.个人计划，类似于便签之类的记事本、学习模块、测试模块、个人中心 2.独立完成的app，简陋，大多是vue2自带的标签，和下载的api，后端java用的springboot 3.自学的各种技术，难点就是知识不好搜

内容: 该项目为自研项目，项目旨在帮助客户公司人力资源部门完成各部门成员的档案管理、新员工的招聘、公司人才库的管理、人员历史晋 升档案的查询、线上员工考核的评分问卷管理等功能。 业绩: 1、完成项目立项，与客户公司人事与行政部门沟通相应需求并给出专业建议完成项目功能的落地(思维导图)，按照功能与页 面分配相应的任务给组内成员。完成项目基础数据库结构的设计，与人事与行政部门沟通对应的页面设计以符合公司的形象。 2、帮助客户公司人力与资源部完成人员数据的线上管理，提升企业的核心竞争力。

1.项目分为数据清洗、模型构建、训练与测试等部分。 2.本人负责项目的全部系统设计和代码编写，采用rbt3模型对酒店团购的评论进行分类，分为好评和差评两类，训练后准确率达到90%+。 3.不足之处：采用的rbt3模型比较小，如果换为gpt或者bert模型，准确率可能还会提升一两个点。

1.项目基于Transformers库，利用IOB2标注体系，标注文本中的实体及类别。 2.本人负责全部代码撰写，采用Bert模型，F1达到0.957。 3.需要改进的地方：未编写用户界面，只面向开发者使用。

功能模块：南方航空官网机票查询、东方航空机票查询、飞猪官网机票查询、机票信息整合 功能实现：依次自动进入南方航空官网、东方航空官网以及飞猪官网，选定行程日期并根据指定的出发地和到达地查询经济舱机票信息，将从南方航空官网、东方航空官网查询到的航班信息，根据南航或东航的航班号依次与从飞猪官网查询到的信息进行价格比对，获取价格较低的一方，按照价格升序排序写入 Excel 表格中 功能难点：飞猪官网有个滑块验证，因为网页使用的是画布技术，所以无法获取图片信息进行破解，最后这部分是使用的固定像素移动通过大量尝试破解滑块，如果长时间无法破解滑块，可以采用人工干预的方式手动进行滑块验证

本作品基于用户行为数据分析和Web端开发，结合python算法编写等前沿核心技术，设计并实现了一个基于用户行为数据的网页评估平台。该平台不仅能够实现对于网站问题及故障的分析，还可以实现用户个性化需求。这些优势使该产品能更好满足社会网页评估的需求，帮助企业完善用户网页使用体验。系统对网页评估的准确率。系统架构采用行业主流的MVVM框架，保持应用程序逻辑和用户界面（UI）之间的分离。此外，系统搭配Vue.js、Django REST framework前后端框架进行开发，部署于Microsoft Azure服务器，确保了高可用性和稳定性。该产品现处于内测阶段。在使用体验上，本平台致力于为用户提供便捷、高效的服务。用户无需安装任何软件，只需通过浏览器访问平台即可开始网页评估，操作简单直观。通过对评估结果的详细展示和分析报告，用户可以轻松了解网页的性能和存在的问题，为网页优化提供指导。 本人负责设计算法和数据库，对用户行为数据进行分析，提出改进方案。同时为产品经理，负责整个产品的规划、执行和监控，确保产品按时、按预算、按质量完成。

1、获取东方财富网站不同股票的资金流入信息 2、难点信息较多，爬取速度慢，解决方案：利用多线程加快爬取速度

数据收集：从各种来源（如数据库、文件、网络等）收集相关的数据，确保数据具有高质量和可靠性。 数据预处理：对原始数据进行预处理，包括清洗（去除不完整、重复或无效的记录）、转换（将不同格式的数据统一为相同格式）、归一化（将不同范围的值缩放到相同范围内）等步骤。 数据挖掘算法：选择合适的算法对预处理后的数据进行分析和挖掘。常用算法包括分类、聚类、关联规则等。 模型评估：选择合适方法对模型进行评估以确定其准确性和可靠性。评估方法包括交叉验证、ROC曲线等。 模型应用：根据挖掘结果进行决策或预测。例如，可以根据分类算法对客户进行分类，以便制定更好的营销策略；可以使用聚类算法对产品进行分组，以便设计更好的产品组合。 数据可视化：将挖掘结果可视化以便更好地理解数据。可视化可以使用图表、图形、地图等方式呈现数据。

数据收集：从各种来源（如数据库、文件、网络等）收集相关的数据，确保数据具有高质量和可靠性。 数据预处理：对原始数据进行预处理，包括清洗（去除不完整、重复或无效的记录）、转换（将不同格式的数据统一为相同格式）、归一化（将不同范围的值缩放到相同范围内）等步骤。 数据挖掘算法：选择合适的算法对预处理后的数据进行分析和挖掘。常用算法包括分类、聚类、关联规则等。 模型评估：选择合适方法对模型进行评估以确定其准确性和可靠性。评估方法包括交叉验证、ROC曲线等。 模型应用：根据挖掘结果进行决策或预测。例如，可以根据分类算法对客户进行分类，以便制定更好的营销策略；可以使用聚类算法对产品进行分组，以便设计更好的产品组合。 数据可视化：将挖掘结果可视化以便更好地理解数据。可视化可以使用图表、图形、地图等方式呈现数据。

数据收集：从各种来源（如数据库、文件、网络等）收集相关的数据，确保数据具有高质量和可靠性。 数据预处理：对原始数据进行预处理，包括清洗（去除不完整、重复或无效的记录）、转换（将不同格式的数据统一为相同格式）、归一化（将不同范围的值缩放到相同范围内）等步骤。 数据挖掘算法：选择合适的算法对预处理后的数据进行分析和挖掘。常用算法包括分类、聚类、关联规则等。 模型评估：选择合适方法对模型进行评估以确定其准确性和可靠性。评估方法包括交叉验证、ROC曲线等。 模型应用：根据挖掘结果进行决策或预测。例如，可以根据分类算法对客户进行分类，以便制定更好的营销策略；可以使用聚类算法对产品进行分组，以便设计更好的产品组合。 数据可视化：将挖掘结果可视化以便更好地理解数据。可视化可以使用图表、图形、地图等方式呈现数据。

开发工具: Intellj IDEA + Jdk1.8 + Maven + Git + MySQL + PyCharm + Docker + FTP + PM2 技术架构: SpringBoot + MyBatis + opencv + yolov3 + ffmpeg + Mybatis-Plus 项目描述: 项目采用B/S 架构,项目框架基于SpringBoot,MyBatis,数据库主采用mysql;本项目结合原有的业务背景,以及新的业务需求,将数据采集录入系 统和数据汇聚服务的主要功能模块进行重新设计,实现实现系统智能化管理、智能化分析、智能化识别,提升工作效率。 责任描述: 1.负责系统后台搭建及参与相关表结构设计; 2.负责与客户沟通,即时收取客户意见与需求并改善系统功能; 3.开发后端核心功能,如数据监控,视频流对接读取截图,图片处理,视频合成等; 4.负责项目的打包部署及离线服务器环境搭建。 技术实现: 1.使用python调用darknet及yolov3对图片进行分析,通过坐标比对判断是否为违法数据; 2.基于线程池实现违法数据多线程上传; 3.通过分库分表方式实现图片信息存储，主要以年月为分表依据； 4.通过Graphics进行绘制图片违法区域计算违法坐标点范围； 5.使用 yolov3 + opencv 对视频进行物体识别和目标跟踪; 6.使用pm2进程管理工具管理各个服务进程。

就是想自动化访问数据时，在遇到一些简单特殊的需要验证码登陆的问题，用selenium并且结合第三方库可以自动的进行简单处理这些问题，省去手动操作

一些简单的爬虫，进行爬取视频，图片，文本等。用了requests或selenium自动化，也会一小些简单的反爬策略，可以教学