Python

负责针对不同网站以及app，编写爬虫，采集数据并做简单分析。主要技术：Python、Selenium，scrapy等工具。 部分项目列举如下：工作岗位公开数据爬取，分析职位就业行情。房源数据爬取，分析房源在售情况

1.导入相关头文件 2.根据要求加载数据 3.对数据进行预处理 4.定义函数并传入参数实现控制卷积的行为 5.构建网络模型类（实现更深层次的残差网络模型） 6.选择合适的卷积层和激活函数 7.正确使用TensorFlow 的Keras接口输入张量 8.实现网络模型的前向传播 9.导入CIFAR10训练集，对训练集数据进行预处理 10.导入CIAR10测试集，对测试集数据进行预处理 11.构建网络模型对象、损失函数、优化器 12.使用fit函数对数据集进行训练 13.使用loss,代optimizer,和metrics对模型进行评估 14.输出代价损失函数 15.输出精度指标 16.创建一个ResNet-18的实例，并设置输出类别数为10，随后打印模型结构以检验。 17.添加必要注释

摘 要 现如今，频发的地震灾害已然替代瘟疫，成为了威胁人类安全最棘手的自然灾 害。如何有效减少地震灾害带来的损失已经成为了世界性的难题，人们急需对地震的规 律进行总结和分析。现存的国家地震台网虽能掌握地震数据第一手资料，却不能很好的 利用它，界面也不够美观。随着大数据时代的来临，传统的计算模式已经不足以满足新 时代的计算要求，互联网使用大数据技术进行数据的存储和计算已经成为大势所趋，技 术更加适应时代。本文将介绍一款使用 Python 爬虫和预处理技术，基于 Spark 大数据 计算技术、Hive 大数据存储技术和最前沿的 Vue-cli + ElementUI 的前端方案开发的一 个可视化的地震信息平台，期望从过去 10 年来全球地震相关数据找出地震相关规律。 经测试程序能正常运行，实现了设计目标。 关键词 Python 爬虫；数据采集与预处理；大数据技术；地震数据分析；Vue 脚手架

1.通过对应接口，进行xhr断点和关键字搜索交叉查询加密位置 2.对js进行调试，分析网站加密原理 3.构建解密参数，并补充浏览器环境和加密函数逻辑

开发环境：python、pytorch、cuda、chatGLM、langchain、milvus向量数据库、知识图谱、conda、LoRA微调、数据爬虫、fastAPI、内网穿透 开发工具：liunx、windows系统、pycharm、github、docker 项目内容： 1、确定好项目框架LLM、langchain、milvus向量数据库开始环境搭建 2、使用conda对python环境进行管理、不同的AI应用可能用到不同的python版本 3、对电脑或者服务器的GPU、CPU的本版进行检查下载对应驱动、配置cuda、pytorch使得程序用使用GPU的算力正常运算 4、部署项目、对项目进行测试 5、编写爬虫程序用来生产训练模型的数据集 6、使用LoRA微调技术对模型进行微调测试，让机器人的对话与回答达到我们的预期效果 7、接入外部链接使用机器人的功能更加多样化（类如帮我们查询一下信息、天气、航班） 8、将训练好的AI功能，用FastAPI编程

难点：接口数据存在字体加密， 解决方法：动态获取对应的字体文件，接口数据是svg格式的字体，将svg的字体转换为编码，并用该编码获取对应woff字体，构造映射关系的解密字典，对数据进行解密

飞机大战小游戏，选择了Python + Pygame作为开发工具，是一份基于该技术栈的飞机大战游戏的基本实现。仅包含了核心功能，如游戏对象类、碰撞检测、基本游戏循环等。

该平台是一站式的数据管理平台，具有数据统一存储、实时检索、查 询和分析、监控告警能力，帮助相关人员提升运维、运营效率，快速 查找和定位问题，广泛应用于在线业务监控、运维排障、安全审计、 业务分析等场景。后续加入计算引擎(对数据做进一步的分析，同时 支持异常检测和预测等机器学习功能。其中，本人参与了：服务器及网络设备的信息采集、Web 平台建设、报警模块技术选型及开发

需要做一个爬取二手房的房源信息数据： 项目由本人独自完成，程序设计到一下功能： 1、爬取指定数据 2、自动存入数据库 3、时时监控整个爬虫程序 4、做反爬虫处理 5、对加密数据进行解密 6、对整个程序从性能上进行优化 技术:使用的是scrapy爬虫框架，对目标链接进行提取符合规则的链接，进行深度爬取，再对页面通过xpath和正则表达式进行解析提取数据，将数据放入itmes提交到管道，再用过管道进行数据的存储与持久化，最后在下载中间件的请求拦截器中设置请求头参数，在响应请求拦截器中加载动态网页信息（seleum）,在请求异常拦截器中，设置代理ip与异常日志监控

1.通过对应接口，进行xhr断点和关键字搜索交叉查询加密位置2.对js进行调试，分析网站加密原理3.构建用python反推出加密逻辑，构建加密函数

整个作品从端到端都是我个人完成。 1.具备大系统开发经验以及独立的开发端到端产品经验 2.具备端到端技术能力： 2.1 基于机器学习，深度学习的模型训练 2.2 基于ROS2系统架构设计与实现 2.3 基于RTOS与Linux的嵌入式实现 2.4 独立的PCB硬件开发设计经验 3. 主要编程语言为python语言，C语言 4.英语听说读写优秀

1. 基于权限控管的加解密服务，主要用来支撑企业内部各业务系统敏感数据的加解密需求，并对敏感数据的流转进行权限管控。核心功能包括密钥生命周期管理，凭证、授权管理和加解密SDK。 2. 主要负责系统的架构设计以及服务端密钥管理、权限管理模块、Java、Python加解密SDK的开发工作。使用的技术包括：springboot, spring cloud openfeign, nacos, redis, mysql, elasticsearch, kafka, git, docker, k8s.

1.通过对应接口，进行xhr断点和关键字搜索交叉查询加密位置2.对js进行调试，分析网站加密原理3.构建解密参数，并补充浏览器环境和加密函数逻辑

晓蔚数据分析助手主要帮助证券投资者统计与分析市场因子，以起到辅助决策的作用。软件模块包括以下几个： 1. 查询配置模块，用于选择需要统计的股票、市场因子及评估的时间段。 2. 报告获取模块，用于查看配置模块提交的作业结果。 3. 作业执行模块，用于执行查询配置模块提交的作业。 该软件由本人独立开发完成。

该系统前后端分离，api使用restful协议，方便二次开发，后端使用Python，Django，DRF等技术，前端代码使用AntD进行构建，包含采购管理，销售管理，库存管理等业务管理流程。移动端使用Uniapp，包含产品标签打印，出入库扫码等功能。

文本检测是图像处理领域的重要问题，文本检测技术属于目标检测范畴，需要在常规的目标检测的基础上增加文本区域识别过程，因此比常规目标检测更为复杂。 图像分类是图像处理领域的另一类重要问题。图像分类根据图像信息中所反映出来的不同特征，是通过图像特征区分目标类别的图像处理方法。

1、 铁路运输保障体系要求经过各站到发列车需要按规范和安全管理要求进行货车装载状态检查，加强对安全风险源的控制，提高应急处置响应处理效率，确保重载铁路运输安全生产。传统的作业手段是人工对交接发列车进行巡检、拍照记录，这种方式带来的是效率低下，人工全天候都要进行作业易发生安全事故。 2、 研发一套由机器自动采集、自动分析、自动报警的系统，通过自动化和智能分析手段完善铁路货检作业智能化、信息化水平。 3、 该系统由传感器设备组、数据采集终端、应用服务组、数据中心、客户端组成，采集传感器组成，采集端由磁钢设备、激光对射设备、红外热成像仪、激光雷达、车号 RFID 采集、线阵相机、线阵补光灯等组成。应用服务组由磁钢对射数据服务、红外热成像服务、激光雷达服务、车号接收服务、线阵相机服务等组成。数据中心集成 gRpc、socket 服务进行数据处理。终端采用 sdl 进行线阵图像渲染。 4、图像分析采用基于PyTorch框架YOLO5深度学习算法实现。

1. 编写过企查查、大众点评、巨量引擎的爬虫框架，掌握JS逆向，字体混淆/验证码点选/滑块等反爬绕过方法。 2. 有基于rule based的文本打标模型开发经验与exe的封装 3. 自动化办公脚本的开发（ppt/excel/pdf）

此项目为当时课题项目，主要以通过教学目标为准，理解BP神经网络和离散Hopfield神经网络的结构和原理，掌握反向传播学习算法对神经元的训练过程，了解反向传播公式。通过构建BP网络和离散Hopfield网络模式识别实例，熟悉前馈网络和反馈网络的原理及结构。

爬取网页版拼多多，一个简单的小程序： 1：爬取搜索结果商品信息，爬取页面筛选信息； 2：爬取信息预览后，按行保存到excel。