Python

个人完成。通过编写爬虫程序，实现对链家网上南昌二手房的房源数据的采集。对采集到的数据进行清洗。这个步骤包括数据合并、去重、缺失值处理、异常值处理等，以确保数据的准确性和一致性。清洗后的数据将成为后续分析的基础。对清洗后的数据进行可视化分析。通过使用适当的图表、图形和统计方法，揭示南昌二手房市场的特点和规律。

本作品旨在探索抖音平台上的用户评论爬取技术。通过使用Python编程语言和Chromium浏览器驱动，我们实现了一个高效、自动化的小说评论爬取工具。 脚本首先创建了一个ChromiumOptions实例以启用无头模式，然后创建了一个ChromiumPage实例并使用无头模式。通过模拟滚动到页面底部，脚本能够加载更多视频数据。获取视频的URL和ID后，脚本进一步访问每个视频页面，并监听’/v1/web/comment/list/'数据包以获取评论信息。 脚本将获取到的评论数据存储到CSV文件中，包括评论人、评论内容、日期和视频地址。通过这种方式，我们可以了解到用户对特定视频的看法和态度，为我们的分析提供有价值的信息。

后端使用springboot+spring security框架，前端使用vue3框架，视频处理方面采用stable diffusion，音频处理采用qwen大模型，旨在帮助影视后期工作者减小剪辑视频、添加字幕等压力，能够进行风格转换，生成不同风格的视频，提供更多灵感

1.项目整体分为数据拿取，脏数据去除，去重，入库 2.整个项目当中基本都有涉足，主要在于数据拿取和脏数据去除，数据去重通过数据的md5以及scrapy框架和redis进行去重，采用了scrapy分布式进行爬取数据，最终实现每隔几分钟进行一次更新数据拿取 3.部分网站会有验证码需要解决，通过网上开源代码进行破解以及第三方验证码公司进行破解

使用python爬虫将豆瓣电影信息爬取到文档，使用到requests，xlwt，etree。该案例经过修改可以实现大部分网站公开数据的爬取并保存到文档中

本作品使用Python编程语言和DrissionPage库中的ChromiumPage类，实现了一个针对BOSS直聘网站上携程旅游相关职位信息的爬取工具。该工具能够自动访问指定网址，爬取并解析职位列表的JSON数据，然后将提取的信息存储到CSV文件中。 脚本首先定义了CSV文件的列名，包括工作名称、能力要求、工作城市、薪水和公司名称。随后，脚本通过循环爬取多页职位信息，并对每个职位的信息进行提取，包括工作名称、能力要求、工作城市、薪水和公司名称。这些信息被存储到CSV文件中，以便后续分析和使用。

1.通过Request包获取KS视频 2.使用Vue构建网址展示 3.使用Django构建后端程序 1.通过Request包获取KS视频 2.使用Vue构建网址展示 3.使用Django构建后端程序

1服通过scrapy框架拿取国内外新闻资讯，视频等 展现在公司app内 2.主要负责新闻以及视频的拿取，通过xpath去除脏数据，playright拿取评论，并存储带mysql中 3.部分网站有http2的反扒以及对header请求头的识别，通过升级http请求和可动态添加header请求头等方法解决

算法的博客地址：https://blog.csdn.net/zhulong1984/article/details/125155862 视频质量诊断，之前由于数据不足，采用传统的方法进行检测，当前已经积累了一些数据，采用分类模型做了训练和检测工作，主要有：亮度异常检测、偏色检测、图像噪声检测、条纹噪声检测、清晰度检测、信号丢失检测、遮挡检测和对比度检测。具体的检测方法如下： 一、对每类数据进行整理，每类数据需要准备大概1w张数据左右； 二、选择分类网络，可以使用ResNet系列、DenseNet系列、VGGNet、Densenet系列的分类模型，根据自己的使用习惯，随意选择一款即可； 三、模型转化，当模型训练完毕后，想要封装成C++代码，最好先转成onnx的模型，之后通过opencv的接口进行调用，通过模型训练后，检测的精度可以达到90%以上。 四、结合传统算法，深度学习模型只能解决部分算法问题，还有一些算法需要使用传统的分析方法，具体的算法实现，还需要参考我的另一篇博客，这样可以完美解决当前项目的需求。 整个数据的筛选也比较耗时，把之前积攒的十几

项目分为前端页面，数据处理，后端接口三个模块， 实现功能海量数据的查询以及存储 使用python完成接口实现数据的多维度展示

1.基于 Kubeflow 研发 AI 作业全生命周期产品，包括 MLOps Pipeline 、数据特征工程、制品元数据管理、模型训练及推理功能。 2.基础设施层面 GPU 算力共享、RDMA 拓扑感知、Fluid 对象存储加速、Volcano 多场景调度、AI 作业训练推理性能优化。 3.基于Ray、DeepSpeed分布式训练及推理工程实践实现大模型业务场景私有知识库、智能对话的产品功能。 4.打通 IoT 边缘计算集群 云端 基于 Python Web框架 KubeEdge 开发管理边缘计算节点、应用及设备，边缘路由、AI 模型及数据等功能。 边缘端 基于 Python TensorFlow 开发 AI 应用代码编译发布升级、数据上报、模型训练升级等功能。

知道创宇加速乐产品ＷＥＢ平台功能开发，产品前台官网地址为https://www.yunaq.com/，后台功能地址为https://defense.yunaq.com/jsl_manage/manage，产品web 前后台皆为python的Ｄjango框架开发，本人负责Django + 前端的全栈开发，经历了产 品研发初期到产品大规模盈利的几次改版的研发过程，主要工作内容为完成产品迭代功能开发与产品 bug 的修复，保障网站控制台功能的正常稳定运行。

可以从excel中的详细数据表提取指定工步的最高最低温度，主要用到datafame，先将excel中的详细数据表通过pandas库中的datafame转换成一个python可以读取的数据框架，再通过一系列的条件查询获得需要的数据，最后将数据保持在新的excel表中。

安易保APP 所属行业：互联网金融 公司主要业务：手机移动出单app是满足为了用户能够快速承保、自助查询、理赔报案、车险快速报价而开发的产品 系统介绍： 安易保主要模块包含：在线投保、一键续保、个人中心、报案理赔、自助查询、车险报价模块 责任描述： 制定测试方案、测试用例设计/编写、功能测试、Appium测试框架搭建/维护等工作 技术描述： 1、产品需求评审、测试需求分析、测试方案&计划、用例等建立、评审、测试总结； 2、系统自动化测试环境搭建，脚本维护。使用pytest+appium+Yaml+Allure+jenkins构建持续集成； 4、对产品负责、全程跟进产品质量，定位测试发现的Bug，以及市场反馈的Bug；协助开发解决。

本作品是一个利用Scrapy框架和BeautifulSoup库编写的豆瓣250电影评论爬虫。该爬虫旨在从豆瓣电影网站上获取250部最热门电影的评论数据，并将其存储到本地CSV文件中。 爬虫首先定义了起始URL，并设置了要爬取的页数。通过重写Spider的parse方法，爬虫能够解析网页内容并提取影评信息，包括昵称、评分、评论时间、地点、点赞数和评论内容。这些信息被存储到DoubanItem对象中，并通过生成器表达式返回给Scrapy框架处理。 爬虫使用了Scrapy的follow方法来自动爬取下一页的评论，直到达到设定的页数。整个爬取过程采用了递归的方式进行，以实现对多页评论的连续爬取。

由于各生产车间停台信息不透明，无法做到全部如实上报，开发了这个停台系统，可以查看各个车间，工段，工位的实时停台信息。 我负责前端图样展示，使用VUE3，JavaScript等。

使用yolov8对交通标志进行检测，并添加了四个改进点，改进效果明显，提点7个左右，并有可视化界面。使用yolov8对交通标志进行检测，并添加了四个改进点，改进效果明显，提点7个左右，并有可视化界面。

1.使用scrapy框架实现某些网站数据的爬取； 2.为了实现高效的数据爬取，集成了redis分布式爬取插件； 3.某些网站还借助了selenium模拟浏览器，简单的实现复杂的登录行为

期末大作业，由我一人完成，自学一星期爬虫，两天scrapy框架，爬取b站视频评论并进行一些可视化分析。期末大作业，由我一人完成，自学一星期爬虫，两天scrapy框架，爬取b站视频评论并进行一些可视化分析。期末大作业，由我一人完成，自学一星期爬虫，两天scrapy框架，爬取b站视频评论并进行一些可视化分析。

识别杂草和虫害，根据不同程度进行喷药，自制小车适合田间作业，语音播报虫害情况，如果面积较大，小车会向无人机发送指令和基于雷达构建的地图进行范围定位空中喷药