Python

功能模块：运行数据导入，数据图形化，数据分析（Morris，Sobol分析法），分析结果图像化 负责：该程序由本人独立完成

功能：在数据敏感性分析前，根据样本数量，生成Morris输入数据，再得出相应输出，然后进行模拟计算 由本人独立完成

程序功能模块和用户功能解析： 这个程序是一个网页爬取工具，主要包含以下功能模块： 用户界面模块： 使用 PyQt5 库构建，提供图形界面，让用户可以方便地输入关键词、选择搜索引擎、设置爬取页数和导出目录等参数，并查看爬取状态和结果。 爬取模块： 利用 requests 库发送网络请求，获取网页内容；使用 BeautifulSoup 库解析 HTML 内容，提取标题、日期、链接和正文等信息。 并发处理模块： 使用 concurrent.futures 库实现并发爬取，提高爬取效率。 文件处理模块： 将爬取结果保存到文本文件中，并提供文件列表、复制和删除等功能。 日志记录模块： 使用 logging 库记录程序运行过程中的信息，方便调试和监控。 用户可以使用这个程序实现以下功能： 根据关键词，从指定的搜索引擎中爬取多个网页的内容。 选择爬取页数，控制爬取范围。 选择导出目录，方便管理爬取结果。 查看爬取状态和结果，包括字数、字符数等统计信息。 复制爬取结果到剪贴板。 删除不需要的爬取结果文件。 我的任务、技术栈和成果 在这个程序开发中，我主要负责以下任务： 设计和开发用户界面，包括布

程序功能模块和用户功能解析： 这个程序是一个网页爬取工具，主要包含以下功能模块： 用户界面模块： 使用 PyQt5 库构建，提供图形界面，让用户可以方便地输入关键词、选择搜索引擎、设置爬取页数和导出目录等参数，并查看爬取状态和结果。 爬取模块： 利用 requests 库发送网络请求，获取网页内容；使用 BeautifulSoup 库解析 HTML 内容，提取标题、日期、链接和正文等信息。 并发处理模块： 使用 concurrent.futures 库实现并发爬取，提高爬取效率。 文件处理模块： 将爬取结果保存到文本文件中，并提供文件列表、复制和删除等功能。 日志记录模块： 使用 logging 库记录程序运行过程中的信息，方便调试和监控。 用户可以使用这个程序实现以下功能： 根据关键词，从指定的搜索引擎中爬取多个网页的内容。 选择爬取页数，控制爬取范围。 选择导出目录，方便管理爬取结果。 查看爬取状态和结果，包括字数、字符数等统计信息。 复制爬取结果到剪贴板。 删除不需要的爬取结果文件。 我的任务、技术栈和成果 在这个程序开发中，我主要负责以下任务： 设计和开发用户界面，包括布

慧眼安全检测平台是基于行业化合规的主动安全管理产品。可作为行业监管部门的监督检查工具，快速摸排资产、精准定位风险隐患，及时响应通报并推动整改；可作为行业化关键信息基础设施的管理和监控平台，结合安全事件，帮助用户进行资产梳理，评估漏洞影响，快速处置，形成安全管理闭环。 我负责检测引擎开发

该项目聚焦于大数据挖掘与社交媒体情绪分析领域，借助Python的数据挖掘技术和自然语言处理（NLP）工具，对海量推特数据进行了深度挖掘与精细解析。首先，项目运用爬虫技术获取大量推文数据，并对其进行清洗、预处理和结构化存储；随后，通过情感分析模型，从文本中抽取出用户的情绪倾向，如积极、消极或中立态度，并揭示其随时间、话题变化的趋势。 在此过程中，项目不仅绘制了反映推文情感分布的时间序列图，还采用了词云、热力图等多种可视化方式，直观展现了热点话题的情感色彩及关键词频次，从而为理解公众对特定事件或议题的社会情绪动态提供有力依据，同时也验证了数据挖掘与情感分析技术在社交媒体舆情监控中的强大功能与应用价值。

本项目完全独立开发完成。 通过asyncio、aiohttp获取数据并且提升代码效率。 7211张图片在35s内完成获取。 图片保存在文件夹内。

项目名称为无代码自动化测试用例开发平台，简化自动化测试用例开发，真正做到无代码开发自动化测试用例，极大提升自动化测试用例开发效率并降低维护难度。原有的自动化测试用例是基于xpath和自研的浏览器插件开发的模拟浏览器点击的方式(可以理解为Selenium)，但由于xpath路径会经常变化，随着用例数量的增加，维护变得十分困难，于是决定采用模拟操作系统的坐标点击和模拟浏览器的xpath点击混合的方式开发自动化测试用例(主要依赖于坐标模拟点击)，并通过在关键点击步骤处截图，然后对比基准图片簇来判断用例执行是否达到预期效果，从而判断用例是否执行成功。 该平台包括有执行器，任务调度管理器及管理页面，用例报告展示页面，图片展示对比替换页面，用例步骤对比提取页面。 其中执行器是在执行机上运行的，负责执行自动化测试用例脚本并截图上传到ftp; 任务调度管理器负责任务分配和执行机分配，以达到充分利用执行机群快速跑完所有用例的目的，管理页面可以分配机器，分配用例；用例报告展示页面可以展示用例执行信息，一个页面就可以查看所有用例的执行情况；图片对比替换页面集中展示所有用例的所有图片以及它们的对比情况，用户可

项目分为三个模块： 1.爬虫模块：利用selenium webdriver来模拟人工访问浏览器实现自动获取网页信息 2. 数据清洗模块：利用Spark来进行数据清洗 3. 可视化模块：用Vue+springBoot框架来进行搭建，运用了Echarts组件来实现可视化图表

之前只有一个IDC在托管物理服务器，为了防止IDC出现问题，在阿里云上启用一个灾备机房做备节点使用 负责对云机房的前期整体规划、环境部署、项目迁移等工作

该项目专注于图像识别技术与图像压缩降维算法的研究与应用。利用Python深度学习框架，我们构建了一套高效的图像识别模型，能够准确识别各类目标物体，显著提升了图像内容理解和自动分类的能力。同时，在保证识别准确度的前提下，引入PCA、LDA等降维方法对原始高维图像数据进行有效压缩，降低了数据存储成本和计算复杂度。结合可视化的手段，生动展现了降维前后图像信息的变化，以及降维处理对于图像识别性能的影响，实现了在图像高效识别中兼顾存储资源优化的目标。

APT威胁检测产品负责引擎检测和相关web业务开发. APT检测产品在技术上已经实现了对传统IDS产品功能的覆盖和超越。特别是在对未知威胁和高级持续性威胁的检测和研判过程中，IDS只能依据已有特征做判断，对于0Day、高级恶意文件、远控、隐蔽隧道等行为基本没有感知能力，也不具备将单点告警信息关联在一起以更高的事件视角来判断威胁的能力

功能模块：大量分析数据无法直接及逆行阅读分析，必须通过图像化，对分析结果进行对比，通过图像表格等方式才能直观表达出数据分析结果。 由本人独立完成

参与设计新闻类静态页面的采集框架， 针对不同来源的新闻网站，只需配出其针对的xpath以及正则即可。 其中，大框架可以提取主要内容，针对文本、图片、以及视频的下载与保存。

★全国政策产业项目（58 同城） 2022.9~2023.02 项目技能： python SQL 指标拆解 数据产品 项目背景： 公司企业产业服务产品要添加企业政策支持新模块，现有内部数据库缺失数据，需要我与用 户需求为前提给出并实施政策模块产品的数据采集、加工方案。 项目职责： 1. 方案设计：拆解用户痛点，分析产品现状，设计数据采集、加工方案； 2. 数据采集：使用 python 编写爬虫脚本，采集全国政策数据； 3. 数据加工：使用 python 针对政策数据产业与产业链标签分类进行建模。； 4. 数据落地:与产品共同完成政策产品的展现方式，并陆续跟进产品的迭代。 项目成果: 1. 爬取到 180 万条政策数据，经过清洗去重获得到 130 万条政策数据，通过产业标签赋分模型使标 签模型准确率达到 95%以上； 2. 提出政策产品后期跟新建议以及数据解决方法。

本Python统计分析与可视化项目对多个经济指标数据进行了深度探究，利用Pandas进行数据处理，揭示了各指标的分布特性，并借助Matplotlib和Seaborn进行图形化展示。通过对GDP、失业率、通胀率等关键指标的相关性分析，采用可视化手段直观展现各变量间的关系模式，为理解宏观经济运行机理提供了有力的数据支持

算法研发成员项目描述: ·数据处理:专注于宫颈癌细胞的小目标特征,通过图片切片、旋转、缩放、平移、裁剪、模糊等多种手段对数据集进行增 强,提升模型对复杂样本的适应性。 ·模型训练与优化:基于yolov8架构并引入effcientvit注意力机制,有效提升了模型对关键信息的捕捉能力,同时降低 了计算复杂度。 ·切片质量检测:通过提取细胞图像中的形状、纹理、频域等特征,执行细胞计数和模糊检测,筛选出质量不合格的切片, 确保数据质量。 项目结果: ·实现了细胞层面的识别准确率超过78.8%。 ·在病例层面分级的准确性超过65%,敏感性超过88%,特异性超过70%

网页数据爬虫，用于房产数据研究，利用python爬虫技术采集土地拍卖数据，并对数据进行过滤处理，筛选出需要的数据，根据事先预定好的数据格式输出数据，并保存至数据库中。

本项目全程独立完成。 使用requests进行数据的获取，通过线程池进行代码抓取效率提升，通过MySQL进行数据的存储（也可以通过MongoDB保存数据）

根据企业统一社会信用代码，使用Python采集北京企业纳税人类型，对数据进行过滤处理，筛选出需要的数据，用于区域企业研究，数据采集源代码。