Python

使用requests对小说网站进行爬取，对小说网站的搜索页分析并展示给用户选择，选择完毕后进行多线程下载小说，支持代理池 全程个人开发，使用pycharm作为开发软件 难点是对于小说搜索页搜索的时候会出现一个图形验证码，我做到了可以识别验证码并通过requests校验验证码，通过后获取网页数据

该系统包括运行在IMS核心网节点中的SIP信令协议栈以及其上层信令网关中间件。系统支持分布式部署，支持高可用scale up and scale down。

基于py针对各个中间件信息进行采集，自动注册发现接入监控自动化平台 基于现有监控自动化巡检相关资源生产报告发送邮件

涉及模块：PythonPlaywright（用于网页自动化操作）JSON（用于数据存储和读取）正则表达式异步编程（asyncio） 【60%】项目分为多个功能模块，主要实现了自动化搜索岗位信息、匹配符合条件的岗位，并提供详细信息展示功能。 【40%】我负责编写Python脚本，利用Playwright实现网页自动化操作，实现了对招聘网站岗位信息的自动化搜索和筛选。通过异步编程提高了效率，并利用JSON存储数据。最终，成功实现了按照设定条件匹配并展示符合条件的岗位信息的功能。 难点：网页内容的异步加载、岗位信息的动态变化以及数据存储与读取。通过深入理解异步编程原理，合理设置等待时间和事件监听器，以及使用JSON进行数据持久化，解决了这些难点。

需求是按关键字在文书网查询需要的案例并导成excel文件。 难点是需要绕过该网站的身份认证与对查询响应回来的结果解密。

该项目主要涉及到python爬虫技术，需要根据客户的需求去定义数据量，查看网站使用的反爬技术去进行数据采集和保存

应用技能：SpringBoot、redis、elasticsearch、rabbitmq、encached、quartz、keycloak 项目描述： 识之是一款在线视频学习网站，用户可以在识之网站进行视频课程购买、活动报名、填写笔记和内部讨论交流的一款学习平台 识之包含：管理系统、权限系统、官网、小程序 项目模块：视频、笔记、订单、会员、主办方、讲师 责任描述： 1)参与系统需求沟通与探讨、模块设计、拆分、研发（含代码重构）等工作 2)负责团队成员资源协调，功能划分与分配，对团队代码质量和项目进度进行把控与汇报 3)负责并搭建并接入keycloak权限管理系统 4)负责核心模块（如：视频、笔记、学习小组）等研发工作、参与其他功能模块研发 5)负责对接第三方视频网站进行数据采集 6)负责对接帆书（樊登读书）等教育平台，提供多种文娱内容和拉新渠道 7)负责并使用Jenkins搭建内部部署系统 8)负责搭建对外API系统，并编写API对接文档，与多个下游渠道对接，并提供技术支持 9)设计并搭建allure2自动化测试平台，保证系统稳定性 10)负责生产环境搭建与项目部署、参与系统测试、运维

基于个人需求开发的工具，有宝宝之后手机照片和视频占了很大的空间，又不希望存档在云端。Iphone拷贝照片又很麻烦，照片太多，又难以整理，针对这些问题，实现了以下功能： 1. 将手机（Iphone和Android）上的照片，转移或者拷贝到电脑上，给手机释放空间 2. 对电脑上的照片，根据照片上的信息获取时间和地点，进行归类整理 3. 对宝宝照片，根据月龄/年龄，进行归类整理 还未实现功能： 1. 自动识别宝宝照片，进行归类

【60%】项目分为多个功能模块，主要实现了自动化爬取指定网站的信息，并将数据存储为JSON格式文件。 【40%】我负责编写Python脚本，利用Requests库发送HTTP请求获取网页内容，使用BeautifulSoup库解析HTML页面，提取所需信息，并将信息存储为JSON文件。最终，成功实现了自动化爬取指定网站信息的功能。 难点：网站反爬机制和数据结构解析。通过设置合适的请求头模拟人类操作、使用代理IP等方法规避反爬机制；通过深入了解HTML结构和BeautifulSoup库的用法，解析并提取所需信息。

【60%】项目分为多个功能模块，主要实现了自动化备份指定文件夹下的文件，并按照日期进行存档，保证数据的安全性和可恢复性。 【40%】我负责编写Python脚本，利用 os 模块遍历文件夹下的所有文件，使用 shutil 模块实现文件的复制和存档，利用 datetime 模块获取当前日期并创建对应的备份文件夹。最终，成功实现了自动化备份文件的功能，让用户无需手动操作即可保护重要数据。 【选填】难点在于如何处理文件名和目录名中的特殊字符以及大量文件的复制和存储过程中可能出现的异常情况。通过使用 os 模块的相关函数处理特殊字符，并在 shutil 模块的文件复制过程中加入异常处理机制，确保程序的稳定性和可靠性。

1. 使用大模型结合prompt进行信息抽取 2. 使用fastapi听过http请求 3. 对请求进行预处理和对模型的返回结果进行后处理并返回

1 主要用于自媒体账号运营，用于自动生成文章图文视频等并自动化发布和评论 2 主要用于爬虫技术以及无头浏览器

数据分析涉及多个方面的工作操作，以下是其中一些常见的任务： 1. **数据收集**： - 从各种来源收集数据，包括数据库、日志文件、调查问卷、传感器等。 2. **数据清洗**： - 清理数据，处理缺失值、重复值、异常值等，确保数据质量。 3. **数据探索性分析**： - 通过可视化和摘要统计量等方法探索数据的特征、分布、相关性等，以便更好地理解数据。 4. **特征工程**： - 根据业务需求和数据特征进行特征提取、转换和选择，以便更好地反映数据的实际情况和提高模型性能。 5. **建模与分析**： - 使用统计方法、机器学习算法等对数据进行建模和分析，以解决特定的问题，例如预测、分类、聚类等。 6. **模型评估与调优**： - 评估模型的性能，并根据需要对模型进行调优，包括参数调整、特征选择等。 7. **结果解释与可视化**： - 解释分析结果，向非技术人员或决策者传达分析结果，并通过可视化方法直观地展示结果。 8. **报告撰写与沟通**： - 撰写数据分析报告，清晰地陈述问题、方法、结果和结论，与团队或客户进

项目名称：web自动化测试 应用技能：python、pytest、allure2 项目描述： 这是一款自动化测试框架,包含案例、测试流程、测试报文、测试图表等等模块 责任描述： 此框架包括测试案例编写全部由本人完成，还支持一键切换8国语言，开发简单

基于数据安全，自己统计全家收入和支出。 1. 使用表格展示数据 2. 使用pyecharts的饼图显示结果 3. 使用sqlite3或mysql进行存储 4. 简单的增删查改 5. 使用PyInstaller和Inno Setup编译成安装软件，目前只编译了exe文件。

本项目包括前台的充电桩程序完成插枪、充电、设备状态及充电状态等检测和上报。充电桩通过mqtt协议上报后台上报电桩数据， 后端Mqtt服务接收于前端电桩数据，根据协议解析、分析、更新数据。 后端管理平台保存用户角色管理、充电桩管理、订单管理、编码管理、用户信息管理、数据分析、 储值卡管理、退款及发票管理、e充网对接模块、道闸对接模块。微信服务号程序(用户扫码充电)、实时任务和定时任务等 负责工作: 后端mqtt服务开发(python)，后台管理平台开发(django)，实时、定时任务开发(celery), 服务号开发(前端和api接口)、与电桩协议对接和测试。 技术栈：python django celery 成果：目前本项目已经在线运行4年，满足客户的需要，系统内运行60多个电站。

项目简介：基于 Langchain RAG 框架的自定义知识库对话系统 1. 功能模块及用户功能： 对话接口： 用户可以通过文本输入与系统进行自然语言对话。 系统能够理解用户的查询并返回相关信息。 知识库检索： 系统能够从事先构建好的知识库中检索相关内容，以支持对话中的信息提供。 用户反馈： 用户可以通过点击按钮提供对话结果的反馈，包括正确性、流畅性等方面的评价。 2. 我的任务、技术栈与成果： 任务： 搭建自定义知识库对话系统，提供高效、准确的信息查询服务。 技术栈： 使用 Langchain 提供的 RAG 框架作为对话系统的核心。 选择 Qwen-14B-Chat 作为基座模型，具有强大的对话生成能力和对话理解能力。 使用 Streamlit 框架重新设计前端界面，提供用户友好的交互体验。 成果： 成功搭建了一个自定义知识库对话系统，能够通过与用户交互，提供准确、丰富的信息支持。 引入了用户反馈功能，能够持续收集用户的评价数据，用于优化系统性能和调整知识库内容。 3. 难点与解决方案： 难点： 如何有效地组织和索引知识库中的内容，以便快速、准确地进行检索。 解决方案： 使用

【项目描述】 主营小额信贷，保险，基金等业务，技术中心业务版块众多，我所在版块主要负责贷后催收，开发任务包括国内和国外催收相关业务、自研呼叫系统、利用大模型设计的文本机器人。我入职后主要负责国外相关催收业务。 所在版块只有PC端。前端采用Vue，后端采用springBoot；系统日志采用华为云；数据存储包括MySQL、Redis、阿里云oss；RabbitMQ做异步存储，流量肖峰；自研呼叫系统采用WebSocket；基础设施包括Docker、Jenkins、Git、WIKI、jira等；实现了企业催收操作智能化。 【职责】 负责贷后催收研发任务，案件入催、案件分配、减免管理等 优化功能列表相关sql 负责自研呼叫系统pc端java重构

一个简单的闲聊机器人，基于transformer堆叠而成的模型，tokenizer取自hugging face网站的DIalogGPT的tokenizer（因为自己弄实在太麻烦），语料用的是小黄鸡的语料。

一个pdf工具，pdf移除水印，支持图片版pdf移除水印，pdf锁强制解除，将一个pdf转为多个图片并保存，也可以逆向将多个图片转为一个pdf， pdf操作库为fitz，图片水印去除使用了pillow，使用阈值算法去除阈值内匹配的像素点