Python

1.作品使用scrapy框架进行异步爬取 2.主要负责网站抓取需要信息，存储为excel格式 3.注意频率，频率太高会被后台检测到导致封号和反爬等一系列触处罚

项目分为权限管理、资源管理、镜像管理、任务管理、数据管理、文件管理、系统运维、日志管理以及其他一些使用功能模块，主要作为算法工程师，运维管理人员，科研团队打造的人工智能集群管理平台，它通过整合资源、镜像、算法框架，让算法工程师、科研团队可以方便地实现模型的开发与训练。同时，它也让运维管理人员可以方便地实现资源分配、监控、多级用户管理的能力。 其中所有的前端、后端代码实现均有我们团队进行需求沟通、规划、编码和发布，使用了前端VUE、后端golang+mysql、基础设施端使用docker+kubernates以及TensorFlow、Pytorch等深度学习框架。

本人对前端页面及后端服务进行了完整的从设计到开发的完整过程，在该项目中，前端使用vue框架而后端使用Django框架进行开发。除页面外还有实现数据清洗的代码也由本人进行开发

本系统用于律所对案件、收款、发票、税费、结案、律师工资等相关财务数据进行综合管理与自动核算。我独自一人完成整个系统的所有部分开发。 系统主要功能包括： 1：主页展示各项指标数据 2：律师自行结案，分配案件资金 3：导入银行流水，自动将汇款金额匹配到案件 4：导入发票明细，自动将开票金额、税额匹配到案件 5：系统会根据各律师预设的每月扣费项（社保、房租、助理……），自动生成相关费用 6：预设律师扣费项的金额与扣费周期 7：系统可逐一打印所有律师某月的结案一览表 8：系统会根据结案分配、扣费、提成……核算所有律师某月工资，以及当年累计、发放、结余 9：系统会在年底根据结案分配比例、发票、税额、税率，核算所有律师应承担的税额，以及年终结算 10：财务分析会统计某年各项指标数据 11：律师可在日历表中创建日程 12：现金银行日记账供财务使用 13：导入配置可将所有需要导入的Excel表格的字段名与列号同系统对应，便于导入

大数据处理：每日处理上亿级别的日志，为后续机器学习或数据分析提供数据资料，保证后续分析平台的稳定正常运行。 大数据自动化业务流程 在指定的时间自动启动任务，确保按正确的顺序执行，提供一个图形化界面，实时监控每个任务的进展情况。

用于品牌方将商品发布到订货会系统，代理商登录系统进行下单订货。我独自一人完成整个系统的所有部分开发。 系统主要功能包括： 1：主页展示各个商品、各个店铺的定量，以及商品属性定量占比 2：商品橱窗列表选择 3：商品下单 4：登录账户下的订单提交、汇总、明细 5：所有店铺的订单审核、汇总、明细 6：渠道订单按商品颜色与尺码生成总览表 7：渠道订单按属性维度（例如店铺）统计定量 8：渠道订单按交叉属性维度统计，例如横向为品类，纵向为设计师，统计内容为定量

采集过的网站： Bilibili, 百度百科, Boss 直聘, 豆瓣读书, 抖音, 京东, 京东商品+评论, 链家, 天猫, 淘宝, 知乎, Taptap等 技术介绍： HTTPX等网络工具，非常快速，有效地获取数据。 模拟浏览器环境（如Selenium, Puppeteer, Headless Browsers等）来进行网页数据抓取的行为。 模拟用户真实浏览器行为：模拟人的动作，比如点击按钮、滚动页面、填写表格等。 处理动态网页：有些网站的内容不是一开始就全部显示出来的，而是你浏览的时候慢慢加载出来的。这些工具可以等待这些内容加载完，然后再收集信息。 处理JavaScript生成的页面：浏览器抓取工具可以执行JavaScript，然后把这些动态生成的内容也收集起来。 通过代理IP，解决IP访问限制，够模拟真实用户行为，绕过许多基于用户行为的反爬虫机制。

目前为了更好的实现网络可编程能力，提高自动化水平，提出了Netconf和Restconf协议，作为配合的数据建模语言YANG（Yet Another Net Generation） Model也应运而生。它是一种建模语言，用于描述网络概念。它可以非常简单地用结构化语言描述出一个网络设备。 但是在某些场景下，网络工程师也需要传统的命令行客户端工具（command cli）对网络进行配置，而为每一个配置编写命令行客户端代码是重复且低效的工作。既然已经有了YANG Model作为网络配置的描述，我们设计开发一个自动化生成工具，根据YANG Model提供的配置信息，自动生成命令行客户端代码。

本人完成了某漏洞的利用工具编写，可实现外网突破，并搭建隐蔽通道，进行利用。由本人一人完成，且只用于授权测试使用。

1.提取测绘平台中的370万条网站数据。基于其部分数据建立基于BERT的表征转化模型和基于FastText的快速文本分类模型。 2.完成拓线系统的建立和可视化框架的设计。拓线系统能够根据用户输入的关键词或者网址，在海量资产中快速定位公害资产，并进行拓线展示，实现大规模公害资产发现的能力。 3.系统验证结果表明，本文设计的系统能够有效提高用户对批量公害网站查找需求，并且能够进行拓线流程的可视化展示，便于用户使用。 以上全由本人一人实现

一个抽奖玩法的电商app 我主要负责产品设计，过程管理，部分功能开发， 运营材料等工作 核心玩法设计和算法编写

研究不同的策略和模型对验证码的识别影响 研究参考的目标网站是条形码查询网（http://tiaoma.cnaidc.com/），可以查询条形码所对应的商品信息。

线上贷款申请，用户风险分析，渠道推广，收益管理，贷后催收，法诉流程，账务分析 线上贷款申请，用户风险分析，渠道推广，收益管理，贷后催收，法诉流程，账务分析 线上贷款申请，用户风险分析，渠道推广，收益管理，贷后催收，法诉流程，账务分析 线上贷款申请，用户风险分析，渠道推广，收益管理，贷后催收，法诉流程，账务分析

数据可视化案例,通过已有数据通过html5展示,数据可视化案例,通过已有数据通过html5展示,数据可视化案例,通过已有数据通过html5展示

创建抽象类,创建子类继承抽象类,展示面向对象封装,继承,多态特性,创建抽象类,创建子类继承抽象类,展示面向对象封装,继承,多态特性

母婴家政行业内部CRM系统 负责线索入库、分配流转、客户跟进、商品管理、合同订单、收款开票、权限配置等模块

产品是一种安全产品或解决方案，用于检测和响应企业网络和终端设备上的威胁和攻击。它是一种综合性的安全工具，整合了多个安全技术和功能，旨在提供更全面、智能和集中的威胁检测、响应和管理, 旨在强化企业的安全防护能力，帮助企业发现和应对高级威胁和攻击。 1. 构建基于SpringBoot的微服务架构，实现云上部署，确保系统的可伸缩性和高可用性。 2. 设计并实施基于SpringBoot与K8S的敏感信息加密部署方案，以满足部门加密SDK和安全要求。 3. 开发OpenAPI开放性接口链路，并编写Apisix插件，为第三方设备提供可靠的接入链路。 4. 负责安全事件统计，优化基于Mongo的数据查询统计，提升数据处理效率。 5. 设计基于云原生应用环境的授权链路框架，实现定制化功能和自动化部署，加强系统的安全性和可管理性。 6. 开发基于Pulsar的实时系统通知模块，将安全威胁消息实时推送至微信公众号，提高响应速度和用户体验。 7. 设计自动化流水线，分层测试系统功能，并分析解决性能瓶颈，确保系统稳定性和可靠性。 8. 解决云上持续集成环境问题，负责线上客户问题反馈及需求闭环，维护系统稳定运行 9. 定义系统日志规范，开发基于ELK的运维日志采集统计

一个命令行工具，可以在终端中以TUI的方式查看和修改 BIOS 选项，同时也支持命令模式，可以用于在脚本中使用来实现某些自动化工作。

是一套供平安寿险坐席人员培训学习的系统。主要有 演练模块、通关模块、学习模块、话术平台、数据报表、系统管理等主要模块。系统 分为 admin 端和 client 端，采用前后端分离的开发模式。并通过 kettle 工具同步人 管系统的坐席人员及相应的权限信息。 参与该系统所有模块的开发及问题优化。解决相应的生产问题、设计数据库表以及解 决表数据迁移问题、配合产品开发新需求，协助技术经理对每月底的版本发布做准备 工作；协助测试进行生产验证，负责产品的性能优化提升用户体验等。 指导新入职的同事对项目的理解，负责代码的审核以及在开发过程中所注意的问题

根据用户提供的数据， 自动填写录入某网页的内容， 因为自身工作需求， 该脚本应用从功能到UI界面由自己单独制作。