Python

项目描述 在我负责的项目中，我负责了数据爬取、解决滑动验证码反爬措施、数据清洗、后端API搭建和前端数据呈现三个核心环节，展现了我在全栈开发领域的能力。 1. 在数据爬取阶段，我利用Python编写了爬虫程序，成功自动化地从前程无忧网站上抓取了大量的岗位信息。这一过程中，我不仅掌握了网络请求、数据解析等关键技术，还通过编写高效的代码，确保了数据的准确性和完整性。 2. 在后端API搭建环节，我使用Python Web框架构建了Flask API服务。我设计了灵活的路由，能够接收并处理搜索条件和分页参数，实现了对数据的高效过滤和搜索。通过编写健壮的后端逻辑，我确保了API服务的稳定性和响应速度，为用户提供了流畅的交互体验。 3. 前端开发方面，我利用layui框架创建了一个直观的搜索页面。我负责页面的布局设计、功能实现以及与后端API的通信。通过精心设计的用户界面和流畅的交互逻辑，我提升了用户的使用体验，使得信息检索变得更加高效和愉悦。 通过这三个阶段的紧密协作，我成功地将复杂的数据爬取、处理和展示流程转化为用户友好的服务，极大地提升了工作效率和用户满意度。我的项目经历不仅证明

负责针对不同网站以及app，编写爬虫，采集数据并做简单分析。 主要技术：C#、Python、Selenium，Jadx、Frida等反编译工具 项目职责： 1. 负责将分析师提出的需求转化为具体的实现，并提供报表。 2. 针对不同网站，采用不同爬虫策略，编写稳定，可维护的爬虫系统项目。 3. 针对不同网站的反爬措施，研究对应的反反爬策略。 部分项目列举如下： ● 直播类：陌陌、虎牙、斗鱼、yy等直播平台在线人数、订阅量、主播收入主要信息等抓取 ● 游戏类：Wow服务器状态，各应用市场app下载量等信息抓取，微信，qq端游戏排行榜 ● 生活服务类：安居客二手房抓取，58同城广告业务 ● 电商类：网易考拉、严选等平台商品信息以及销售额抓取。 ● 视频类：爱奇艺，乐视，搜狐，腾讯，优酷视频播放量抓取 ● 微博Mobile&PC广告抓取 ● 京东微选小程序端抓取 ● Bilibili用户付费用户，视频等信息抓取 ● 快手广告抓取。

1. 提取数据并导入 2. 使用Panda进行数据整合以及使用tsfresh提取接近1000个数据特征 3. 对特征进行筛选，选择最能提示聚类算法效率的n个特征作为数据特征

本项目为Blidz电商平台消费者端。主要负责了以下部分： 1. 负责视频流的开发，从第三方平台（如Youtube）抓取短视频，并上传至内部系统，最终通过Feed流展现出来。 2. 负责货币系统的开发以及新老数据的迁移。 3. 其他相关开发与维护。

护网项目，对天眼态势感知系统进行告警监测，对发现的紧急事件进行分析研判，封堵IP；与二线同事对接安全设备调试工作；设备巡检以及日报编写；期间溯源利用弱口令进入攻击队资产搜集系统后台，编写报告；内部攻防演练期间发现信息泄露漏洞一枚；

微信小程序，后端使用python语言，小程序包含视频培训学习版块、商品版块、订单处理版块、我的签单记录等版块。

本项目致力于解决小区服务业在协助小区管理时遇到的问题，基于深度学习算法，使用海康摄像头，协助物业进行管理，功能包含：垃圾满溢检测， 地下车库违停检测，异常起杆检测，单元门长时间未关闭检测，监控室人员离岗、打瞌睡检测，电梯人流统计，电梯困人、挡们、电动车进入电梯检测，翻越围墙检测等功能。异常发生时，记录并即使提醒小区物业人员。

Scrapy来爬取球探网的数据:可以爬取球员数据,包括球员名称、年龄、身高、体重、位置、球队，历史比分等信息。通过浏览器开发者工具查看页面元素,确定数据位置,以便后续定位提取。使用requests获取页面:构造请求获取不同位置的球员数据页面。使用BeautifulSoup解析页面:解析页面HTML文档,使用CSS选择器或XPath提取包含目标数据的标签内容。 使用正则表达式提取数据:对提取的文本内容使用正则表达式进行解析,获取具体的数据字段。将获取的具体数据库异步存入数据库，以便分析。设计缓存和异常处理机制:使用缓存避免重复爬取,处理各种异常情况如网页解析错误等。使用线程、协程提高爬取效率。

暖城健身小程序功能： 体育场馆预约功能、场馆预约日历展示、选择、切换、场馆信息列表功能、选择时间预约场馆功能、场馆预约选择时间段功能、活动报名功能、教学视频展示功能、积分兑换商城等功能 实现的技术栈： 微信小程序原生开发、后端PHP、Mysql数据库、产品原型设计、产品需求整理、UI和UE设计、测试等相关功能公司独立进行完成开发。

公司DevOps项目：功能是将Jenkins编译log通过FileBeat工具上传到服务器，并可视化，做log自动分析帮助运营团队做决策分析，帮助开发团队做log日志错误分析，Jquery Datatable+Django+ELK+MongoDB, python实现Drain3算法实现log自动分析，ELK docker容器部署生产环境，MongoDB数据库的增删改查，运维数据Excel导出。

智能过磅系统，定制开发，严格按照业务逻辑实现无人值守过磅，自动读取地磅仪表重量、抓取摄像头实时画面进行车牌识别，连接西门子PLC获取变量值，计算放料状态，自动打印磅单。 ·开发语言：Python。 ·数据库：SQL Server 2016。 ·图片存储：以jpg格式存储文件，附有日期时间水印。 ·电脑网络通讯：电脑安装双网卡或者单网卡双IP，通过配置静态路由实现同时与PLC、互联网、IT中心数据库通讯。 ·地磅通讯：磅房电脑安装串口转接卡，通过RS232接口实时接收地磅仪表称重数据。 ·PLC通讯：磅房电脑通过西门子协议，读取/写入PLC中变量值。 ·PLC控制原理：漏斗状态信号、红外装置状态信号、漏斗控制继电器全部接入PLC，磅房电脑读写PLC中间变量。 ·车牌识别：通过普通监控摄像头抓图并截取车牌区域，调用百度/阿里车牌识别API实现车牌识别。 ·打印机连接：磅房电脑可使用USB直连打印机，也可使用网络打印机、共享打印机。 ·打印格式设置：程序文件中有一个Excel缓存表，在Excel表中预设打印格式，称重时程序将称重信息写入到Excel表中，并调用打印机执行打印。

开发全平台可用的婚姻交流软件；负责采用Flutter作为app端开发框架，构建用户界面，对常用工具方法进行封装，日常进行code review，积攒了项目开发经验与团队合作经验

包含多种不同的数据特征提取，聚类算法，数据提取，数据分析，相关性分析，一维二维统计图计算，各类特征值计算，分类算法，数据去噪，数据合并，TDMS数据提取与分析，灵活简洁的UI界面以及图标设计

用各类神经网络CNN,u-NET，yolo-v5,cvae..做的数据聚类尝试 时序，图像数据的标定以及预处理以及训练，达到了不错的效果

基于二手车交易数据的二手车估值平台项目 构建日均爬取20万条以上数据的网络爬虫，从二手车交易平台获取车辆的报价、售价、使用及保养情况等数据，通过机器学习算法对二手车进行估值。主要使用工具：Scrapy、Redis、Django、Mysql。

1. 项目全部自己开发。 自己搭建系统框架，自己开发功能 2. 项目 通过2个工业相机实现扫码量方，经过OCR实现文字提取， 提取快递面单上的有用文字，上传到客户系统中！

商品展示： 产品展示系统小程序购物商城的基础功能，通过在商城中展示各种商品的信息，包括图片、名称、价格、描述等，方便用户浏览和选择 商品搜索： 为了方便用户快速找到需要的商品，商城通常会提供商品搜索功能，用户可以通过搜索关键词或分类来查找商品。 购物车功能： 用户可以将感兴趣的商品加入购物车，随时查看购物车中的商品信息，并可以修改商品数量、删除或修改购物车中的商品。 下单支付： 用户可以在购物车中选择需要购买的商品，填写收货地址，并选择支付方式进行支付。小程序购物商城通常支持多种支付方式，如支付宝、微信支付等。

用于刚开始学习python的初学者，练手提升兴趣的小游戏 对Python有初步兴趣，想再往深学习的初学者 附带个人解析，备注和原代码

自动读取excel表格中的商铺产品信息，上传到店小秘，wish后台，python字典，列表，元组数据转化，SQL操作，高并发, Promise机制，代理IP设置，反爬机制，递归调用，HttpMutipartformdata上传图片流,模拟登陆抓取cookie。

对话：系统应支持用户之间的一对一和群组对话。 确认消息：系统应支持消息传递确认，如已发送、已送达、已读。 共享：系统应支持媒体文件的共享，例如图像、视频和音频。 聊天存储：系统必须支持用户离线时聊天消息的持久存储，直到消息成功传递。 推送通知：一旦离线用户的状态变为在线，系统应该能够向其通知新消息。 由于 HTTP 是客户端发起的，我们无法真正从服务器向接收者发送消息，因此我们需要考虑用于模拟服务器发起的连接的其他技术：轮询、长轮询和 WebSocket。 轮询：是客户端定期向服务器请求数据，产生大量请求，效率低下。 长轮询：服务器保持连接打开，直到有新数据可用，从而减少请求数量和延迟。 WebSocket：是一种双向通信协议，可通过单个长期连接实现客户端和服务器之间的实时通信，从而提供最低的延迟。它是从服务器向客户端发送异步更新的最常见解决方案。