Python

负责针对不同网站以及app，编写爬虫，采集数据并做简单分析。 主要技术：C#、Python、Selenium，Jadx、Frida等反编译工具 项目职责： 1. 负责将分析师提出的需求转化为具体的实现，并提供报表。 2. 针对不同网站，采用不同爬虫策略，编写稳定，可维护的爬虫系统项目。 3. 针对不同网站的反爬措施，研究对应的反反爬策略。 部分项目列举如下： ● 直播类：陌陌、虎牙、斗鱼、yy等直播平台在线人数、订阅量、主播收入主要信息等抓取 ● 游戏类：Wow服务器状态，各应用市场app下载量等信息抓取，微信，qq端游戏排行榜 ● 生活服务类：安居客二手房抓取，58同城广告业务 ● 电商类：网易考拉、严选等平台商品信息以及销售额抓取。 ● 视频类：爱奇艺，乐视，搜狐，腾讯，优酷视频播放量抓取 ● 微博Mobile&PC广告抓取 ● 京东微选小程序端抓取 ● Bilibili用户付费用户，视频等信息抓取 ● 快手广告抓取。

自动读取excel表格中的商铺产品信息，上传到店小秘，wish后台，python字典，列表，元组数据转化，SQL操作，高并发, Promise机制，代理IP设置，反爬机制，递归调用，HttpMutipartformdata上传图片流,模拟登陆抓取cookie。

商品展示： 产品展示系统小程序购物商城的基础功能，通过在商城中展示各种商品的信息，包括图片、名称、价格、描述等，方便用户浏览和选择 商品搜索： 为了方便用户快速找到需要的商品，商城通常会提供商品搜索功能，用户可以通过搜索关键词或分类来查找商品。 购物车功能： 用户可以将感兴趣的商品加入购物车，随时查看购物车中的商品信息，并可以修改商品数量、删除或修改购物车中的商品。 下单支付： 用户可以在购物车中选择需要购买的商品，填写收货地址，并选择支付方式进行支付。小程序购物商城通常支持多种支付方式，如支付宝、微信支付等。

用于刚开始学习python的初学者，练手提升兴趣的小游戏 对Python有初步兴趣，想再往深学习的初学者 附带个人解析，备注和原代码

对话：系统应支持用户之间的一对一和群组对话。 确认消息：系统应支持消息传递确认，如已发送、已送达、已读。 共享：系统应支持媒体文件的共享，例如图像、视频和音频。 聊天存储：系统必须支持用户离线时聊天消息的持久存储，直到消息成功传递。 推送通知：一旦离线用户的状态变为在线，系统应该能够向其通知新消息。 由于 HTTP 是客户端发起的，我们无法真正从服务器向接收者发送消息，因此我们需要考虑用于模拟服务器发起的连接的其他技术：轮询、长轮询和 WebSocket。 轮询：是客户端定期向服务器请求数据，产生大量请求，效率低下。 长轮询：服务器保持连接打开，直到有新数据可用，从而减少请求数量和延迟。 WebSocket：是一种双向通信协议，可通过单个长期连接实现客户端和服务器之间的实时通信，从而提供最低的延迟。它是从服务器向客户端发送异步更新的最常见解决方案。

包含多种不同的数据特征提取，聚类算法，数据提取，数据分析，相关性分析，一维二维统计图计算，各类特征值计算，分类算法，数据去噪，数据合并，TDMS数据提取与分析，灵活简洁的UI界面以及图标设计

本项目为Blidz电商平台消费者端。主要负责了以下部分： 1. 负责视频流的开发，从第三方平台（如Youtube）抓取短视频，并上传至内部系统，最终通过Feed流展现出来。 2. 负责货币系统的开发以及新老数据的迁移。 3. 其他相关开发与维护。

暖城健身小程序功能： 体育场馆预约功能、场馆预约日历展示、选择、切换、场馆信息列表功能、选择时间预约场馆功能、场馆预约选择时间段功能、活动报名功能、教学视频展示功能、积分兑换商城等功能 实现的技术栈： 微信小程序原生开发、后端PHP、Mysql数据库、产品原型设计、产品需求整理、UI和UE设计、测试等相关功能公司独立进行完成开发。

可以通过配置去设置按照什么样的规则将抖音平台的视频自动搬运到Youtube上，且具有规避指纹浏览器检测功能， 实现服务器挂机同时全自动养多个号，个人亲测，只要不被原创举报可稳定运行。

1. 提取数据并导入 2. 使用Panda进行数据整合以及使用tsfresh提取接近1000个数据特征 3. 对特征进行筛选，选择最能提示聚类算法效率的n个特征作为数据特征

基于二手车交易数据的二手车估值平台项目 构建日均爬取20万条以上数据的网络爬虫，从二手车交易平台获取车辆的报价、售价、使用及保养情况等数据，通过机器学习算法对二手车进行估值。主要使用工具：Scrapy、Redis、Django、Mysql。

公司DevOps项目：功能是将Jenkins编译log通过FileBeat工具上传到服务器，并可视化，做log自动分析帮助运营团队做决策分析，帮助开发团队做log日志错误分析，Jquery Datatable+Django+ELK+MongoDB, python实现Drain3算法实现log自动分析，ELK docker容器部署生产环境，MongoDB数据库的增删改查，运维数据Excel导出。

利用PyTorch深度学习算法，基于已知的SP、GR、R2.5和R4曲线数据，可以构建一个神经网络模型，通过学习这些曲线之间的复杂关系，来预测AC/DT和RT曲线。该模型可以通过大量的数据训练，逐渐提高预测准确度，并且具备较强的泛化能力，能够在未知地层情况下做出可靠的预测，从而帮助油田勘探和开发工作更加精准高效。

Scrapy来爬取球探网的数据:可以爬取球员数据,包括球员名称、年龄、身高、体重、位置、球队，历史比分等信息。通过浏览器开发者工具查看页面元素,确定数据位置,以便后续定位提取。使用requests获取页面:构造请求获取不同位置的球员数据页面。使用BeautifulSoup解析页面:解析页面HTML文档,使用CSS选择器或XPath提取包含目标数据的标签内容。 使用正则表达式提取数据:对提取的文本内容使用正则表达式进行解析,获取具体的数据字段。将获取的具体数据库异步存入数据库，以便分析。设计缓存和异常处理机制:使用缓存避免重复爬取,处理各种异常情况如网页解析错误等。使用线程、协程提高爬取效率。

护网项目，对天眼态势感知系统进行告警监测，对发现的紧急事件进行分析研判，封堵IP；与二线同事对接安全设备调试工作；设备巡检以及日报编写；期间溯源利用弱口令进入攻击队资产搜集系统后台，编写报告；内部攻防演练期间发现信息泄露漏洞一枚；

微信小程序，后端使用python语言，小程序包含视频培训学习版块、商品版块、订单处理版块、我的签单记录等版块。

实现了直播推流，AI语音聊天，多人视频虚拟聊天，抖音弹幕爬取的功能。 个人全栈开发，没有什么技术难点，唯一需要注意的是当前采用的直播推流方式在抖音平台容易被封。

智能过磅系统，定制开发，严格按照业务逻辑实现无人值守过磅，自动读取地磅仪表重量、抓取摄像头实时画面进行车牌识别，连接西门子PLC获取变量值，计算放料状态，自动打印磅单。 ·开发语言：Python。 ·数据库：SQL Server 2016。 ·图片存储：以jpg格式存储文件，附有日期时间水印。 ·电脑网络通讯：电脑安装双网卡或者单网卡双IP，通过配置静态路由实现同时与PLC、互联网、IT中心数据库通讯。 ·地磅通讯：磅房电脑安装串口转接卡，通过RS232接口实时接收地磅仪表称重数据。 ·PLC通讯：磅房电脑通过西门子协议，读取/写入PLC中变量值。 ·PLC控制原理：漏斗状态信号、红外装置状态信号、漏斗控制继电器全部接入PLC，磅房电脑读写PLC中间变量。 ·车牌识别：通过普通监控摄像头抓图并截取车牌区域，调用百度/阿里车牌识别API实现车牌识别。 ·打印机连接：磅房电脑可使用USB直连打印机，也可使用网络打印机、共享打印机。 ·打印格式设置：程序文件中有一个Excel缓存表，在Excel表中预设打印格式，称重时程序将称重信息写入到Excel表中，并调用打印机执行打印。

开发全平台可用的婚姻交流软件；负责采用Flutter作为app端开发框架，构建用户界面，对常用工具方法进行封装，日常进行code review，积攒了项目开发经验与团队合作经验

本项目致力于解决小区服务业在协助小区管理时遇到的问题，基于深度学习算法，使用海康摄像头，协助物业进行管理，功能包含：垃圾满溢检测， 地下车库违停检测，异常起杆检测，单元门长时间未关闭检测，监控室人员离岗、打瞌睡检测，电梯人流统计，电梯困人、挡们、电动车进入电梯检测，翻越围墙检测等功能。异常发生时，记录并即使提醒小区物业人员。