网络爬虫

技术栈：前端（vue3+vite2）+后端（python+flask)+数据库（mysql） 实现功能：1.网易云音乐接口解析 2.账号注册/登录 3.前端界面设计 4.python后端API设计 5.邮件验证码，账号登录

使用Python作为编程语言，在对网站结构进行分析后利用爬虫技术下载所需的图片及相关信息，作为数据分析、人工智能训练的基础。

网页爬虫 1 使用requests库发送请求 2 使用bs4来解析网页，re格式化数据，拿到数据 3 数据持久化存储（例子中存储的是csv文件，可存储在数据库等）

主要是给客户破解瑞数产品，包括瑞数4,5,6，相关网站有中国海关，国家电网，药监局，中国联通，深圳房地产，深圳大学等 首先抓包分析网站请求信息，使用python请求对应的地址获取到js代码，分析js代码，把js代码抠下来拿到本地node环境运行，使用补环境技术，让js代码在本地能够运行成功，最后获取到cookie，再次带上cookie对网站发请求，顺利获取到网站的信息

项目介绍： 自主研发的时空大数据平台，是一个集地理信息和云服务于一体的综合性管理平台。它利用互联网在 线抓取数据、本地特色扩展数据以及基础测绘 GIS 数据。该平台通过微服务构建数据中心、服务中心、源 数据集成发布、数据代理等功能模块，实现对测绘数据（Shape、TIF）、公共数据、IOT 数据的微服务技 术管理，并借助 GeoServer、Nginx 技术对外提供标准的 WMTS、WMS、RESTFUL 接口。系统内部还封装 了大华、铁塔视频组件，用户可在后台配置对应参数，引入相应组件的 jar 包以获取视频流。 项目技术：SpringCloud Alibaba、Nginx、Nacos、Mysql、Redis、PostGis、RocketMQ、Seata、ShardingSphere、ELK、kettle、Minio、Vue、Git、JenKins 职责描述： 1．参与需求讨论，负责核心功能开发，包括对接第三方系统和编写相关技术接口文档。运用领域驱 动设计（DDD）方法，确保系统设计的合理性和可扩展性。 2．采用去重表技术解决消息重复消费问题，并通过定时器定期清除无用的去重表数

帮客户破解极验平台的点选，滑动，无感验证码，还有易盾平台的滑动验证码 使用python获取到平台的验证码图片，然后使用图片识别网站识别滑块的距离，或者需要点选的文字，分析js代码并使用js代码加密请求的数据，再次使用python对网站发送请求，成功获取验证码通过之后获取到的数据，然后带着数据登录网站，能够登录成功

IT帮帮(https://itbangbang.cn) 本系统是本人注册的一人公司名下的系统，是100%本人独立完成的所有工作。包括：前端、后端、架构、产品设计、运维、爬虫、域名等。 1.本人完成(100%) 后台管理部分； 用户端部分： 目前上线部分分为：联系、需求、服务、商机、帮豆模块。 需求：发布需求、我的需求。主要为IT类发布任务。 服务：发布任务、我的任务。主要我技能服务类服务。 商机：通过网络爬虫selenium抓取招标数据，进行展现。 帮豆：在线充值，需求竞标、查看商机会消耗帮豆。 之前曾经上线，目前暂时未显示的模块： comfyUI:采用大模型进行在线绘画作图。 视频播放； 资源上传与下载功能等。 2.涉及技术： caddy、springboot、dubbo、redis、mongodb、bootstrap、websocket、netty、MySQL、selenium、多线程、jdk17、python、jquery、vue.js、Https、 开源安全模块(天池)等、第三方支付、在线文件预览、下载模块

制作动物小视频 使用人工智能（AI）技术制作动物视频的方法和过程。这种技术利用AI的图像识别、视频剪辑和合成能力，可以快速、高效地创建令人惊叹的动物影片。通过AI，我们可以深入探索动物的生活习性、行为特征和生态环境，为观众呈现更生动、精彩的动物世界。

实时监控商品状态，当状态变更进行判断并执行自动化下单等一系列操作 本项目负责破解加密参数，功能实现以及需求梳理

责任描述：负责设计和实现折扣快报APP的数据处理流程，包括线报数据的采集、清洗和整理，以及关键信息的提取和分析。通过有效的数据处理流程，确保折扣信息的准确性和及时性，同时保护商业机密，确保数据安全。 使用技术：Python, MySQL, Docker, Docker Compose, Flask, sqlalchemy 技术描述： 1.数据爬取与管理： (1)使用 Python 编写爬虫程序，实现对相关数据的批量获取。 (2)利用 SQLAlchemy ORM存储数据到Mysql，确保数据准确性和完整性。 2.系统部署与安全合规： (1)使用 Docker 管理部署，通过 Flask 提供对外接口，同时设置监控和警报机制保障系统稳定运行。 (2)严格遵守法律法规和网站使用规则，确保数据安全和用户隐私。

1、项目分为：①竞品实时数据爬取；②对应数据分析； 2、我负责的：①代码撰写；②爬虫策略设计；③分析报告

房屋成交信息自动备案到房管局-接口 按照官方流程自动备案，包括提交、审核、复审、测回、重新备案。

采用网络爬虫等技术获取地学数据，并借助Python等编程语言进行数值模拟，将模拟结果采用python各个库的调用共同完成数据处理的界面开发，并采用GMT对处理后的数据进行可视化处理。

项目比较简单基本的爬虫技术用的是xpath解析，翻页爬取自动跳转详情页面的具体参数。数据存取没设置，可以根据客户需求如，JSON，csv,mysql,mongodb.

在产品技术中心主要的工作内容如下： 1、国裕医药在线、国裕网项目： 前期主要是接手融合版订单模块、支付模块。包含易极付、微信支付、农行银企通、浦发B2B支付等 在公司的组织架构、人员调整后，主要是负责对项目的管理为主。主要项目有：国裕医药在线的前端、用户中心、统一管理中心、api、dubbo服务、扫码版、国裕网前端、文件上传系统、JMS消息系统、定时任务项目。 2、项目管理等工作： 在国裕医药在线的项目不断迭代中，主要是做需求的分解，程序设计，任务分解，把控进度，质量监督的工作，必要时做些核心模块的代码。 对于有多个需求时，严格根据项目紧急、重要程度来排期。根据个人技术能力、目前的任务量 ，按实际情况来分配任务 对项目组内的同事写的代码做Code Review，对有的代码需要改善的地方，与同事一起讨论并进行优化。 3、项目安全性等工作： 针对国裕医药在线平台做EDI安全测评。主要内容有： 密码复杂度、 登陆失败次数的处理策略、 多步骤操作的连续性鉴权（如找回密码）、 隐私与敏感信息的加密存储、全站https、 防请求头攻击、 cookie防篡改、 用于敏感信息加密存储、 web应用

主要分为几个部分 1 网站网络请求分析，JS源代码分析等 2 模拟浏览器发送请求，获取数据后解析数据 3 数据持久化，保存在了json文件中（抓取重点数据可保存在数据库中）

1.针对美容美发行业特性服务上线， 2.开发具有多店铺，会员管理，员工管理，预约功能，活动管理，商城，分佣，作品集，微信支付等功能平台； 3.促进门店订单交易，会员实时余额查询等快捷便利服务体验。

1.使用selenium、xpath框架，python代码编写的爬虫程序 2.爬虫网页包含：X网、5X同城、百X、X品会商品页面、京X、X瓣等

A股龙头选股程序，本人独立开发，纯python研发，使用了Python科学计算pandas,爬虫等技术，采用并行计算技术，能快速定位当前市场的龙头股，目前已经上线，目前已经测试近4个月

破解雪球网站和马蜂窝网站的cookie 首先分析网站请求的信息，分析cookie的生成顺序，然后使用python代码对网站进行请求，获取到对应的js代码，在本地补环境并执行js代码，获取到对应的cookie再对网站进行请求，正确获取到网站的数据