网络爬虫

项目主要为嵌入式驱动开发，主要功能包括休眠唤醒功能，诊断协议开发，OTA DFU。 1. 休眠唤醒功能实现主要基于CAN通信与上位机交互实现，通过发送或停发网络管理报文可以控制单板上下电，使用CAN收发器TJA1043器件来控制单板上下电，70%应用层工作独自开发，使用部分驱动程序。 2. UDS诊断协议开发，完成车载诊断协议 例程（0x31）服务完整开发，例程运行状态管理，多任务异步运行状态管理。 3. OTA DFU功能开发包括固件打包、主备升级方案功能开发，Boot、App双逻辑快升级。

采集过的网站： Bilibili, 百度百科, Boss 直聘, 豆瓣读书, 抖音, 京东, 京东商品+评论, 链家, 天猫, 淘宝, 知乎, Taptap等 技术介绍： HTTPX等网络工具，非常快速，有效地获取数据。 模拟浏览器环境（如Selenium, Puppeteer, Headless Browsers等）来进行网页数据抓取的行为。 模拟用户真实浏览器行为：模拟人的动作，比如点击按钮、滚动页面、填写表格等。 处理动态网页：有些网站的内容不是一开始就全部显示出来的，而是你浏览的时候慢慢加载出来的。这些工具可以等待这些内容加载完，然后再收集信息。 处理JavaScript生成的页面：浏览器抓取工具可以执行JavaScript，然后把这些动态生成的内容也收集起来。 通过代理IP，解决IP访问限制，够模拟真实用户行为，绕过许多基于用户行为的反爬虫机制。

1.爬取公开网站小说文字 2.通过requests构建响应，并返回html 3.使用beautifulsoup解析需要的字段，并提取数据。 4.将获取的数据保存到txt文件中

1.使用scrapy框架实现某些网站数据的爬取； 2.为了实现高效的数据爬取，集成了redis分布式爬取插件； 3.某些网站还借助了selenium模拟浏览器，简单的实现复杂的登录行为

研究不同的策略和模型对验证码的识别影响 研究参考的目标网站是条形码查询网（http://tiaoma.cnaidc.com/），可以查询条形码所对应的商品信息。

1、程序分为两个模块，一个模块是获取不同的城市对应的网页地址，第二个是获取每个程序具体的网点信息 2、难点：城市网页里面的html格式不是每个都相同，解决方法：根绝网页格式做判断分为几类，最终爬取到相应信息

1、全国建筑市场企业资质公示信息 按地市采集，数据量100万+，持续增加中 2. 全国破产重整案件网公开案件 按月采集，数据量60万+，持续增加中 建筑市场企业资质公示信息的数据采集通常涉及以下步骤： 1. **确定数据来源**：确定您想要采集的建筑市场企业资质公示信息的来源，例如官方网站、数据库或其他渠道。 2. **制定数据采集计划**：制定详细的数据采集计划，包括需要采集的信息内容、采集频率、采集方式等。 3. **选择合适的工具**：根据数据来源和采集计划，选择适合的数据采集工具，比如网络爬虫、数据抓取软件等。 4. **编写数据采集脚本**：如果需要定制化的数据采集，您可能需要编写数据采集脚本来自动化数据采集过程。 5. **执行数据采集**：根据计划执行数据采集，确保数据的准确性和完整性。 6. **数据清洗和处理**：采集到的数据可能需要进行清洗和处理，确保数据质量和可用性。 7. **数据存储和分析**：将采集到的数据存储在适当的数据库或文件中，并进行分析和利用。

1、使用api接口方法，实现知乎问答的问题及全部答案爬取 2、使用逆向解析接口实现评论区1000条以上评论全部爬取 3、使用多线程实现高效爬取数据

通过前端输入词汇，进行相应的判断，如果为网址输入，则使用爬虫爬出相应的评论包中的评论，目前该功能仅适配b站评论，分析网络包，否则分析语句情感。

1、使用tkinter制作微信助手可视化UI，显示微信用户头像等基本信息 2、使用多线程技术处理消息和数据库查找 3、通过判断特定聊天词触发数据库搜索电影名返回电影链接 4、数据库分为精确查找和模糊查找区分搜索电影和电视剧，控制搜索结果返回数量

1、抖音JS逆向破解并获取视频接口链接 2、获取主页视频并下载抖音无水印视频及封面 3、通过csv存储下载的视频信息

1.系统主要为个人练习使用，包括网络爬虫，通过表单配置进行保存和配置任务，将爬取的内容进行文件存储或者数据库保存；集成chatgpt通过代理进行AI的聊天，通过redis保存对话实现与AI对话的连续性和时效性；通过系统监听获取剪切板内容，通过跨端进行内容的一处复制，多处粘贴；使用uniapp进行移动端的开发；通过minio进行文件的上传管理；docker进行系统的容器化部署

1、全国建筑市场企业资质公示信息 按地市采集 337/337 数据量100万+，持续增加 2. 全国破产重整案件网公开案件 按月采集 数据量60万+，持续增加

爬虫程序系统地从指定网站抓取数据，通过代理池减少被封禁的风险，并将抓取的数据整理并保存到Excel文件中。整个过程包括获取代理、发送请求、解析HTML和写入文件等步骤。

爬取光伏、数字孪生、储能、工业4.0、新能源、综合能源、数字化转型、充电桩、换电站、双碳、风电等相关资讯，并替换图片，存入mongoDB

├── auth 用户验证模块 │   ├── admin.py │   ├── apps.py │   ├── migrations │   ├── models.py 用户信息-数据模型 │   ├── urls.py 登录注册相关视图-路由地址配置 │   └── views.py 登录注册相关视图 ├── bs-frontend-template 前端vue目录 │   ├── LICENSE │   ├── encrypt.js │   ├── index.html │   ├── jest.config.js │   ├── mock │   ├── package-lock.json │   ├── package.json │   ├── public │   ├── src │   ├── tailwind.config.js │   ├── test │   ├── tsconfig.json │   └──

使用scrapy爬取web端车辆 配置信息，车辆详情，图片，资讯 爬取小程序每月销量排行，成交价 图片视频需要解密，视频最后合成mp4格式存入文件夹

可以根据需求定制完成以下内容 1、数据分析处理，python，包含数据预处理、可视化、爬虫、常见模型分析等； 2、办公自动化：excel VBA自动化、python 办公自动化 3、Axure原型设计； 4、看板搭建、数据大屏搭建

1、采集后端django + 前端vue + mysql 实现了网站。 2、django+admin 实现了公司的后端管理 3、主要是代理ip的推广静态网页，和后端用户的管理平台。

一些简单的爬虫，进行爬取视频，图片，文本等。用了requests或selenium自动化，也会一小些简单的反爬策略，可以教学