网络爬虫

项目技术:Redis,MySQL,MyBatis-Plus,es,SpringCloud,nacos,Flyway 项目描述： 将多个数据源数据采集整合到一起，实现了各个数据源的统一管理。 避免用户在多个专项数据库之间来回切换、多次检索，在用户需要快速、 全面涉猎和研究多类知识资源时，提供一体化的检索体验。 责任描述： 1.统计每分钟的登录在线人数入库，并提供查询接口。 登录之后将key和读者id拼接存到redis，在拦截验证token类操作续期添加续期操作。 通过EnableScheduling实现定时任务，Scheduled设置每分钟执行一次，StringRedisTemplate keys方法进行模糊查询存储key数量。 2.数据采集 java爬虫采集对方数据分为接口采集，页面采集，数据库采集。 3.蚌埠装甲兵学院蚌埠校区的数据采集。金盘的用户信息接口授权登录，通过读取nacos的配置区分interlib的和金盘的预约预借、续借等接口的。 4.个人中心模块的私人收藏、书单、书评、书评切面验证码功能等，封装词典接口返回信息存到header。 5.广东技术师范大学Springe

1、获取东方财富网站不同股票的资金流入信息 2、难点信息较多，爬取速度慢，解决方案：利用多线程加快爬取速度

能够从国研网、橘子资讯、人行网站、新浪财经等多个公开数据来源采集信息。通过Python编程语言，我们将实施网络爬虫，定期抓取这些网站上的数据，包括经济、金融、政策等各个领域的信息。这些数据将被整理并存储，以供进一步分析、研究和决策使用。

爬取1688商品列表数据 1、多关键词换行隔开 2、新增价格区间、销量筛选 3、新增采集日志 4、采集字段为：商品名称、商品链接、价格、销量、复购率、店铺星级、诚信通年限、图片链接 5、日志显示显示采集的关键词，页码

帮客户在知网上采集31个省的日报内容，从2010年至2023年的每天的日报内容，供客户科研使用 使用python+request查询出每个省的所有日报地址，然后再遍历这些地址，再次请求这些地址，获取到所有的网页内容，期间遇到滑块验证码，使用python+js破解滑块，继续采集数据

利用python语言拿到网址上数据，进行数据清洗拿到自己需要的数据，利用数据进行可视化窗口绘制，批量爬取音乐，抖音，图片

导账工具 利用爬虫技术从网上爬取有效数据，在本地进行数据整理后，上传至服务端。服务端根据数据内容进行后续相关业务。 项目包括： 客户端程序： 数据爬取模块、数据整理模块、上传模块 后端接口： 提供WEBAPI接收数据并存储 前端网页 本人负责了该项目的客户端实现和后端接口实现。

1、该项目为IT运维工程师自动化运维工具，可以提高系统巡检效率，增加系统巡检数据的准确性，保障系统运行指标。 2、项目包含：1）浏览器模拟登录模块，该模块实现了模拟登录和爬虫技术实现对浏览器数据的获取。2）数据分析和发送模块，该模块对系统指标进行分析并发送到webhook中。3）系统指标查询模块，该模块提供系统指标数据的查询接口并返回到前端页面用来展示具体的系统指标。 3、该项目中浏览器模拟登录模块使用python技术，数据分析和发送模块使用python技术，系统指标查询模块后端使用python技术，前端使用html和js技术。

导入爬虫库、导入json库、导入jsonpath库、导入lxml库etree模块,使用爬虫库、使用json和jsonpath，使用lxml中etree，用for循环逐个完成，使用xpath语法,需要用headers。

1，用户只要告诉我所需要的数据，我用Python爬虫技术就可以将网站数据爬取下来。 2,100%都是我写出的，最终给用户数据就行。 3，数据完整，不缺失。

该项目是基于python的爬虫MOOC课程评论数据获取，用户可以通过输入关键字来获取自己想要的某一课程评论数据并将其保存到excel表格中进行可视化。 运用场景：mooc课程评论数据 开发工具：requests、jsonpath、pandas、time函数

本项目实现了高效的数据爬取脚本，自研量化模型，旨在为投资者提供全面、实时的A股市场分析与投资决策支持。项目通过自动化手段实现了对A股市场的全天候监控与量化分析，及时获取最明智的投资决策。 1. A股历史数据爬取： 数据全面：覆盖所有A股上市公司的历史数据，确保数据的广泛性和完整性。 高效采集：采用优化的爬虫技术，能够快速、准确地获取大规模数据。 数据存储：使用高效的数据库系统存储历史数据，支持快速查询和分析。 2. 24小时自动化监测： 实时监控：系统全天候运行，实时获取最新的市场数据，包括股价、成交量等关键信息。 预警系统：配置智能预警机制，当市场出现异常波动时，系统能即时发出警报。 自动更新：定时更新数据库，确保数据的时效性和准确性。 3. 量化模型分析： 实时胜率计算：基于最新数据和历史数据，量化模型实时计算每只股票的胜率。 多维度分析：综合考虑技术指标、基本面分析和市场情绪等多方面因素，提高分析的准确性。

项目有根据提供的会员ID自动查询手机号码，并且实现自动保存到XLSX里面。 可以根据用户需求更改POST请求内容 可以定制 内附有CPU识别算法加密，

1、搜集A股市场的所有历史行情数据 2、搜集A股市场的所有股票板块信息 3、自动化计算板块指数等 4、自动化部署python脚本 5、数据监控报警

python angular redis mysql nginx linux 作品分类（1-5个分类）（必填）： 机器学习/深度学习 脚本编程语言 网络爬虫 日志分析和统计 项目构建 添加标签，按回车确认 HTML5开发相关文件管理器其他jQuery插件Chrome插件/扩展论坛系统BBS作业/任务调度网络爬虫日志分析和统计图形和图像工具Emoji 表情相关终端/远程登录搜索引擎项目构建REST/RESTful项目嵌入式操作系统

导入爬虫库、导入json库、导入jsonpath库、导入lxml库etree模块,使用爬虫库、使用json和jsonpath，使用lxml中etree，用for循环逐个完成，使用xpath语法,需要用headers。

内网渗透的痛点：目前已有的扫描器，依赖库较多，体积过于庞大，在内网渗透中，很多极端情况无法安装扫描 器，使用socks4/socks5代理扫描的话，时间久，效率低与选择自制工具 工具内核采用Csmap 主要贡献:负责前端的代码实现、后端代码优化

我是一名专注于深度学习和人工智能领域的软件工程师，拥有丰富的实践经验和扎实的技术背景。我擅长使用 Python 进行编程，并在图像处理和自然语言处理领域有着深入的研究和实践。我曾成功应用深度学习模型于新闻文本分类、人体姿态识别项目以及图像分类检测等任务。 项目经验 新闻文本分类系统： 行业应用：媒体、出版、内容分析 功能实现：自动化新闻内容分类，个性化新闻推荐，内容审核 技术亮点：利用预训练模型 BERT 提升分类准确性，支持多类别文本分类 人体姿态识别系统： 行业应用：健康监测、运动分析、安全监控、人机交互 功能实现：运动训练分析，老年人跌倒检测，异常行为识别 技术亮点：实时数据处理，高准确性的姿态识别算法，易于集成的 API 设计

电影资源排名: 爬取豆瓣上电影的评分和排名。 获取不同类别（如热门、最新、经典）的电影排名。 宣传海报: 爬取每部电影的宣传海报，保存到本地或云存储。 电影详细信息： 获取电影的详细信息，如导演、主演、类型、上映时间、简介等。 爬取用户评论和评分详情，进行情感分析。 电影预告片： 爬取电影的预告片视频链接或嵌入代码。 观众评论和评分： 获取电影的观众评论和评分，分析评论内容和情感。 相关电影推荐： 爬取豆瓣上推荐的类似电影。 数据存储和展示： 将爬取的数据存储到数据库（如MySQL、MongoDB）。 提供数据可视化功能，如生成排行榜、趋势图表等。 自动化和定时更新： 实现定时任务，定期更新电影排名和相关信息。

通过对excle读取获取需要的信息，使用selenium对网页进行数据爬取，获取需要的数据，对获取的数据处理后保存在本地数据库或者输出为excle