网络爬虫

MySQL、js、redis、MongoDB、scarpy等实现网络爬虫，可以用来爬取网易云音乐，豆瓣信息等等并保存到数据库。可以根据您的需求，获得您需要的数据。

长期帮企业开发多端（PC, H5，小程序等）门户网站建设，此款模包含首页核心产品的推广展示功能、产品列表功能、企业动态资讯、关于我们等功能

商场网站开发 ：使用Python开发框架Django，包括用户注册和登录; 商品展示和分类; 购物车; 订单管理; 支付和发货；网上银行功能；

POJ算法刷题 排名1600 详情参考 作品截图 学习算法及刷题心得 三点: 其一,难者不会，会者不难。 觉得题目难，是因为刚接触这类题没掌握相关知识，会了以后，之后再做就会觉得有点水。 个人建议:对于刚接触的题，先试着自己根据已有知识尝试些基本思路，然后再去看《算法导论》、黑白书等学习相关知识。 其二，无论是学算法还是做其他事，赢在行动，只是想是没用的。 其三，学算法，从根本上讲，关键是要学习、掌握分析和设计算法的方法和能力。[个人相信‘熟’能生‘巧’，需要多做加 深理解。]

1. 项目主要分为两个系统，分别为前台系统与后台系统，前台系统提供C端用户进行查看漏洞库数据等，后台系统可对漏洞库数据进行增删改查、发布等操作，也可以通过爬虫采集功能从互联网上公共漏洞库进行数据采集、数据清洗、数据融合操作。 2. 此项目主要难点为爬虫采集与数据处理功能，需要保证爬虫采集的稳定性和数据处理时的准确性。 3. 此项目从后端架构设计、数据库设计、功能开发全是我个人开发。

利用python进行网络爬虫，进而作数据处理、信息核对等工作。（本项目涉及的数据为生物信息相关，数据量在百万条左右。）

（全负责） 1. 权限认证 3. 配置基本配置，从文件中获取基本配置 3. 并发爬取网站，解析一定时间内的所有job信息，找到指定job的ci log，分析log查看ci结果成功还是失败，由谁触发 4. 处理结果，汇总失败次数，整理触发的commit信息和author，整合成邮件发送

1. 功能模块： 配置校验：校验配置信息； 爬取用户信息：根据配置信息抓取用户信息； 爬取动态信息：根据配置信息抓取用户动态信息，文字，图片，视频信息保存在不同的文件夹中；

IFTELLME财经实时预警系统，适用于组织或个人对财经领域信息进行掌控，获得实时预警，以及数据查询及图表分析服务。系统主要功能包括会员系统、财经监控、实用监控、预警通知、我的IFTELLME、会员信息等。只需使用安装有微信客户端的移动设备都可以使用本系统。

客户是一个迅速发展的企业，由于人力资源管理变得日益复杂，现有的人力资源管理工具已经无法满足需求。为了提高招聘和员工管理效率，客户决定开发一个智能平台来整合人力资源管理的各个环节。该平台的目标是实现高效的人力资源管理，促进组织内部的协作和沟通，并提供全面的数据分析和报告功能，以便客户做出更准确的决策。通过接入ChatGPT，客户希望为员工和管理者提供更好的用户体验，能够回答常见问题、提供指导和建议，并帮助解决一些简单的问题或任务。这将极大地减轻人力资源团队的负担，并提高整体工作效率。系统中包含的功能包含但不仅限于：提供招聘流程管理，包括发布职位、筛选简历、安排面试和评估候选人等功能； 允许客户在平台上发布招聘信息，并能自动将招聘信息推送至各大招聘渠道，如社交媒体和招聘网站； 提供人员档案管理、员工信息维护、奖惩记录管理等功能，确保人力资源数据的准确性和一致性； 支持薪酬管理，包括计算工资、发放工资、管理加班和福利等事项；根据项目需求和员工技能，提供智能化的人员分配功能，以便更好地调度和管理人力资源； 提供绩效评估标准和流程的设定，支持定期评估和反馈，以及对员工的绩效进行跟踪和分析； 生成

服务内容全部包含: 1.擅长主流网站比如电商、科研、搜索引擎的数据的批量抓取、清洗 2.根据客户需求定制高效的数据分析工具 3.更具耐心的沟通体验 服务优势: 1.懂需求：2年python数据抓取、分析经验，是懂客户需求的人。 2.质量高：每个项目代码需要多次验证可用后才发给客户。 3.出活快：曾撰写过上百个方案，出活速度快。 服务前需客户提供的信息: 1.尽可能详细的需求文档获提供详细的需求说明以便提供精确服务 2.客户需求爬取或分析的信息、数据不能涉嫌违法或损害他人利益。

为某应用辅助获取最新某票信息，方便下单使用。整体符合robots.txt规范。 整体分封装到一个类中，直接根据账号信息和输入的出发城市和到达城市还有对应日期，自动检查对应平台相应票务信息并返回。

1. 系统分为仪表盘、漏洞知识图谱、漏洞库管理、源数据库管理、任务管理、系统管理、用户管理、角色管理、日志管理、备份管理模块 2. 此系统后端部分从架构设计、数据库设计、功能开发全部是我个人开发，此系统主要逻辑为通过任务中心的 定时任务进行爬虫任务采集，定期的进行增量数据的采集并使用etl进行数据清洗、数据融合等操作并展示到漏洞库中。 3.此系统主要难点为任务调度如何保证调度成功，可以进行节点监测等内容，保证数据处理的准确性，数据融合等问题。

基于Python、Web爬虫的大屏数据可视化系统 Python网络爬虫 使用Python与MySQL数据库交互 使用Flask构建web项目 基于Echarts数据化展示

爬取金融网站期货数据，并规整化数据，存储到hdfs，作数据分析，并根据加工的策略进行模拟交易，通过对当前批次数据作标签化处理，进而得到决策指标

批量访问不同网站查看网站的返回码，通过不同的返回码确定此网站是否可以正常访问，并将对应结果更新到表格中，完成筛选

1.用户可以点击栏目，切换页面内容，实现网页的动态变化。 2.基础前端搭建，基础用户交互设计。 3.前端美化，前端搭建

python代写，网页数据抓取，APP数据抓取，数据分析：框架，数据清洗，数据分析，自动化环境搭建，脚本编写，python爬虫，代码快速录入等等

1.本人致力于为客户采集提供高质量各种网站内面向公众公开的各类数据信息。 2.本人实现的项目主要以python库scrapy、playwright、selenium、requests等爬虫模块为主。 3.本人工作认真负责，讲究诚信，致力于为客户提供高质量的服务和源码数据。

为使用爬虫，访问百度家的AI语言大模型“文心一言”网页版，将新建对话、切换对话等基础功能集成到终端中运行，不同功能的使用通过“命令”的形式调用，主要实现有以下功能： 1. 登录：使用终端实现无界面的手机验证码登录 2. 基础对话：程序运行后无需其他操作即可开始与ai对话 3. 新建对话：只需输入对应命令即可开启新的对话 4. 查看/切换历史对话：可以查看并切换到在网页中进行过的任意一段对话 5. 帮助页：提供详细的帮助页面的入口 6. 查看对话：查看当前对话，可以让显示不完全的内容重新显示 主要使用的python库为DrissionPage，是一个新兴的网页自动化库