脚本编程语言

实用requests库写好爬虫框架，然后在网站上实用js逆向来获取xx东西，然后创建js文件，补环境，最后使用node.js调用得到加密值，返回给requests需要的data，并使用数据筛选得到想要的内容

本作品旨在探索抖音平台上的用户评论爬取技术。通过使用Python编程语言和Chromium浏览器驱动，我们实现了一个高效、自动化的小说评论爬取工具。 脚本首先创建了一个ChromiumOptions实例以启用无头模式，然后创建了一个ChromiumPage实例并使用无头模式。通过模拟滚动到页面底部，脚本能够加载更多视频数据。获取视频的URL和ID后，脚本进一步访问每个视频页面，并监听’/v1/web/comment/list/'数据包以获取评论信息。 脚本将获取到的评论数据存储到CSV文件中，包括评论人、评论内容、日期和视频地址。通过这种方式，我们可以了解到用户对特定视频的看法和态度，为我们的分析提供有价值的信息。

本产品是一款高效的数据处理工具，专为大数据环境下的Excel用户设计。它能够无缝对接并处理任何符合标准的Excel文件，执行一系列精细化操作，如关键字快速查询以精准定位数据，智能去重功能有效清理冗余信息，同时提供重复次数统计，帮助用户深入了解数据分布。此外，还支持一键删除重复的行或列，确保数据集的清洁与准确。处理完成后，产品能够自动生成并保存为全新的报表或图表文件，便于用户直观展示数据成果，提升工作效率与决策质量。

●技术栈：Java8，SpringCloud，Feign，MybatisPlus，RabbitMQ，Mysql，MongoDB，Redis，MinIO，XxlJob。 ●项目描述：数据中台是以采集数据，分析清洗数据为主要目的的一个数据管理平台，目前实现采集数据的方式有两种，数据库备份与爬虫爬取，采集后到数据源模块进行规则配置，然后按规则定时分析清洗。 ●个人职责：我主要负责爬虫模块和数据源的管理功能开发，使用调度中心XxlJob来控制定时任务发送，爬取的原始数据存入MongDB，使用SpringBoot整合的MongoDB连接工具查询出数据后使用XPath和正则表达式匹配出有用的数据后存储到Mysql表中，数据表使用Spring封装的JdbcTemplate创建跟查询操作，提取图片识别使用ocr算法，完成有提取出表格图片数据。校验是人工校验，即人为对比提取跟源数据。现主要负责元数据管理与数据集成模块的业务代码，完成了数据源的配置与测试连接，数据库获取数据的展示页面接口，还有SQL工作台的SQL语句执行的接口。

①性能测试(压力测试):使用LoadRunner和Jmeter进行性能测试，各种检查点，断言，数据参数化，对功能点，以及某些接口进行性能测试，使用Fiddler进行抓包，会根据浏览器和Fiddler抓取的JSON数据，进行配置，可以完全掌握并使用这两个软件对系统或者网站进行测试 ②自动化测试：使用Python脚本语言，会使用selenium自动化测试框架，使用谷歌浏览器，模仿真人操作，对网站或者系统进行测试 ③功能测试：编写测试用例，用于测试系统或网站，写关于本网站或系统的缺陷Bug文档 ④白盒测试：使用Java语言编写，可以进行自动化编写，多为单例测试 ⑤接口测试：使用Postman进行接口测试 本人主要负责代码方面的全部内容：性能测试，自动化测试，白盒测试，接口测试，功能测试也能独立完成（需要时间）

我具备丰富的动态网页爬取与数据清洗经验，能够自主开发系统实现网页自动打开、信息抓取及清洗保存的全流程操作。曾参与淘宝网页的爬取任务，成功获取并清洗了大量商品信息，为后续数据分析提供了高质量的数据源。我的专业背景是大数据，熟悉各类爬虫框架（如Scrapy、Selenium）和数据清洗工具（如Pandas、OpenRefine），能够高效处理复杂网页结构，确保数据的准确性和完整性。此外，我还擅长应对反爬机制，如IP代理、验证码识别等，确保爬取任务的顺利进行。

项目背景: 针对客户业务需求，利用 Python 编写爬虫程序，采集抖音数据，包括视频地址、点赞量、评论数、评论信息、收 藏数、转发量、作者名称和粉丝数。 项目细节: 使用多线程技术提高数据获取效率，利用数据挖掘技术分析用户行为和趋势。 项目难点: 应对抖音网页结构变化和反爬机制，确保数据采集的稳定性和准确性。 优化和改进: 不断优化爬虫程序，提升数据采集效率和质量，实现自动化数据处理流程。

项目描述： 由于电子商业汇票系统（ECDS）将于2024年7月27日起停止对外服务，新疆银行将按照上海票据交易所统一安排，于7月27日进行老电票数据迁移。 对于尚未结清的老电票，提示付款、追索相关操作您仍可通过现有菜单的“原电票”页签处理；不能再进行老电票出票、背书、贴现等操作。 新疆银行将对此类不可操作的业务菜单中“原电票”页签进行下线处理，仅保留“新一代电票”页签。 对于电子商业汇票系统（ECDS）下线特别提示如下： 一、您如需使用新一代电票，请及时通过我行企业网银在线签约新一代电票服务。 二、老电票数据迁移后，对于已提交背书、贴现等申请但对方未签收票据,无法进行签收操作，申请撤销操作需通过票交所人工处理。 职责描述： （1）数据迁移，将老电票数据与新电票数据进行合并，迁移老电票操作记录，可在新票据系统进行查看 （2）开发票交所下发新报文直连接口，保证迁移后的数据可在新系统办理结清业务 （3）数据连续性验证 （4）数据核定

该工具是自研的一个数据库压力测试工具， 支持多种数据库类型，例如Oracle、MySQL、SQLServer、DB2、PG、MongoDB、达梦 等。 可自定义压力QPS数量， 可通过参数调整线程数， 通过文件设置要执行的SQL语句； 在带宽允许的情况下，可以将数据库的QPS打到峰值。 该工具由我自研。

热爱编程,掌握java,了解php,掌握springmvc,struts2,hibernate等框架,希望3年内提高自己开发技能,达到中级开发工程师水平 ,5年内根据自己的技术水平,调整发展方向去学习,让自己成为某个领域的专家

建立个人网站并不是主流网络推广方式，但也不是不可为之，建立个人网站还是有很多优势的，毕竟个人网站是我们自己的私有财产，当然我们也可以在不同渠道做网站的推广，但选择大于努力，选择一个什么类型的网站也决定了我们网站运营的时间长短。

该系统的模块包括人员信息管理、人员信息变更、人员类型管理、合同到期管理、报表统计模块、工资业务管理模块等，在该项目中，我担任的是研发组长，带领团队开发此项目，项目采用了Sping、SpringMVC、SpringBoot、Mybatis框架，前端JavaScript、jQuery等，数据库用的是mysql

1、本方案面向企业的数据库管理与开发团队，针对行业中海量数据存储效率低、复杂业务逻辑处理困难等问题。通过专业的存储过程与函数开发，解决了传统SQL脚本维护成本高、执行效率低下、业务逻辑分散等痛点，显著提升管理系统的数据处理能力与事务处理速度。 2、基于MySQL、SQLServer、Oracle多数据库适配的存储过程开发，实现跨平台数据操作优化，单次复杂查询性能提升40%以上； 通过函数开发将仓储核心业务（如库存动态计算、订单批次分配）模块化，降低代码冗余，提升系统可维护性； 采用数据库原生事务控制与错误回滚机制，保障物流计费、库存更新等高敏感操作的原子性与一致性； 3、本方案为物流行业定制化数据库中间层解决方案，核心技术包括： 多数据库（MySQL/Oracle/SQLServer）存储过程开发与性能调优；

zabbix实现了对本机自带模板的监控（CPU，硬盘，负载，以及相应的服务）实现了mariadb的主从监控，NGINX用户连接数的监控，网络连接状态的监控等，自定义监控及邮件，钉钉，QQ报警；配置了自动发现规则，以及主动发现

这是一个简洁的静态网页示例，包含导航栏、首页、关于、服务和联系四个部分，以及一个页脚。网页使用HTML构建结构，CSS实现样式设计，JavaScript添加简单的交互功能。导航栏支持页面内跳转，首页包含一个可点击的按钮，点击后会弹出提示框。网页布局清晰，风格简约，适合初学者学习和使用。通过这个示例，可以快速掌握网页开发的基础知识，为进一步开发复杂网页打下基础。

甲方需求： 做一个python脚本，要求能按照已经给出正则表达式，替换所有匹配的地方。并且给了一个包含数百条正则表达式的文档。 项目实现： 1.提取正则文档里的所有内容，进行数据清洗，之后按行存储 2.用python实现需求 3.对文档进行测试 4.交付

主要是通过选择优化和结果优化以达到压缩后zip文件更小的目的，但受于python本身性能限制，运行效率较低，正计划使用C++重写。

实现后台对卖家的作品管理，后台对买家的订单管理；  接入及时查询接口,物流跟踪接口以及在途监控接口实现物流追踪功能 ；  根据作品点击量及浏览量推送至精品推荐实现作品加精，根据后台设置卖家等级范围 实 现等级评估功能；  订单确认，装裱，下单等功能的实现，下单功能采用 Redis 的分布式锁解决超卖以 及 接口幂等性的问题，采用 RabbitMQ 实现分布式事务；  根据后台设置规则实现对作品上传审核以及拍卖品审核功能；

python angular redis mysql nginx linux 作品分类（1-5个分类）（必填）： 机器学习/深度学习 脚本编程语言 网络爬虫 日志分析和统计 项目构建 添加标签，按回车确认 HTML5开发相关文件管理器其他jQuery插件Chrome插件/扩展论坛系统BBS作业/任务调度网络爬虫日志分析和统计图形和图像工具Emoji 表情相关终端/远程登录搜索引擎项目构建REST/RESTful项目嵌入式操作系统

通过时间序列ARIMA、循环神经元LSTM等算法对大盘进行预测 通过大数据、统计等算法对股票进行预测 PHTHON C++ VS/VSCODE