数据存储

项目简介: 段子数据采集，对网站上段子作者，段子内容，点赞数据，不喜欢数据进行采集 项目架构: Scrapy框架+pymysql+pandas+Xpath 技术描述: 1.使用Scrapy框架对数据进行采集 2.使用xpath插件分析数据特征，对数据进行提取 3.添加请求头，Cookie，IP代理等信息，解决反扒问题 4.使用Git代码版本工具对项目代码进行管理 5.使用PyMysql将数据存储到Mysql数据库中 6.使用numpy对数据进行处理

产品简介：面向中老年群体的集舞蹈视频、小视频、社交为一体的广场舞APP，注册用户近千万。 工作内容： APP的独立开发、架构设计、日常维护、迭代升级； 视频播放、多任务后台下载、后台上传等功能； 小视频影集的分段拍摄录制、美白滤镜、添加特效和背景音乐、编辑和选择封面等功能； 图片、小视频、影集等混合信息流展示，信息流数据的缓存、预加载、内存优化； 自定义各种动画效果； 架构升级，功能优化； 根据业务逻辑设计接口返回的数据格式。 维护开发文档、产品周期计划、测试功能要点等； 参与PRD评审会议，提供意见和方案。

1、平台涵盖智慧运维、智慧安防、智慧能源、智慧交通、智慧办公等平台功能板块 2、其中包含支持运维工单、运维知识库，摄像头、门禁、电表、水表、气表、公交车设备、食堂设备等的实时数据和告警数据，可实时报警，通过运维工单进行即响应，形成完整的闭环。 3、系统可以支持包含3D设计、数据大屏驾驶舱、智能控制策略、楼宇节能联控、安防联控、数据模型建立等。

负责多个大型软件项目的管理，负责项目的投标方案、技术方案、解决方案的编写，主要是数据处理、物联网、数据采集、时序数据库方面的方案编写，以及船舶领域的整个集成系统的设计等。

1、本项目解决了餐饮行业与顾客的联系问题，管理员可以管理店铺、员工、菜品等信息，顾客可以进行点单、咨询等，商家可以上/下架、出单、拒单等操作 2、本项目采用Spring BootMVC三层架构，运用了Spring Boot、Mybatis、Redis等技术，数据库采用Mysql，前端采用Vue框架 3、本项目是开源项目，用IDEA运行代码，打开并连接数据库，打开redis等软件即可运行，然后在浏览器输入指定地址即可访问系统

能够支持虚拟机生命周期管理、大模型训练、云计算平台开发，对于虚拟化、go、大模型有相关的开发经验，支持疑难问题解决，如：机器异常故障、数据库性能调优等方面。

该项目是基于python的爬虫MOOC课程评论数据获取，用户可以通过输入关键字来获取自己想要的某一课程评论数据并将其保存到excel表格中进行可视化。 运用场景：mooc课程评论数据 开发工具：requests、jsonpath、pandas、time函数

1.基于BI的可视化数据平台，主要是报表sql编写 2.数据迁移，数据抽取，数据清洗，sql编写，数据精细化处理方案 3.mysql, 数据抽取工具

1.参与公司岗前培训，熟悉公司研发的框架与代码编写规范； 2.参与公司项目设计的讨论，与用户沟通确定需求； 3.参与软件系统的设计、开发等工作； 4.负责软件系统中主要功能的代码实现和单元测试，保证项目的质量； 5.编写数据库设计文档与系统接口文档； 6.参与项目的调试、部署与上线；

1.该项目分为用户登录管理、媒体影视资源管理、广告用户管理等模块,让营销人员能方便地推广影视作品并获取广告流量; 2.该项目为前后端分离，服务端使用了 Hyperf(PHP + Swoole) 高性能框架, web前端使用了 React 18 框架。使项目轻快流畅，swoole支持api高并发; 3.该项目摒弃了传统的cookie鉴权,以严格的jwt主动无限续期搭配全Restful风格的api,解决了单机并发瓶颈，保证了服务端的安全可靠性,支持更多客户端扩展。 提供测试条件下项目访问账户如下 用户名 admin@163.com 密码 123456

1、系统划分：我们的整体我们整体的系统划分是根据MVC架构进行划分的 (1) View子系统：该子系统主要负责上面2.1.2系统功能需求中界面动画显示需求以及游戏整体界面切换流程控制中的接受用户点击事件或者键盘输入事件，并将用户事件信息传递给对应的Control，总体来说：View子系统负责任务是显示画面以及动画，并接收用户事件这两大功能并调用相应的Control，但是什么情况下显示什么动画或界面的控制任务，该控制任务交给Model子系统，View不负责。 (2) Model子系统：该子系统主要负责上面2.1.2系统功能需求中的游戏整体界面切换流程控制、游戏进行的控制、检验用户登陆、用户数据管理功能、游戏数据管理（游戏的地图资源、游戏进行时的各种实时状态数据）功能；总体来说就是Model子系统负责控制整体的进行流程。 (3) Control子系统：该子系统主要负责的是View子系统和Model子系统的连接交互，View对应的操作信息要通过Control子系统出传递给Model子系统。 2、子系统体系结构风格：具体介绍每个子系统的体系结构风格 (1) View子系统的体系结构风格：在第一

1、实现基于特定条件自动归档数据，避免数据量过大影响到业务。 2、实现下线商户数据归档。 3、实现数据跨库归档。 4、实现了数据增加字段实时无锁切换。 5、实现了数据归档上传到OSS。

企业内部客户关系管理系统； 主要包括账号管理，客户流转，销售管理，运营管理，数据采集，报表展示等模块 前后端均为团队独立研发

1.项目用于部门内部数据的处理，提供运营报表、财务报表，从原来一个数据报表需要开发5个工作日，缩短为1到3个工作日。 2.我负责：使用elk生态技术，为各业务线的研发同事提供日志数据，为各业务线的相关同事提供营收数据。 3.elasticsearch在当时是比较新的技术，学习成本高。

运用senlenium与数据库技术将根据淘宝搜索框搜索获取所需要的店铺信息，当然验证码滑块需要自己手动滑动，由于时间原因和一些考虑，认为验证码只需要几秒自己划一下就行，所以并没有写绕过验证码的程序。如果有所需要，将所获取的数据进行分析形成可视图形也是可以做到的。这个作品还有一些不足之处，但基本使用应该是没有问题的。

该项目是一个基于spingboot3+vue3+antdesign实现的一个学生信息管理系统，该项目实现了登录注册以及学生信息的增删改查功能 项目亮点： 使用axios第三方库发送跨域请求 使用vue-router管理单页面应用

以万年历阳历日期为准，匹配相关的农历，星期，天干地支，等相关的信息再进行筛选，匹配出相关的有价值的数据。

1.该项目包含文件上传 文件下载 文件 删除 文件夹的上传 文件夹删除 2.前端使用react + antd，后端使用springboot 一人开发

该方案面向需要安全传输数据的任何项目 该方案通过对数据的序列化，通过非对称加密方式分发秘钥，通过堆成加密加密需要传输的被序列化后的数据。 该方案也可加入数据库来记录管理使用秘钥的用户，方便项目对不同身份的用户进行管控 最后该项目提供外联接口，方便使用 此方案能保证项目提供能够安全传输数据

## 机器人手持示教器 ### 功能模块 1. 通信处理模块 1. 基于modbus RTU 修改的变体协议，满足上下位机通信。主要通信内容为客户编辑的程序，设定的参数和按键指令。 2. 数据存储接口模块 1. 系统基于sqlite作为存储数据库 2. 提供程序和参数存储，备份和还原接口 3. 报警记录和操作记录存储 3. 程序指令编译模块 1. 将JSON格式的程序指令输出为HMI可以使用的内容 2. 将JSON格式的程序指令输出为下位机控制器支持的格式 3. 程序规范性检查 4. 人机界面模块 1. 利用QML实现 2. 提供项目内常见的人机交互控件 3. 报警信息显示 4. 操作记录显示 5. Linux 操作系统 1. 提供定制的驱动程序 2. 提供生产和重装的U盘启动脚本 3. 裁剪后的文件系统 ### 负责的内容 1. 整体程序框架设计 2. 基础的交互控件库设计 3. 程序编译器设计 4. Linux内核裁剪优化，驱动程序实现。包括屏幕驱动，触摸驱动，按