大数据

本项目是一个农业数据终端系统，集合国家和地区农业数据、农业资讯信息、农业研究报告。是集合了数据采集、数据存储、数据可视化、数据分析、C2C数据交易等功能的互联网农信服务。

主要用于专利检索和统计分析，支持语义检索、表达式检索和批量检索，并可对专利 进行多种维度的统计分析。该系统基于NLP自然语言处理技术、SpringCloud微服务 生态组件和Elasticsearch检索服务等搭建而成。 专利场景下的专利分类系统，对未分类的专利进行分类。分类系统分为分类模型算法 接口服务和分类服务管理系统两个部分，管理系统主要功能为对算法接口服务的动态 扩容和负载均衡以及服务状态管理。接口服务最前端由Nginx将请求进行转发，转发 节点为zuul节点，zuul负责认证及向下游算法接口转发请求。eureka配合管理系统将 算法服务进行上下线管理。系统对接专利局内部系统，不直接对外开放。 我的职责： 1、系统设计、系统服务搭建、系统环境集成和核心功能开发 2、完成ES下的专利检索服务功能和不同维度下的聚合统计功能 3、运用eureka服务进行服务注册发现，feign进行远程调用，ribbon进行负载均衡， hystrix进行服务降级和容错处理 4、使用docker容器化技术搭建fastdfs文件服务器

某大厂完成Oracle、mysql、sqlserver结构、全量、增量数据同步到异构数据库，kafka等数据平台。支持了多个大客户的产品上线和问题修复等

数据爬取 1、应用各用技术对网络中的数据进行爬取，然后对数据进行分析，提取有利于公司（企业）的信息。 2、爬取政策文件，关注政策走向。

项目描叙：集团公司提供一个集中化管理办公系统，将各分公司数据采集至集团系统，形成报表，并且提供可视化数据平台，使集团管理者可一眼清晰的看到整个集团的经营情况起到了降成本、提效率的作用。 负责工作：数据采集服务，查看功能及相关报表开发，手机端H5页面开发，可视化数据平台开发。 技术栈：Laraveladmin、php8、Mysql、 Redis 缓存、windows server，Echarts。

数据爬取 1、应用各用技术对网络中的数据进行爬取，然后对数据进行分析，提取有利于公司（企业）的信息。 2、爬取政策文件，关注政策走向。

一个客户k线数据展示系统 1.客户是一个炒股的，因为他使用的软件时间超过后无法查看历史数据，所以需要导出保存，找我开发了这个展示的 2.使用springboot,vue开发，数据存储mysql,多线程读取解析海量数据 3.独立开发，外网部署

https://github.com/albin3 从0搭建数据可视化平台，支持各种数据源 + 数据分析，熟悉所有大数据SQL + Mapreduce处理及数据分析； 专业nodejs后端

基于销售人员数据规则，自动分配销售区域和订单。项目纯云端运行在容器服务中，同时支持API，批处理数据库刷新等方式对外提供服务。

【功能介绍】给政府部门展示用的数据大屏，通过可视化图表结合地图，直观的展示各类汇总数据 【开发说明】我负责此项目的前端开发工作，使用react进行开发，搭配echart实现可视化数据效果。

这是为自己分析数据，使用Python编写的。根据参数简单统计历史数据的概率并保存到csv文件；根据历史数据及参数展示当前数据的剩余的未匹配的占比情况。

1.包含前后端、微服务，和各种大数据的开发，运维，云计算。 2.我完成了各种大数据的开发，运维，云计算。 3.难点：各数据组件之间的架构衔接，优化代码，让资源充分利用，使性能和稳定性达到极限。

互联网的发展使得在线购物成为新常态，并带来了更高品质服务的需求。现有的服装推荐系统基于协同过滤，难以处理海量用户数据，推荐结果缺乏准确性。同样，现有的虚拟试穿技术基于基础图像处理，其试穿效果的拟合度较低。而引入大数据和深度学习技术后，不仅可以高效地处理海量数据，还能实现贴近真实的虚拟试穿。因此，开发结合大数据和深度学习的服装推荐虚拟试穿系统对于满足个性化和高体验感服务需求上具有很高的实用价值。 基于Pytorch和Spark框架，设计并实现了一套服装推荐虚拟试穿系统。该系统在Spark集群上使用ALS推荐算法，能够根据用户评分和服装属性数据，生成个性化的推荐结果存储在MySQL中。通过改进和优化现有的网络模型，设计具有试穿准备器和生成器的新结构模型。在输入经现有模型处理的密集姿态图和服装面罩图后，生成服装试穿视频。使用Django开发前后端，设计用户界面，通过socket与推荐模块和试穿模块进行数据传输，实现服装推荐和虚拟试穿功能。 系统测试结果表明，该系统在生成个性化推荐和虚拟试穿视频上，表现出了极高的准确度和拟合度。不仅能提供用户喜爱的服装信息，还能提前预

此项目只是一个简单的项目，可以有源码和程序，此项目无难点。主要是数据的爬取清洗整理或数据打包成程序，一些加密数据的爬取也可以。本人是新手，但我会接受最低的报价

1.分为数据分析以及爬虫两个模块，数据分析让用户更加清楚的看出天气、时间与地区等因素的变化关系 2.本人负责数据分析以及爬虫的任务，使用scrapy框架进行数据获取，使用pandas、matplotlib、wordcloud等python库，进行数据分析 3.难点在于对数据的清洗与爬取，数据获取后部分数据可能存在空值，乱码等情况，可以将这些问题数据用中间值填充或者是将问题数据行消除

从多个平台拉取数据，实现大数据平台的相关展示页面，使用ETL工具对系统数据进行抽取转换，最后展示在大数据平台上面。

一，数据来源分析 1.确定目标，想要采集数据url地址 >>> 去通过抓包分析 分析找到url地址来源 通过开发者工具进行抓包分析 当分析数据时，可以根据想要的数据格式进行查找：视频 音频 都是二进制数据内容 后缀 ts m3u8 m4s m4a avi mp4 mp3 I.找到想要视频或者音频url地址 二，代码实现步骤过程 1.发送请求，对于视频播放页面发送请求 2.获取数据，获取服务器返回响应数据 网页源代码数据 3.解析数据，提取想要视频信息，以及视频标题 4.保存数据，把音频和视频内容合成为一个整体的数据内容

前端使用数据大屏布局，组件化开发 后端使用springboot + MySQL实现 前后端分离项目 运维自动化探针使用Python完成 个人独立开发

西山居内部使用平台，包含 大数据平台，告警平台，文库平台，缺陷管理系统，运维平台，官网， 工单系统，代码平台，打包平台，作业平台....等等 由于内部系统，内容涉及保密信息，不便过多透露。可以交流实现方式或者不涉及数据的，软件本身层面内容；

数据爬取 1、应用各用技术对网络中的数据进行爬取，然后对数据进行分析，提取有利于公司（企业）的信息。 2、爬取政策文件，关注政策走向。