大数据

大数据展示项目。搭建框架到、功能开发、后期维护都由我一个人负责。 使用了常见的前端技术： ● vue全家桶 ● echarts ● animate.css ● less ● axios

根据高校数据资源的多元性、数据编目以及图书馆信息管理等情况，设计资源仓储服务系统，通过一体化后台存储管理与流程化数据编目等服务，为用户提供服务。 1.资源规划 根据数据类型多元化，以及系统资源统一储存等需要，设计资源储蓄规划页面、包括元数据框架管理、资源模型管理、分类管理、基础代码表管理等的内容。 2.资源管路 通过统一存储用户可针对系统内的各类资源进行针对化管理，包括资源编辑，加入编目队列，资源发布、资源删除等功能。 3.资源编目 针对图书馆人员对数字化资源管理的需求，设计资源编目平台，包括编目任务分配、编目资源、审核资源以及资源发布等功能。

技术栈:Jmeter+Kafka+Flink+Mycat+Mysql+E-charts+Flask 功能:可以实现对Jmeter模拟的高并发数据流进行实时处理，并将结果数据通过Mycat中间件同步导入到Mysql中。之后利用 Python分层统计数据，将统计结果及可视化图表在前端大屏展示。 主要工作:集群搭建，网络爬虫模块，数据同步与处理，可视化大屏的Web展示部分 链接：https://blog.csdn.net/a284365/article/details/122016632

项目描述：这是火王燃具公司运营内部管理项目，项目分为PC和APP端，主要是针对火王燃具业务系统。本项目主要包含系统设置、线索管理、意向客户管理、客户中心、门店管理、订单中心、售后服务，定时任务等模块，完成从线索搜集，转意向客户，最后成交成为有效客户，从而实现客户的建店过程，最后实现火王产品的销售及售后服务。架构采用SpringCloud微服务架构。 责任描述：对需求进行可行性分析和风险评估，并制定相关开发计划，数据库表设计，接口设计及接口文档编写，核心代码编写，项目bug解决。完成线索管理、意向客户管理、客户管理及销售订单、发货单和出库单的同步的开发和维护工作。 技术要点： 1）SpringCloud微服务架构，Jenkins工具。 2）从意向客户到有效客户，要实现动态模板配置寻找店面->建店申请->店面设计->上样->建店过程 ->验收核销的阶段和子任务及销售任务的信息采集。 3）实现消息的推送，采用 rabbitMq 进行推送消息，同时利用友盟第三方插件实现 APP推到应用后台也能接收到消息。 4）采用单点登录方式，在调用各个微服务的接口时通过 cor

职责描述：登录功能实现、定时任务调度服务、国内指数服务、块指数服务、幅榜展示功能、停跌停数展示功能、交量对比 展示功能、股涨停服务展示功能、个股详情展示功能、分时行情、日k线、周K线图等、股描述服务表导出服务； 技术描述：1.登录功能实现：用户登录功能通过Java和Mabatis查询数据，将数据返回前端，redis临时保存验证码； 2.定时任务调度服务：针对股票流水的采集问题，我们的方案是定时（间隔一分钟）拉取股票实时数据， 所以我们就有必要学习相关定时任务的一些框架知识了，当前我们的项目中采用了xxljob实现股票数据定时采集； 3.国内指数服务、块指数服务、幅榜展示功能、停跌停数展示功能、交量对比展示功能、股涨停服务展示功能、个股详情展示 功能：通过Java和Mabatis从数据库获取数据，在结合前端需要的格式定义相应实体类封装数据发送给前端； 4.分时行情、日k线、周K线图：查询个股的分时行情数据，也就是统计指定股票T日每分钟/每日/的交易数据； 5.股描述服务表导出服务：通过easyExcel将指定页数据导出到excel表下。

高级威胁搜索引擎根据各种窃密行为木马、漏洞、后门验证框架，遵循此框架定义各种窃密行为木马、漏洞、后门的专家分析模型探测脚本，根据相应安全场景编写探测分析模块对指定网络范围进行快速搜索探测。用户通过配置专家分析模块相关参数后，能够快速对被检范围网络中的窃密行为进行发现并确定受害面积。 本人主要负责产品初版的技术架构与产品框架搭建，使用了springcloud、elasticsearch、大数据收集与清洗、分布式集群等技术。

这是一个数据爬取的项目，包括了一系列对数据的后续处理和操作，当然也是合法的 1，数据爬取 2，数据清洗 3，数据分析 4，数据可视化 5，数据存储（存到数据库）

主要分为数据库设计、数据库管理、可视化实现 数据库设计为创立一个数据库进行分级管理 数据库管理是将数据库以表的层次进行分类管理 可视化实现使用FinBI工具进行实现

有丰富的可视化大屏系统项目设计经验，许多页面涉及用户保密要求，所以无法过多展示。 1.能源数据可视化大屏 2.设备安全检测可视化大屏 3.智慧消防可视化大屏

1.安全领域： 安全领域态势感知平开发，其中包括日志数据接入，分析引擎从日志生成告警到安全事件流，数据分析和安全运营等领域（5年安全领域背景） 2.金融： p2p互联网金融系统开发 其中包括财务软件的报表模块，凭证模块，对账模块，财务数据的汇总和处理，财务领域的功能和二次定制开发 3. 管理系统和网站 网站开发和APP接口开发

利用Hadoop生态系统成功构建了一套企业级大数据平台，能够可靠高效地存储和处理大量数据。通过Hadoop的强大功能，我们能够处理复杂的数据操作，并实现数据的分布式存储和计算。 为了提供大数据可视化服务，使用了FineReport、FineBI和坐标等报表工具。这些工具能够将庞大的数据转化为直观的图表和报表，帮助企业进行数据分析和决策。通过这些工具，可以快速了解数据的趋势和关联性。 为了提高数据的准确性和处理效率，采用了kettle、DolphinScheduler等自动化的ETL工具。这些工具能够自动进行数据的提取、转换和加载，大大简化了繁琐的数据处理流程。通过自动化的ETL流程，确保了数据的准确性，并提升了数据的处理效率。 同时，集成了多种大数据处理工具，进一步提升了系统的扩展性和可靠性。这些工具可以满足不同类型的数据处理需求，并能够处理不断增长的数据规模和复杂性。

利用Hadoop生态系统成功构建了一套企业级大数据平台，能够可靠高效地存储和处理大量数据。通过Hadoop的强大功能，能够处理复杂的数据操作，并实现数据的分布式存储和计算。 为了提供大数据可视化服务，使用了FineReport、FineBI和坐标等报表工具。这些工具能够将庞大的数据转化为直观的图表和报表，帮助企业进行数据分析和决策。通过这些工具，可以快速了解数据的趋势和关联性。 为了提高数据的准确性和处理效率，采用了kettle、DolphinScheduler等自动化的ETL工具。这些工具能够自动进行数据的提取、转换和加载，大大简化了繁琐的数据处理流程。通过自动化的ETL流程，确保了数据的准确性，并提升了数据的处理效率。 同时，集成了多种大数据处理工具，进一步提升了系统的扩展性和可靠性。这些工具可以满足不同类型的数据处理需求，并能够处理不断增长的数据规模和复杂性。

1.利于rpa自动化软件。 2.输入关键词，获取关键词对应的抖音的第一条视频的评论内容 3.把评论内容保存在文件夹内

通过对某社团四个月的通讯数据和该社团负责的139个城市数据为基础进行多种统计分析和数据分析完成对数据的处理和挖掘工作。

平台模式saas产品，对高校内部调研问卷进行数据分析以图表的形式展现给用户，根据用户使用的页面大小计算缩放比例还原1980*1080设计图；4.内置算法配置模块（基于gojs）可实现对表格形式拥有列头及列值的数据提供各种数学计算；后台配置指标体系树使用vue-tree-org2实现类似于思维导图的树形组件可自定义编辑技；使用axios调取后端接口获取数据，渲染页面，使用Scroll插件完成滑动加载；负责完成前后台搭建以及页面逻辑实现；前台使用echarts图表进行对配置指标的数据进行展示。前台部分个人完成，后台部分与原项目部后端go配合构建算法模块

根据书店选品难等实际问题，设计图书产品平台，结合大数据算法为书店推荐符合期经营需求的图书，解决选品难题。 系统包括图书选品，图书销售数据查询，选品规则制定，图书榜单等页面。

主要以电商为主，为多个客户设计符合用户需求和品牌定位的产品。 1.轮胎检测电商平台 是为知名轮胎客户公司设计的一款多端用户应用，店内销售人员可通过管理端进行库存监控、商品补货等；4S店员工则使用检测端为店内客户自动生成检测报告及推荐产品。系统自使用以来帮助客户公司提高了客户转化率和轮胎销量。 2.音乐购票app 是为国外客户设计的一款集演唱会、话剧、音乐节等为主的购票平台，平台可根据用户习惯及购买记录进行数据分析，提供个性化推荐。平台自发布以来，用户量在1年内内突破3w+。 3.潮流电商平台 是一款以潮流品牌服装为主的电商购物平台，主要包含潮流资讯、潮流商品、在线购物、社区互动等。平台累计用户量达10w+，每年的交易额大约在千万级。

功能分成数据爬虫和数据分析两个部分。 第一个数据爬虫部分，分成网络数据请求和数据解析两个部分。 第二个数据分析部分，使用pyecharts与flask进行结合，生成分析的报表

主要分为数据预处理、预期数据获取、数据可视化 数据预处理包含数据去重、数据清洗等步骤 预期数据获取是根据疫情数据来从中获取想要的数据 数据可视化利用python中的matplotlib进行可视化

使用python爬虫scrapy框架爬取特定网站的公开信息，并保存到表格表单或者数据库中。可以对获取的数据进行清洗，分析等操作。