大数据

## 互联网广告（开始时间不详，止于2020.11） ### 概述 运用大数据技术细分用户喜恶，再根据用户喜恶权重投放广告，从而大幅提升了广告的转化率。 ### 实现 数据采集： - 使用Flume从各日志服务器采集埋点日志到Kafka。 - 使用Sqoop从MySQL导入数据到HDFS。 数据处理： - 实时 - 使用SparkStreaming实时处理来自Kafka的数据并保存结果到Redis。 - 离线（先用Flume从Kafka采集数据到ODS层，此步骤起到一个备份的作用。再用Spark清洗数据到DWD层，用于离线处理的统一入口） - 使用Hive分层搭建数仓并保存结果到MySQL。 - 使用Spark对用户打标签并保存结果到HBase。 - 使用推荐算法分析数据并保存结果到MySQL。 数据展示：使用ECharts展示数据。 ### 个人职责 搭建Flume集群。 参与Spark离线编码（含ETL）。 使用Hive离线编码。 打标签以生成用户定向。 对接后端人员。 协助测试人员。

1.基于ARIMA回归模型的股指期货价格预测 2.利用python，进行模型训练和预测 3.适合毕业论文选题和股价预测 4.代码编写不容易，购买直接可复制

项目描述 ：解决大数据域跨域数据分散 、业务系统独立 、数据能力重复开发等核心问题 。 目前上台有标签库 、指标库 、数据治理 、数据集成 、数据开发 、服务开发 、数据分析 、实时数据开发等数据产品 。构建统一数据中台实现数据统一服 务 、资源共享。 技术栈 ：SpringCloud 、Mybatis 、Nacos 、Redis 、ElementUI 、MySQL

项目描述 ：数据治理平台对标中国信通院DCMM标准 ，致力于企业数据管理 。其中包含了元数据管理 ，数据质量 ，数据标准 ，数据安全 ，标准化建模 ，血缘影响 ，元数据知识库 ，数据地图等产品化能力 。从ETL阶段对数据质量进行稽核 ，在 数据开发阶段统一数据标准 、统一元数据 ，血缘影响分析提供自动构建字段级模型加工链路的监控能力 ，针对异常一键溯源 。在数据应用阶段保证数据安全 ，并由元数据知识库和数据地图对数据进行完美的呈现。 技术栈 ：SpringBoot 、Mybatis 、LayUI 、Nacos 、Redis 、MySQL 、Oracle。

项目描述 ：数据分析平台提供了多维分析报表 、复杂表头报表 、自定义SQL报表 、聚合报表 、大屏等多种形式的报表 开发能力 。并支持市面上常见的数据源 ，支持多语言配置 。并可配置以邮件形式定时将报表发送至业务人员邮箱。 技术栈 ：SpringMVC 、Hibernate 、JSP 、MySQL 、LayUI 、Bootstrap。

评分卡模型用户购买意愿度预测、通过用户行为数据，基于评分卡模型预测用户购买意愿 提高公司销售人效翻倍，从销售处理200个用户到可以管理400用户，同时保证转化率持平

通过python 爬取考试宝试题： 难点在于目标网站反爬，固定IP频繁访问10多次后，封IP，主要通过增加随机访问间隔，多头部、多IP等手段保证持续获取内容，最终保存为docx与xlsx

后端主程/数据验证 实现了用户自定义指标运算，指标复合运算等一系列的 AB 指标计算 支持实时指标嵌入过滤，动态调整实验周期和用户组分配 实时数据展示，可信度展示

互联网的发展使得在线购物成为新常态，并带来了更高品质服务的需求。现有的服装推荐系统基于协同过滤，难以处理海量用户数据，推荐结果缺乏准确性。同样，现有的虚拟试穿技术基于基础图像处理，其试穿效果的拟合度较低。而引入大数据和深度学习技术后，不仅可以高效地处理海量数据，还能实现贴近真实的虚拟试穿。因此，开发结合大数据和深度学习的服装推荐虚拟试穿系统对于满足个性化和高体验感服务需求上具有很高的实用价值。 基于Pytorch和Spark框架，设计并实现了一套服装推荐虚拟试穿系统。该系统在Spark集群上使用ALS推荐算法，能够根据用户评分和服装属性数据，生成个性化的推荐结果存储在MySQL中。通过改进和优化现有的网络模型，设计具有试穿准备器和生成器的新结构模型。在输入经现有模型处理的密集姿态图和服装面罩图后，生成服装试穿视频。使用Django开发前后端，设计用户界面，通过socket与推荐模块和试穿模块进行数据传输，实现服装推荐和虚拟试穿功能。 系统测试结果表明，该系统在生成个性化推荐和虚拟试穿视频上，表现出了极高的准确度和拟合度。不仅能提供用户喜爱的服装信息，还能提前预

自动报告输出： 可实现固定模式输入，经数据处理，分析，整合后，批量进行全量输出分析报告，主要用于处理工作中繁琐的、重复性、机械性动作，已达到提供工作效率的需求

### 概述 运用互联网、大数据、AI技术（尚未引入，我离职时正在招聘机器学习工程师）构建信息化的物流平台，连接物流、仓库、人、车、物等所有管理对象，从而降低运营成本。 ### 实现 数据处理： - 实时 - 根据“数据操作类型”清洗数据并保存到Redis。 - 异步关联维度表以生成宽表并保存到Kafka。 - 风控：生成风控数据并保存到redis。 - 大屏：生成大屏数据并保存到mysql。 - 使用flinksql三流join并保存到mysql。 - 离线 - 使用sqoop编写shell脚本从mysql导入数据到hive。 - 一层表沉淀。 - 二层表沉淀。 - 指标计算。 - 离线指标计算。 - 风控。 数据展示：先用MyBatis映射Java接口和数据库，再用SpringMVC接口生成JSON数据。 ### 个人职责 参与Flink实时编码。 参与Hive和MySQL离线编码。 参与Sqoop脚本编写。 协助前端人员测

我是主要负责人，负责数据回流和分析，以及结论输出 主要的成果是缩短用户的付费路径，提升了付费率和客单价

1、项目包含数据的挖掘、清洗、可视化三个功能 2、该项目为本人毕业设计项目，所有功能均有本人独立完成 3、该项目股票数据来源为深圳证券交易所

技术栈：使用 vue 3和 naive ui 以及 datav 组件来进行整体的项目的搭建，项目里面用到了大量的 echarts 图表，以及高德地图的自定制皮肤和景点标注功能。 项目概括：针对近三年福建旅游实时数据来做的大屏数据可视化展示，可直观的查看到福建近三年最火前10 景点，已经旅友消费分类排名，景区实时客流量，舆情监控景区好评差评，词云图分析等功能。 项目职责： 1.负责项目初始化。 2.负责整个项目的页面布局。 3. 负责整个项目的所有功能。

1.基于开源项目二开的项目管理系统，供应链管理系统，培训管理系统等 2.本人主要负责技术设计，代码编写 3.主要技术框架jfinal、ruoyi等轻量后端框架，kettle数据仓库等软件

主要功能：一张图，考核系统，机器人，大平台，应用中天 我负责的：1.独立设计并完成一张图、机器人全文检索功能，涉及到权重、复杂搜索、分页搜索等复杂功能 2.完成水利年鉴、任务拼抢平台、答题平台的服务搭建、功能开发。 3：设计并开发完成系统的登录、权限、菜单等平台基本功能。

1.项目介绍 《“大数据+”少儿体育培养体系创新--基于统计学的青少儿运动天赋潜能挖掘系统》特别为3-15岁的青少儿设计了一套通过矩阵建模进行数据分析，以k-means聚类算法和AI为基础的一套完整的概率学系统。此项目可以为各大中小学提供运动员选拔的参考依据，为父母减少青少年运动项目试错的时间成本和金钱成本，还可用于专业运动员的选拔，形成从判断到开发到促起成长到线下培训的一条终身运动闭环。 研究其对于家庭、社会及国家都有着巨大的意义。通过父母的个性特征、职业、心理素质等等，以期增加预测结果，提高青少儿运动天赋开发成功率。运动素质的加强和提高不但对训练的效率意义重大，而且也能影响青少儿运动水平的提高幅度以及青少儿最终能达到的运动成绩的高度。生理机能的改变也必然导致形态结构发生相应的变化，相对来说不同的体育项目所要求的身体形态结构也固然不大一致。针对运动意识形态在青少儿运动天赋开发上的体现，包括了运动心理学及运动技能等相关测试指标。 2.承担角色 （1）承当角色：重要开发成员。 （2）业务需求分析：分析业务需求，从人体解刨学、遗传基因学、意识形态学、意识生理学四个学科角度设计项目架构、

统一运维平台是一个云管平台，对私有云（政务云、警务云）平台的资源进行运维管理，平台资源包括数据中心、云平台、大数据、应用等； 平台包括监、管、控、营、服5大功能模块，监是监控私有云资源，并采集这些资源的性能指标数据；管是配置管理；控是运维流程自动化；营是数据分析、可视化；服是工单管理； 平台采用微服务架构，前端使用VUE开发，后端使用SpringBoot、SpringCloud框架实现，核心业务流程是适配器调用网管接口获取CI项的性能数据、CI数据、告警数据，然后推到Kafka，监模块消费kafka中的性能数据和告警数据，使用OpenTsdb时序数据库保存性能数据，使用Redis存储告警数据；管模块消费Kafka中的CI数据，使用MongoDB存储配置数据，使用ES检索配置数据；营模块调用监模块和管模块的接口获取性能数据、告警数据、CI数据，保存在营模块的数据底座（ES+MySQL）中，在数据底座的基础上进行指标统计、容量预测等数据分析工作，把结果保存在ES中，然后基于ES中的数据提供API服务，让大屏、报表、第三方调用；服模块使用MySQL存储工单数据； 职责：负责营模块的设计、

项目主要功能:数据采集,数据分析,数据计算,数据存储,数据仓库,用户报表,推荐系统等 项目技术框架:Sqoop+Flume+Mysql+Kafka+HDFS+Hive+Spark+Flink+Clickhouse+Kylin+Presto+druid+Atlas 项目难点:数据仓库建设,从0到1,需求分析,数据域划分,总线矩阵,数据指标体系,汇总指标,细分指标,开发,调试

产品名称：采购全流程过程监控分析系统 产品简介： 本产品是一款针对企业采购全流程进行实时监控、分析和优化的智能化解决方案。通过整合企业内部各个环节的数据，实现对采购全过程的可视化监控，从而提高采购效率、降低成本、提升供应商管理水平。 主要功能： 1. 数据采集与整合：实时收集企业内部各个采购环节的数据，包括订单、合同、发票、付款等信息，并进行统一存储和管理。 2. 过程监控与分析：通过对采购数据的实时监控和分析，发现潜在的问题和风险，如延期交货、质量问题、价格波动等，为企业提供决策支持。 3. 预警与通知：根据设定的预警条件，自动触发报警通知，及时提醒相关人员处理问题，确保采购流程顺畅进行。 4. 绩效评估与优化：通过对采购流程的各项指标进行评估和分析，发现瓶颈和改进空间，为优化采购策略提供依据。 5. 供应商管理：建立供应商档案，对供应商进行评级和分类管理，以便更好地选择合适的供应商和维护良好的合作关系。 适用范围：适用于各种规模的企业，特别是需要集中管理和优化采购流程的企业。特别适用于制造业、零售业、服务业等行业。 优势特点： * 全面