大数据

1、实时的同步购物网的订单、销售链路的追踪、企业关联查询。 2、技术难点在于在庞大的订单及单瓶的商品中，全链路的查出该商品的流转过程。

https://blog.csdn.net/zfpigpig?type=blog，大数据方向，大数据平台Ambari。hdfs，hbase，hive，flink。对于大数据组件有比较深刻的认识，熟悉hadoop源码，对于hadoop中hdfs，yarn相关的性能问题比较熟悉。

熟悉hdfs源码。有blogHDFS源码分析1：客户端读写，HDFS源码分析2：Datanode通信分析，HDFS源码分析3：Namenode通信原理。https://blog.csdn.net/zfpigpig?type=blog。

项目描述： 数据安全管理平台对于用户访问数据资源行为进行分析、数据分级分类、数据权限等为数据安全基础，并对于数据环境、数据安全持续进行安全分析评估，确保数据环境、数据全生命周期中安全，最小化减少企业数据安全事故发生及影响，是由集群管理、漏洞管理、安全检测、授权管理等功能为一体的大数据安全管理平台；对基于Hadoop的大数据集群进行组件状态监控、安全漏洞监控以及从用户或者组件的维度对数据进行权限管控；技术方面选用SpringCloud的Greenwich.RELEASE版本，结合Nacos的注册中心和配置中心，以及Feign方式的设计和调用，使用Jenkins自动发布 责任描述： 1.数据安全产品的整体架构设计以及开发环境搭建； 2.核心业务功能的流程规划和推进； 3.核心功能的技术调研和研发落地； 4.开发任务的划分、排期以及相关文档整理归档；

1、实现广告业务的降本增效，资源的利用 2、整个过程由数据传输，到落地数据库都由自己完成 3、数据的ETL.计算

大概流程：对4605份调查问卷进行数据处理，利用整理后的数据进行机器学习，对数据统计并进行编程建模，参数求解。使用统计学原理，通过python和SPSS对样本进行总体预测分析。 个人完全实现数据分析的整体流程，导入Python进行数据清洗和预处理，导入SPSS分析大数据模型，并分析模型参数，比较模型适应性，选取多元逻辑回归模型。最后使用Python对该模型参数求解，根据模型对数据未来变化发展进行评测预估。

1.项目功能有基本企业组织管理、人员管理、权限分配功能；基础建设从项目立项到工程验收所有流程性功能，包括流程审批自定义； 2.所有功能为个人开发；

熟悉JAVA，SCALA，PYTHON，JS编程语言； 熟悉微服务架构，云原生架构，SERVERLESS架构，云边一体架构，大数据架构体系； 熟悉GIS行业、车联网行业、共享汽车领域以及V2X车路协同业务。

项目为微型的管理员操作系统，可实现管理员用户的注册登录。登录成功后，可以进行物品信息管理、人员出入登记信息管理。物品信息和人员出入信息管理可以实现时事更新操作。 个人完全实现代码的编写。

1.功能分为地图预览模块，资产总览模块，血缘模块，为使用者提供了对于全国各个地域之中，资产的分布情况，每个资产的基本信息及运行信息，以及资产与资产之间血缘与依赖关系的查看。 2.我负责的模块：该系统与主系统之间的单点认证，地图预览模块，资产总览模块，血缘模块的开发

平台使用python flask后端框架 一周上线 前端使用高德3D地图SDK 让看板画面更加直观立体 独立开发完成 开发难点不在于技术，而是对客户数据分析的需求理解，在看板端展示客户需要数据指标

项目涉及的数据量接近十亿级别的搜索服务，根据不同的搜索习惯提供不同的搜索优化，能够基于数据源进行数据采集，整理清洗，上传ES，OBS桶文件服务，能够实现大数据量的高效处理，目前项目运行平稳。能够根据用户的需求进行搜索相关优化处理，提供sitemap等搜索引擎SEO优化

Ambari平台的国产化，新增组件flink等。ambari有一套完整添加组件的流程，原生的组件一般通过界面配置设置后，后台会使用hdp的rpm安装，安装完成后会使用自定义的python脚本准备配置文件和启动等一系列操作。而对于自增组件，一般通过tar安装，然后通过自定义脚本启动。

因公司发展需要，展示产品数据，扩大产品线，提高管理效率。我做为负责公司大数据可视化的开发负责人，负责对产品数据进行清洗、展示，下面是开发过程中的模拟数据。

通过自己爬取微博用户评论数据，对用户评论进行清洗，利用LDA主题分析和BERTopic动态主题分析，探索用户评论主题分布和动态演化特征

鲸麦浏览器端数据插件是一个主要面向亚马逊跨境电商卖家进行数据选品的应用。我们用爬虫对亚马逊公开数据进行数据采集，经过对大量数据的清洗、挖掘、分析出对于某个关键词下面的市场趋势，帮助卖家挖掘潜力市场进行选品。 功能模块: 1. 数据穿透: 让用户在搜索列表页直接能一目了然看到每个产品的重要信息 2. 关键词趋势: 通过抓取亚马逊ABA以及google趋势数据，让用户判断出该关键词近一段时间的走势 3. 数据面板: 集中展示该搜索页下面每条产品的重要数据，并对自然排名top100的数据进行排序图表可视化展示 4. 历史趋势: 抓取每个产品的历史数据，展示出销量、排名、价格、评论数的历史趋势 5. 评论分析: 利用AI工具对该产品评论进行抽样分析

项目描述： 该项目是一个车联网监控系统，车机端设备会定时采集车辆的各种状态信息，并通过网络上传到服务器端。服务器端接收到车机端设备发送的数据首先需要将数据进行解析、校验，随后会将该车辆信息转发到国家汽车监测平台和企业汽车监测平台，最后将解析后的明文数据和原始报文数据存储到大数据平台。车辆设备的信号数据和其他数据需要通过web页面或者rest API接口进行查询访问。 责任描述： 1.负责重构设计该项目的技术架构图和数据流图； 2.与后端开发人员沟通具体技术实现方案和协助解决技术难题； 3.负责开发系统中有关Can信号数据的实时查询和历史数据查询导出功能； 4.与公司运营部门以及数分部门对平台内的功能进行沟通优化；

1、项目包含用户管理、监控指标范围设置、检普仪数据信息采集、数据处理、告警触发、告警推送给值班医生和护士。 2、技术难点主要在于数据信息采集，数据量大，需要及时的处理，并且检索出指标异常。

项目描述： 该项目主要是对公司内部数据进行汇总、存储、分析,挖掘其数据价值，提供统一的数据和服务，为前台业务提供强有力的数据支撑，其中主要的使用人群为数据分析/产品/运营人员，整个项目下又分为以提供web页面形式使用的报表、指标、舆情等子系统；还有以微服务形式提供服务支持的数据采集、数据通道等子系统；以及用于任务编排的调度系统。 责任描述： 1.负责项目技术架构图和数据流图的设计，制定项目工程的结构划分； 2.负责项目研发任务的管理、工作量评估、技术评估、协调沟通； 3.负责数据埋点项目的方案规化设计和研发工作的推进； 4.根据需求的增长和变更确保系统满足功能、性能以及可扩展性； 5.管理和分配项目中的功能任务，控制研发进度，协助团队成员按时完成研发需求；

我们的自研大数据平台是一个全面的系统，旨在处理和分析大规模的数据集。该平台集成了各种功能和工具，包括数据采集、数据存储、数据处理和数据分析。它能够处理结构化和非结构化数据，支持实时数据处理和批量数据处理。平台提供了强大的数据挖掘和机器学习算法，帮助用户发现隐藏在数据中的模式和洞察力。同时，该平台还具备高可扩展性和高可靠性，能够处理大量的并发请求和大规模的数据存储需求。它的用户界面友好，提供了直观的可视化工具，使用户能够轻松地探索和分析数据。