大数据

数据采集、转换、调度、血缘、报表、质量、元数据 推荐引擎 有效提高了数仓、数据分析师人员的工作效率，一站式完成工作，并将一部分工作自动化

对于加密货币市场预测任务，提出了一种基于市场预测模型和BigData的CatBoost算法。 在实验过程中，我们进行了详细的特征工程处理，如去噪和采样。通过分析数据，我们获得了八个最重要和最具影响力的特征来指导我们的模型训练。 ● 实验结果表明，该方法优于Logistic回归、SVM和Gradient Boosting。CastBoost模型的RMSPE值比梯度Boosting高12%，比SVM高16.1%，比线性回归高43.3%。

仓库监管到冷库当前的温湿度、开关门次数及状态、压缩机、存储货品等实时信息。 车辆监管到车辆位置信息、行驶速度、方向、开关门次数及状态、载重、压缩机状态、储存货品等实时信息

角色 项目前端负责人 ● 项目概述 数据工程提供完整的数据接入流程和方式，数据源支持关系数据库mysql、postgresql等、国产库 南大通用、神州通用、达梦、人大金仓，大数据平台 hdfs、hbase、hive,并且对接入数据数据元匹配以及质量管理。 ● 项目包含以下功能 1. 标准管理，提供行业标准数据值域给质量管理提供依据。 2. 资源管理，将数据存储分为原始库、汇集库、标准库，主要是预配置数据源，对接入的资源更新频率配置以及查看修改。 3. 质量管理，配置调度任务，生成质量报告、数据比对。 4. 任务管理，接入任务、清洗转换任务、共享任务配置，以及对任务的监控。 ● 这个项目中我主要负责 1. 前端任务的分配； 2. 与后台负责人一起制定开发计划； 3. 项目前台页面技术难点攻克。 4. 指导前端组员功能实现思路。 业绩 ● 产品 1. 了解了数据接入平台的、从数据源接入，调度任务接入，以及对数据治理的链路过程。 2. 在界面使用上也积极想象和讨论，在易用上需要更加深入研究。 ● 技术上 这个项目主要是后台管理系统，在实现功能上没有太多的技术难点，唯一 的技术难点是根据数据

华为商城在2017年销售进入高峰，运营团队需要对消费者用户进行用户画像，用于识别用户的喜好舆情信息进行分析，同时对用户习惯进行广告推广，同时对双11期间黄牛风控，我就做了两个项目。 用户行为数据抓取: 华为商城 APP 、华为商城 PC版，第1次版本用的是谷歌的埋点，用户行为数据都在谷歌数据库，所以得先有谷歌数据分析师的资格账号，通过 API 接口获取所有用户行为数据，包括用户账号，M号，手机号，男女，点击时间点击产品，产品的路由，停留的时间，使用的浏览器，使用的硬件等等。 通过这些数据抓取之后写入 hive 数据表，并且作为原始数据分类分区，在用 SQL 脚本清洗以后写入 oracle 数据库。 华为商城第2版是自己的埋点，数据通过卡夫卡写入消息队列，后端消费数据到 hive ，要做到数据兼容v1版本。 这个过程衍生出两个小产品: 一个是用户行为，点击产品热力图，通过插件方式在 APP 端展示用户点击的最热产品，运维人员可以实时的看到效果。 第2个产品是防黄牛封控系统数据，通过 API 端口数据流的分析，可以知道用户的点击频率。把超过阈值的频率的账号，我们会收集起来给运维

项目描述： 根据采购数据、销售数据、物流数据、资金数据、员工数据等数据源，针对风险场景，构建风险规则集，通过spark和hive任务，对风险点进行监控，并且及时消息告知业务。现有已经完成模型4个，监控项120个，每年为公司挽回上千万利润。 项目职责： 流程方案的分析讨论和设计；Hive和Spark任务，持续监控规则开发和维护；通过GraphFrame，实现物流人员模型；通过聚类、编辑距离、N-Gram、TF-IDF等算法，实现相似地址模型的开发；完成价格预警、大单预警，消息告警通知；JAVA工具类的开发，spark代码的开发，GIT工程代码的维护管理；Hive、MySQL、ES之间的数据迁移任务的开发，并且实现了代码的统一化管理。

项目分为信号采集，信号处理，信号展示三大模块；首先需要对传感器采集的数据进行收集，收集方式分为tcp/ip方式和采集卡直接采集两种方式，采集过后需要对信号数据进行处理分析，开发算法提取信号特征，并将信号和信号特征进行实时展示； 采用的技术栈是hbase+kafka+springboot+springcloud-alibaba+redis+mysql+flume+websocket+vue3+elementplus

1 该系统旨在对包括浙江省内交通工程、道路运输、公路养护、港航海事等领域包括23个行业类别的单位和个人进行信用评价。核心模块包括数据清洗、跑分模型设计、工作流设计、信用公示、短信发送、综合展示、红黑名单、业务处理、异议修复等; 2 前期主要负责协助调研整理需求文档，设计模型，后期主要负责部分数据清洗、等级计算模型设计、主要功能模块开发、信用公示网站开发、短信发送，以及其他模块的开发工作; 3 使用多种设计模式优化处理实际逻辑问题；使用nginx反向代理，负载均衡；使用多线程等等。

1、平台主要用于园区各个企业的信息资料留存 2、以资料的形式保存企业容易丢失的各种纸质审批材料，要求界面简洁、直观，操作方便。 3、项目中主要担任项目经理，分配给组员各自的任务，负责和客户需求的沟通交流、项目的整体部署等。 4、项目框架使用springboot开源框架进行二次开发，前后端分离，方便维护管理

项目可实现大数据或海量数据的带标签分类、聚类 1. 项目包括数据读取、数据清洗、数据预处理、以及建模可视化 2. 本人负责全部模块，最终实现数据的聚类

主要包括了地图显示车辆定位，人脸抓拍采集列表展示， 人脸比对，视频调度的核心功能，采集数据可视化，本人负责了后端模块的开发以及后台管理界面的开发维护，与前端人员的对接，接口bug处理等工作，后端模块使用了thinkphp，后台管理界面使用了layui搭建

项目功能为高德百度系统，带坐标与信息的POI兴趣点爬虫 1. 项目模块包括解析单个网页，爬取全部网页，合并输出三个模块 2. 本人负责全部模块，可以对客户指定范围，某类型的兴趣点进行爬取

项目描述： 针对内控场景多，开发任务紧，持续性监控排期开发周期长。为了更快的响应业务方的需求，开发了轻量级监控。轻量级监控平台实现了针对业务风险数据分析人员的SQL开发页面，定时生成任务执行实例，及时推送告警消息和报表页面自动生成的功能，页面的自动去重功能，在跑任务66个。 项目职责： 流程方案的分析讨论和设计；参数的解析，通过Druid的HQL语法校验；以Spark作为底层计算引擎，任务实例调度监控，结果的存储维护；对任务实例状态的监控管理，资源消耗和异常日志的记录，保证任务的稳定运行；对业务人员提交的任务进行审核，避免资源的严重消耗和不必要的错误。

1.该项目是一个华为云的标签画像平台，利用大批量数据，给不同的客户群体建立不同的标签画像，从而达到给相应的客户推广对应的产品的效果 2.我负责的模块是把大数据从hive平台通过数据供给导入到clikhouse上，然后提供接口给前端查询。从而达到依级别的数据可以实现秒级查询。

支持日均800w单记账请求，负责20亿+数据维护，设计子账户系统支持热点账户300+qps记账。还涉及10亿级别流水归档设计与开发，30亿数据的迁移，服务不下线灰度切流升级。

· 负责需求评审， 并制定落地方案 · 负责系统框架的搭建，需求分析与任务的分配 · 负责分析扶手带的老化程度，采用图形的二值化来解决 · 负责在站点页面中，实现摄像头对场地的实时监控，采用 FFmpeg 将 rtsp 流转成 rtmp 流 · 负责统计线路、站点、单台电梯的数据报表 · 负责分析传感器收集数据，利用算法生成模型 · 优化系统的接口

项目为电脑闸机控制的智慧停车场，制作其运行评估软件 1. 项目分为数据收集，数据库存储，数据读取，预处理，以及数据评估输出模块 2. 本人负责全部模块，包括软件架构，软件设计，功能设计，UI设计 3. 难点在于海量的停车场数据，难以通过常规手段评估指标，必须编程实现评估

广州市智慧城市运行管理中枢，简称穗智管。应广州市政务服务数据管理局要求，为市领导更好地站在全市的角度，一屏掌握全方位的数据，综合性提供数据分析，为领导统管提供综合性的数据分析和决策支持。 项目对接里约网关、中台系统，汇聚并展示广州市各个委办局单位的相关主题内容数据。穗智管系统融合三端（大屏、PC、移动）入口，每端使用iframe框架分别嵌入多个主题应用，并使用TSF腾讯微服务平台进行部署监控。 1.主要负责PC端入口省统一身份认证的对接开发。对接粤政易用户及权限信息，限制非法用户登录。 2.第三方震有融合通讯的对接开发，打通了粤政易用户的视频会商功能，使用户可以通过穗智管平台进行电话、短信、视频、即时消息进行通讯。 3.相关主题数据开发，集群部署等

虚拟数据室(VDR）也称为交易室，是文档存储和分发的安全在线存储库。它通常在合并或收购之前的尽职调查过程中用于审查、共享和披露公司文档。该项目分为PC端国内一级、国内二级、海外版/后台管理系统国内一级、国内二级/海外版

移动数据的联动个性化数据可视化展示，主要模块有整体概览、高价值、中价值、低价值数据展示，区别于传统的数据可视化展示，界面较个性化，传统的图形图表无法满足，整个项目基于D3js结合动态数据开发，界面实时响应数据变化，支持数据下钻