大数据

一易管车SAAS平台是国内首家集管车、结算、财税、后服、金融等五位一体的车辆运营管理服务平台。运用物联网、移动互联网、大数据、人工智能、区块链等先进技术，实现了信息流、货物流、资金流、票据流“四流合一”，助力物流车队规范业务运营、提升信息化管理水平、优化运力资源、连接增值服务，降本增效。 1) 系统支持所有业务的支付全程线上化，运营人员及司机无须接触到现金，杜绝腐败现象。 2) 系统与G7、易流、北斗打通，对每条线路的油耗进行实时严格管控，可大幅减低车队加油成本。 3) 车辆的维修保养等费用，线上申请、审批、支付，直接对接到供应商，既方便又避免内部人员报销作假。 4) 年审、保险等各种证件到期智能提醒，避免证件过期的车辆上路，减少不必要的罚款。 5) 系统与找油网、万金油等油服务平台打通，支持给车队的行驶线路智能推荐最优惠油站，为车队大幅节约油成本。

1.项目分为HES采集系统，MDMS计量系统以及其他第三方系统； 2.项目采用SpringCloud Alibaba技术栈，Nacos作为服务注册和配置中心，选用Redis作为缓存中间件，Kafka作为消息中间件，采用XXL-JOB定时任务框架，程序通过K8S容器化集中部署； 3.项目难点在于多个系统之间采用不同的集成方式进行接口交互，且多个系统之间数据需要保持一致，每天的数据量为千万级别，另外由于国外有夏令时，业务时差问题需要仔细考量； 4.在项目中完成了第一二阶段的接口集成开发设计，且对原有系统代码架构进行了优化，对潜在问题进行了消缺，并完成了系统间大数据并发同步方案设计开发；

乍眼一看，是不是觉得和离线数仓的架构图，相差无几？其实二者差别还是很多的： 与离线数仓相比，实时数仓的层次更少一些 从目前建设离线数仓的经验来看，数仓的数据明细层内容会非常丰富，处理明细数据外一般还会包含轻度汇总层的概念，另外离线数仓中应用层数据在数仓内部，但实时数仓中，app 应用层数据已经落入应用系统的存储介质中，可以把该层与数仓的表分离。 应用层少建设的好处：实时处理数据的时候，每建一个层次，数据必然会产生一定的延迟。 汇总层少建的好处：在汇总统计的时候，往往为了容忍一部分数据的延迟，可能会人为的制造一些延迟来保证数据的准确。举例，在统计跨天相关的订单事件中的数据时，可能会等到 00:00:05 或者 00:00:10 再统计，确保 00:00 前的数据已经全部接受到位了，再进行统计。所以，汇总层的层次太多的话，就会更大的加重人为造成的数据延迟。 与离线数仓相比，实时数仓的数据源存储不同。在建设离线数仓的时候，目前公司整个离线数仓都是建立在 Hive 表之上。但是，在建设实时数仓的时候，同一份表，会使用不同的方式进行存储。比如常见的情况下，明细数据或者汇总数据都会存在 Kafk

项目描述：项目优化了长虹工厂的设备管理流程，解决了设备管理混乱、丢失设备信息查找困难、维护和维修记录缺乏及时透明的沟 通等问题。包括设备监控、数据收集、远程控制和调度、故障预测、维护管理、数据分析、智能优化、安全和访问控制。 为了处理高 并发场景，系统架构将利用Spring Cloud分布式架构和ActivitiMQ消息队列技术。这将支持大规模的设备管理和数据处理。该系统将 通过水平扩展和负载平衡技术实现可扩展性和高可用性。为了实现实时数据分析和决策，利用边缘计算技术。将确保从现场快速收集 设备数据，并在设备管理系统中实现实时分析和决策。 责任描述：系统框架搭建、数据库设计、接口定义与文档编写；实现数据采集与故障预测相关模块； 技术栈：Spring Cloud、Redis、MySQL、JPA、Spring Security、ActivitiMQ。

工作内容：负责主导公司大数据平台产品线，涵盖 数据采集、主数据管理、数仓、数据服务、标签、数据分析 几大产品。 •数仓DW：采用维度建模。 1、完成数仓主题域规划，和技术协同制定了数仓分层标准。 2、提供了 人、机构 的OneID产品逻辑，采用图计算进行人的ID-Mapping，采用业务规则+NLP模型进行医疗机构唯一识别与关联。 3、DIM及DMD层涵盖内容：HCP（医生、护士、药师、技师、销售代表、患者、社交关系）、HCO（组织机构、医疗机构、药企、学会）、医学知识（药品、疾病、不良反应、药理分类、剂型）、学术（文献、会议、临床研究、病例）、流量（问诊、患者评价、问卷）、地点（行政区、POI）、杂项（杂项维度、日期）。4、DWS层涵盖内容：企业汇总、学者汇总、KOL汇总、观众行为汇总、文献汇总、会议汇总、活动汇总、问诊汇总。 •指标体系 OneIndex：采用OSM-UJM方法论结合AARRR模型，和业务方一起整理业务过程的目标、痛点、度量体系及分析逻辑，建立指标体系（含58个原子指标、70+项维度），并在数仓DWS层建立了部分指标汇总表。 •数据服务One Service：

钼媒数据平台（数字营销生态部，数据集市） https://daas.jd.com/ 工作内容：伴随部门成立，作为数据平台主要产品经理参与钼媒数据平台建设，以满足线下广告营销精准化数据需求，从而支持部门实现其核心商业逻辑。 挑战：在满足数据合规情况下，对多源异构数据进行融合与提炼。 工作包括： •数据接入：1）外部包括图商POI、AOI数据采买，POI行业深度数据爬虫，智慧足迹、腾讯位置等线下轨迹及群像等数据采买，智能屏等IOT设备采集数据接入。 2）内部包括集团标签、流量行为等数据资源接入，提交ID打通需求。 亮点：针对不同的数据特征、合规及成本约束，制定合理、全面的取数方案。 •数据治理：1）多方POI合并去重，定义标准地址层级，对POI深度信息进行抽取融合。 2）线上行为模型：刻画每个用户在线上对商品、店铺的浏览、关注、加购、下单等行为的时刻、频次、金额。3）线下行为模型：刻画用户在线下的到访地POI、到访轨迹、进出时段与频次。4）媒体模型：统一线下媒体维度，关联媒体网点POI、场景分类等信息。 亮点：多源异构数据的融合与提炼。 •数据挖掘：1）客流估测模型：以运营商数据

埋点系统作为公司数据接入的重要项目，是进行数据挖掘、数据分析、标签分析、实时营销等系统和数仓开发的核心基石。高效、快速、准确的数据接入为业务发展提供了强大的保障。 1.负责整个项目开发和运维工作。从数据上报到数据清洗、实时数据加工、数据存储全链路开发运维。 2.系统QPS达5w，每日处理数据量约10亿，数据处理链路P99耗时小于1分钟。 3.除此之外，还负责行为数据的分析设计和实现。 4.项目主要技术：spring、dubbo、zookeeper、spark、flink、hive、hadoop、kafka、redis等

1.熟悉大数据框架相关技术，spark，hadoop ，hive ，hbase 都有过实战经验 2.熟悉mysql 数据库具有很强的sql 使用能力 3.熟练使用shell脚本 4.熟练使用FR报表开发 5. 数学基础良好，熟悉常用的聚类，统计方法 6.对于Spark 性能调优、数据倾斜有一定的解决经验 7.具有scala，java语言经验 8.springboot后端开发 9.项目需求文档编写 10.linux系统操作维护

项目名称：农作物大数据平台管理 项目介绍： 1、项目背景 现代农业种植是通过控制全国各地的基地状况，实现全球自动化管理,;农产品的信息管理则是通过采用物联网技术实现现代农业种植和农产品信息管理，并通过全球定位系统统计农作物所在基地概况进行信息通信,用以实现智能识别、监控、跟踪和管理的一套系统。 2、基本业务概述 3、开发模式 本项目采用前后端分离的开发模式，前端用到了基于Vue的Element-Admin UI框架，后端采用了.Net Core后台开发框架和EF Core+异步泛型仓储的开发模式 4、技术选型 前端项目技术: Vue-Element-Admin、Vue-Router、Axios、Echarts 后端项目技术: .Net Core 、EF Core 、Jwt权限验证、仓储模式、Autofac 项目技术亮点分析： 本项目采用前后端分离模式，分为多层降低了耦合度，提高了代码的可维护性，后台基于.Net Core设计Api接口框架，使用用Ef Core中CodeFirst模式实现与数据库的交互，并使用异步泛型仓储提高对数据库访问的维护，在完成接口编写后加入了JWT权限

使用DcatAdmin进行数据应用开发，含有CMS，数据的展示，流程控制，最重要的是关联表的建立，以及数据的智能应用，暂且谈不上智能吧，目前对人工智能还没有很深入的了解，这是我Laravel框架的第一个作品，其次擅用ThinkPHP。

1、项目为公司整体搭建大数据平台。 2、项目难点为业务分析&平台建设，针对这个问题，根据业务属性，区分出不同的业务场景形成场景矩阵。 3、目前平台已经成功落地。

本系统包括： 1、总管理后台（支持分账，清分，财务，发票，停车场管理等模块） 2、用户端APP及小程序（便捷停车，远程预约，停车缴费，数字人沟通等） 3、停车场管理端（车辆管理，停车场资产管理，用户管理，用户画像，提现管理，设备管理等） 4、停车场移动端（车辆管理，开闸管理，收费管理，进出场管理，工单管理等）

功能：登录注册、首页大屏、任务管理（增删改查） 主要负责：可视化设计与开发，基于echarts进行平台采集数据的可视化设计和开发，数据分类展示简明直观。基于HTML、CSS以及Vue开发基础组件，如定时任务日历组件等。

行为数据管理系统，主要用于管理埋点系统上报数据。管控上报数据的合法性、规范性、以及基于事件的元数据管理。 1.负责项目设计、开发、前后端实现。 2.主要功能： 2.1 事件元数据注册和提供公共对外接口查询，对接标签、营销等系统。 2.2 支持多数据源数据接入系统，目前支持MQ、kafka、和MySQL binlog数据接入自动转换为统一格式数据，输出到kafka、starrocks、hive等存储介质。 3.项目主要使用的技术：spring boot、kafka、redis、MQ、flink、starrocks、vue3、html等

大数据处理平台的操作系统，平台以工作流处理业务方式完成自动 化和半自动化处理用户接入的数据（结构化和非结构化数据）源或自定义（可 配置）规则到平台，自动处理数据融合、聚合、监控、数据分析以可视化展 示数据。

项目架构：CM+ZooKeeper+HDFS+Yarn+Hive+Spark+Sqoop+Hue+Oozie+FinBI 项目描述：本项目是基于同程生活研发的大数据分析平台，公司业务覆盖华东、华中及华南等地区，日服务家庭超过几百万，月交易额数千万元人民币。为了避免疫情大爆发给公司带来巨大影响，突破运营瓶颈，增加公司营业额，提高用户量和订单量。因此对大量的业务数据进行综合分析，依据数据分析报表展示的结果，能使公司更加清晰地把握业务运营状况，通过更少的投入获取更大的收入比。 职责描述：1.参与项目的立项会议，参与编写项目的需求文档 2.制定离线数仓开发规范，设计表命名，字段命名，字段类型等规范 3.负责将存储在MySQL数据库中的业务系统数据导入HDFS上 4.负责实现每个分层的数据抽取、转换、加载 5.负责编写Shell实现Sqoop脚本批量导入数据，并实现Oozie任务流调度 6.负责使用SparkSQL进行数据应用层指标进行分析

项目架构：CM+ZooKeeper+HDFS+Yarn+Hive+Spark+Sqoop+DS+Springboot 项目描述：本项目是一个国联人寿保险的重构项目，由于整个精算系统重构之前是基于Oracle 计算的，计算过程过于复杂，而且需要专业的Oracle DBA参与，项目维护非常麻烦。项目负责人选择更换使用 Spark SQL 进行迭代计算操作完成整个精算计算操作。该项目对计算流程进行了拆解，简化难度，提升维护性，以及提升效率，通过维度建模及数仓分层来简化SQL的难度，提升维护性，减低成本。为此通过 CDH 平台整合多险种业务源数据，利用大数据海量数仓的分析能力，精细化处理保险业务，达到精算保险的目的。 职责描述：1.参与需求文档分析阶段，根据产品提供的去求划分主题，辅助构建需求文档 2.根据业务关联关系分析指标，建立数仓分层模型 3.负责实现将业务数据划分全量及增量，构建全量及增量同步脚本实现ODS层数据同步 4.负责保费参数因子计算，以及后续的保费计算 5.负责项目中业务指标统计分析，现金价值指标计算工作 6.开发数据同步、数据主题的Shell脚本，基于DS实现任务流调度的设

智慧图书馆数据平台，具备内外多源数据的汇聚整合、提纯加工、数据管理和数据服务的能力，形成能方便支撑数据应用的图书馆数据体系。 项目技术： 微服务组件：Nacos(服务发现)，Dubbo(RPC远程调用)，Apisix(网关)，Spring Boot，Mybatis Plus，Redis，MySQL，Vue.js 大数据组件：DataX(离线数据同步)，Hdfs(分布式文件系统)，Hive(数仓工具)，Spark(离线数据处理)，Flink(实时数据同步处理)，Powerjob(分布式任务调度) 责任描述： 1. 数据集成模块：包含数据源管理与数据同步管理。使用DataX对接各个数据源，将Mysql、Oracle、PostgreSQL、SQLServer数据同步到中台的Hdfs，管理中台所有数据同步任务。 2. 数据资产模块：包含元数据采集与元数据管理，将数据集成各个数据源的元数据定时采集到中台。还包含数据标准和数据字典模块，将不同数据源的数据进行标准化统一管理。 3. 数据ETL模块。目前中台数据主要是

1.基于openTr069 实现物联网设备管理 2.实现的功能有设备实时 log 流输出，远程推送消息展示、录屏、截屏 功能的实现、修改设备 Ethernet 和 WiFi 的寻址方式和 IP 地址、设备网络吞吐量测试、基于 tcpdump 实现网络数据包抓取、Lock/unLock 盒子、远程清除 apk 数据，上传 apk icon 到服务器、apk 权限远 程动态配置等功能，静默安装与静默卸载 app。

通过搭建数字化获客平台， 优化包括农户（个人）、商户、企事业、私域等维度的走访流程及模板，配套相适应的监督机制与考核办法；以大走访为载体，结合私域流量，完善客户数据的综合治理，优化业务办理模式，充分发掘并积极对接客户全方位的金融需求。最终以普惠金融转型升级为体系，农区整村授信和城区网格化特色经营为两翼的;一体两翼;普惠金融转型升级思路。提供普惠走访体系、大数据授信、客户360画像、客户工单、业绩统计、第三方数据整合等。（包含一期、二期项目建设）