大数据

雪亮工程运用云计算、大数据、物联网等现代科技手段，在完成雪亮工程“全域覆盖、全网共享、全时可用、全程可控”的建设目标基础上，从“全域感知”、“智能决策”、“高效联动”三个维度出发，切实提高预测预警预防各类风险的能力，着力打造联动协同、齐抓共管的社会治理格局全域感知、立体防控，着力构建主动发现、被动发现、智能发现的城市态势感知体系. 工作职责 产品业务架构，技术架构，团队搭建及管理，产品研发流程管控。 技术架构 netty , spring cloud/spring al ibaba, rtc/rtsp/hls/webrtc/28181对接平台, kafka,es，Redis,nginx，视频能力平台（点位，播放，分析)，网闸），视频通话平台搭建，saas化能力 视频会议能力平台，视频监控对接平台，雪亮开发能力平台，微服务分层架构，对接适配策略服务，多级跨网SAAS架构问题解决 成绩：雪亮工程产品覆盖全国17个以上省份交付60多个项目，产品3年每年落地金额超亿（研发产出是其它团队 10倍左右），并拿到中国政法十大创新产品，建立一定的品牌影响力，打破公司以往项目定制瓶颈。

数据可视化就是把相对复杂、抽象的数据通过可视的方式以一种人们更容易理解的、更直观的方式来展示出来的一系列手段，也就是将数据转换成图或表等。数据可视化是为了更形象地表达数据内在的信息和规律，促进数据信息的传播和应用。通过“可视化”的方式，我们看不懂的数据通过图形化的手段进行有效地表达，准确高效、简洁全面地传递某种信息，甚至我们帮助发现某种规律和特征，挖掘数据背后的价值。

1.智能采集亚马逊和其他各大外贸电商平台全品类商品交易数据 2.结合运营需求分析统计商品信息，排名，价格趋势，销量趋势 3.计算卖家集中度，商品集中度，为海量选品方案提供准确真实的数据支持 4.支持关键词反查，流量监控，为运营可靠的信息来源

富民银行的数据服务平台，使用Dubbo、Zookepper搭建的分布式统，为业务系统提供 数据处理、整合、分析等全方位的数据处理能力，数据处理。主要包括以下服务能力： 数据集市：数据查询平台，负责对业务系统提供统一的查询服务提供PB级数据查询 能力，提供包括Impala、MySQL、Hbase、Kylin、ES、ArangoDB等多种数据。 数据网关：外部数据统一接入、为业务系统提供数据服务。 智能变量：为风控模型机器学习平台提供变量输出、模型预测。 模型预测平台：基于python、java的机器学习平台。 鉴权认证：统一的资源认证系统，提供基于列级别的数据访问控制。 查询平台：为业务人员提供权限管控的查询服务能力。 Datax：数据抽取平台。 我作为主要负责人参与数据集市、模型预测平台、Datax二次研发等项目

福Star APP 作为“智慧校园”统一服务入口，整合“智慧校园”已有 APP 优质服务内容以及“数字服务”的各类优质服务资源，以服务的移动化为抓手， 实现教务服务、校区公共服务、社会服务的服务汇聚和服务融合，构建“全时全 程”的教职工、学生服务体系;提供福建师大“智慧校园”统一服务的移动化入 口，构建教职工、学生互联互通的沟通体系，教职工、学生随时、随地可以畅享 “智慧大校园”的便利。

•基于网络旁路进行通信信令数据解析，通过libpcap捕获采集并解析通话数据 •数据挖掘：使用Birch聚类算法进行用户分析，使用随机森林算法进行预警

资讯服务系统是就职于前大型券商公司时候设计开发的项目，项目整体技术架构为ORACLE+采集服务+KAFKA+STORM+HBASE+REDIS+对外服务。功能上分为数据采集+数据清洗+数据分析+列表数据存储+文件大数据存储+对外服务等，证券业内多家公司使用我们的产品与数据服务。本人全程参与该项目设计开发维护，前期为主要开发人员，后期为项目负责人。

交通枢纽的客流分析，交通枢纽每天客流分布、交通枢纽每天时点客流分布、交通枢纽60分钟客流分布、交通枢纽进出站规模与分布、交通枢纽的客流画像分析（性别、年龄、来源）、早晚高峰交通枢纽的人数规模 1）时间维度选择：右上角选择年月日来展示具体数据。 2）区域维度展现：中间提供交通枢纽选择功能，点击交通枢纽名称可以切换页面数据，默认展示其中一个交通枢纽数据，如：长隆度假区。

为了解决公司业务数据庞杂，运营难以进行数据分析的问题，需要一个大数据分析平台； 我主要负责数据平台的产品结构和交互设计；对业务数据进行整合和分类，为运营提供数据监控、数据分析能力； 通过大盘看板支持业务方对业务运行总览情况的需求；业务方可以通过调整数据源和SQL，自定义数据看板； 通过明细数据支持业务方对数据细节的查询需求；支持注册、登录、充值、对局等诸多业务数据； 通过用户画像支持业务方对用户维度进行分析的需求；支持定量和定性两种维度的画像，自有组合；目前有画像标签超过400个； 遇到问题：上线后运营反馈个性化查询对使用者SQL能力要求较高，为了解决这个问题，我们添加了常用SQL提示功能，运营只需要修改值即可，同时增加培训讲解，解决了这个问题；

参与大数据开发和数据治理相关工作： * 大数据开发主要包括： * 数据模型的设计； * 离线和实时数据流的开发； * 数据治理： * sql优化等

1、作为项目经理和技术技术经理对客户需求分析，提出自己的解决方案，竞标相关的文档编写 2、前后端架构搭建 3：数据层设计（时序数据库ceckhouse，标准存储pgsql，nosql（rendis）） 4：支撑层设计：主要包括数据管理子系统和数据智能引擎两部分。其中，数据管理子系统集数据采集、数据处理、数据库建设和系统管理等功能于一体，实现运营商数据和现有政务数据等多源数据的融合处理，为后续开展成功的人口监测和服务提供更加客观、准确的数据基础；数据智能引擎则主要包括数据分析流程引擎、数据分析算法模型库和数据分析可视化展现组件三部分。通过数据分析流程引擎实现海量数据的抽取、清洗、转换、分析挖掘、结果集加载的流程化，并提供相关流程的配置和运行监控管理；模型库是一系列基于机器学习、深度学习的算法模型，为流程引擎提供底层智能分析能力；数据分析可视化展现组件是针对业务应用场景，为数据分析挖掘结果集提供多组件的、合适的、直观的展现组件，让信息传递和表达更加直观清晰。 5：展示层设计： 展现层是系统平台与用户交互的窗口，是数据处理结果、分析结果以及业务应用结果的直观呈现。围绕数据分析及展示要素的需求

随着部门的子系统越来越大，同时导致数据量越来越大，已经严重影响到了部门人员的正常工作，导致大部分时间花费到了数据的清晰和提取过程中，从而导致其他工作进度缓慢。也正是由于工作的缓慢和人工耗费巨大，导致数据的更新不及时，于是衍生出了想要使用系统的方式来处理相应关系的数据，并以大屏的方式展示出来，既解决了工作人员的工作量负担，同时也决绝了管理层通过页面指标下达决策指令。 担当：管理,设计,编码 1•主导完成开发计划，确保项目进度及质量 2•负责系统的架构和持续完善及优化 3•审核开发人员的系统设计和代码质量 4•书写技术文档和制定开发规范 5•定期向CEO汇报

本项目更能分为： 1.平台基础管理功能，包含用户管理、系统管理、服务监控、等。 2.任务调度分析，任务调度、任务编排等。 3.大数据采集，视频、雷达、信号机等设备数据采集。 4.大数据集群存储。 5.其他 本人负责： 1.集成开源任务调度系统到管理平台，并在其基础上进行调度任务开发。 2.对接采集各种设备数据。 3.数据仓库整体规划，及外部内部对接流程制定等。

负责内容： 1、采用scrapy+redies 搭建分布式爬虫框架，实时+离线方式爬取船公司的航线报价。 2、随机森林算法预估拖车到港口到目的地的价格，实现一键智能报价。 3、通过rocketMQ与后端交互

1）时间维度选择：右上角选择具体展示年份。 2）区域维度展现：中间提供地区切换功能 页面展示从户籍是其他省份的高校毕业生，如：湖北省、广西省等 3）毕业生的数量变化:根据选择年，用柱状图表示最近6年的高校毕业生人数

省级影像平台，包含保险数字化综合服务平台、工单系统、资产服务管理平台、数据采集、数据网关、智能存储、院端管理系统、跨院调阅系统、统一用户中心、开放平台、数据质量等多个子系统

采用vue实现 1. 支持组件拖动、缩放、样式定义、数据源定义 2. 支持单个组件数据源和全局数据源，数据加载方式支持：JSON、HTTP、SOCKET、全局LOCALSTORAGE 3. 可扩展组件设计，支持第三方组件库的接入。已接入echart、datav； 4. 支持自定义组件 --我的工作-- 全部编码工作 试用地址: http://editor.sales.langic.net/#/login 账号/密码: test / 123456

项目描述： 　　数据基础设施平台，包括运维管理、告警管理、巡检、资源管理及安全管理等功能。以“多租户为核心”实现一体化的大数据平台能力管控及运营体系，资源“按需分配，即分即用”。为企业提供统一的多类型数据存储能力，支持数据湖及数据仓库的建设。提供大数据集群负载、性能分析及日志检索功能，支持告警管理、巡检等集群监控健康检查功能，助理集群问题发现，降低集群运维难度。 责任描述： 告警管理：负责告警管理模块的系统方案调研设计及基础框架搭建 集群管理：定义设计集群、服务等操作功能接口及集群注册纳管流程 集群作业、中间件监控及日志检索：完成集群作业查询统计，中间件监控图表，集群异常日志检索等核心编码 仪表盘：负责定义设计仪表盘模型及接口，并完成全部功能代码的开发及测试 项目总结： 项目采用主从架构，具备HA及灰度发布，数据库主备切换等基础能力 边缘Agent支持Hadoop集群Hdfs RBF及Yarn fed等社区新特性资源管理，提高集群资源水平扩展及资源利用率 引入prometheus，使用PromQL自定义集群警报规则。自研alertmanager实现告警的分组、抑制、静默及通知等功能

“冬奥通”为北京2022年冬奥会和冬残奥会移动服务应用平台，作为北京2022冬奥会信息服务的重要载体，基于统一平台架构，集成赛事相关信息，提供服务功能模块，通过明确细致地权限管理，既针对不同用户群实现“一个APP畅享冬奥”的个性化服务，也为赛会组织和运行提供整体的移动通信协同和共享服务平台。

电商商务大数据看板系统由客户使用我们的平台，对于数据进行分析，使用各类图表进行展示。系统使用java开发，大数据看板采用html5+css3+js开发。包含物流系统、培训系统、电商系统等