大数据

我是一位负责数据安全管理平台的技术经理，我们的平台提供全面的数据安全解决方案。首先，我们每天处理大量事件日志数据，确保及时检测异常活动。其次，平台支持各种类型数据源的管理，包括数据库、云存储、网络设备等，使用户轻松集成数据来源。 另外，我们拥有网络拓扑数据源发现功能，能够自动识别网络拓扑结构，帮助用户发现网络环境中的数据源。此外，我们提供强大的报表生成和编辑工具，用户可以根据自己的需求创建定制化的报表，以满足不同的审计和合规要求。 在这个项目中，我负责技术架构设计、团队协作和项目管理，确保平台稳定运行和不断优化。我们的目标是帮助客户确保数据的安全和合规性，提供高效的安全管理工具，满足他们的需求。无论是事件日志管理、数据源集成、网络拓扑分析还是报表生成，我们都有强大的功能，助您达成数据安全管理目标。

背景： 妊娠期糖尿病（GDM）发病率极高，高达20%的孕妇妊娠期间会罹患GDM，控制不佳的GDM不仅会增加流产、早产、妊娠期高血压、巨大儿、肩难产、新生儿低血糖等围产期并发症风险，还会增加产妇产后罹患II型糖尿病和子代远期发生代谢性疾病的风险，妊娠期间严格管理GDM甚至产后定期随访和必要时生活方式的干预是增强妇儿健康的重要措施。目前我国对于糖尿病的管理模式主要是一般产检+专科门诊的形式，但在中国医护人员相对紧缺、医疗资源分配不均的大环境下，该模式下的GDM病情得不到全程、全天的不间断管控，自测末梢血糖及饮食-运动控制的依从性有待提高，相关并发症的改善效果亟需提升，由此所带来的医疗负担沉重，整个GDM管理模式的改良势在必行。 做法： 该平台对妊娠期糖尿病患者，基于患者基本信息、血糖数据及其他指标监测数据，辅助医疗人员评估制定患者辅助治疗的饮食、运动、监测管理方案，并基于采集的具体数据信息，对患者进行评估和指导,同时提供切实可行的渐进化干预方案。本产品有助于维持妊娠期糖尿病患者血糖稳定，提升了患者对处方的依从性和完成度，同时能够有效的提升了医疗机构的处方效率，管理效率，有效提供了患者居家血

该项目解决了某气象局老系统存在的问题，包括：资料数据存放不统一，入库稳定性不佳，性能差，新业务数据开发周期慢等问题。系统包含了气象数据采集、气象数据统一预处理、气象数据解码、气象数据入库、入库监控统计等模块。设计包括以下特点： ● 该系统设计中才用了分布式处理解耦了数据接收预处理与解码入库。 ● 通过分布式高可用设计使整个接收，预处理，解码，入库全程高可用可扩展。 ● 通过的统一的气象资料定义使结构化非结构化等各种气象数据汇集到统一的中转处理中心。 ● 通过对气象产品的重新定义使开发一个新的气象产品只需简单的配置并开发解码器。 ● 通过业务流与日志流的分离使业务处理稳定高效，监控实时准确。 ● 该系统采用了分布式高可用架构，SpringBoot 作为接收服务，解析服务，分析服务的主体框架，采用 Zookeeper 作为分布式管理器，采用 Grpc 作为各模块间的分布式通讯协议，采用 Kafaka 作为数据中转中心，采用爱可生分布式数据库存储数据，采用 Nas 存储气象资料归档数据，采用 Prometheus+grafana 监控系统，采用 Vue 作为前端开发框架，采用 WebServ

1.使用帆软报表开发可视化大屏、移动端、fvs智慧工厂 2.使用css+html+js开发可视化大屏 3.使用smartchart开发可视化大屏，报表等

Streamlit 是一个开源的Python库，旨在帮助数据科学家更轻松地创建和共享交互式应用程序，而不需要具备全栈开发的能力。它基于tornado框架，封装了大量互动组件，同时也支持大量表格、图表、数据表等对象的渲染，并且支持栅格化响应式布局。 Streamlit 的主要特点是其简洁直观的API，提供了几个基本的命令，使用户能够轻松地添加各种交互式元素，如滑块、按钮、文本输入框等。这些元素可用于控制应用程序的行为，并与用户进行交互。此外，Streamlit 还提供了一些用于可视化数据的功能，如绘图、图表和地图，这些功能使用户能够更直观地理解和展示数据。 Streamlit 的另一个重要特点是其即时更新功能。当用户更改代码时，Streamlit 会自动检测到并重新加载应用程序。这意味着用户可以实时查看他们所做的更改，并立即了解其影响。这种即时更新功能使得开发过程更加高效，并减少了调试的时间。 Streamlit 还提供了一种简单的方式来部署应用程序。用户只需将其应用程序代码上传到 Streamlit 的服务器上，并使用一个简单的命令将其部署到云端。这使得用户可以轻松地与他人共享他

数据采集，通过爬虫技术爬取招聘数据信息 数据预处理，通过编写Mapreduce程序，实现将采集到的源数据进行预处理得到目标数据的过程 数据分析，基于Hadoop环境下的hive组件 数据可视化，以JavaWeb为基础搭建，通过SSM(Spring、Springmvc、Mybatis)框架实现后端功能，前端在Jsp中使用Echarts实现可视化展示，前后端的数据交互是通过SpringMVC与AJAX交互实现。

项目描述： 本项目是武汉交投集团智能网联平台使用的大数据中台系统，可以实现集群服务器的指标监控、业务数据库数据的抽取、数据仓库的创建、数据etl和计算、批处理任务管理、任务执行监控等功能。主要模块包括：首页监控模块、数据源管理模块、数据接入模块、数据服务模块、调度中心模块。 系统架构：HDP+Prometheus+Grafana++ES+Flink+Spring Boot+Mybatis+Vue 责任描述： 中台所有组件的搭建和维护，包括HDP、Prometheus、Grafana、ES、Flink 首页监控模块、数据源管理模块、数据接入模块、数据服务模块、调度中心模块的后台开发 项目相关设计文档的编写 项目上线时的环境部署和后续功能维护

软件架构：SpringBoot + SpringCloud + SpringCloudAlibaba + nacos + Redis + RabbitMQ +Mysql 等 项目描述：该项目为商城精选购物平台。管理员可登陆后台管理系统对商品上架下架、管理订单，退款，积分提现 以及查看报表等功能。 用户在app端可以搜索选购，品牌购买，直播选购，分享省赚等功能。 技术描述：后端整体使用 Springboot+SpringCloud +nacos 实现分布式集群部署，通过 nacos 充当服务配置中心和注册中心， 有网关认证服务，会员服务，商品中心，订单中心，交易中心，分销服务，营销服务, 分布式任务调度中心服务等核心模块； 责任描述：负责会员服务、营销服务, 商品订单模块等具体模块业务设计和开发；对老系统进行系统升级，代码重构；服务支撑运营人员做数据分析，提取；

基于互联网+物联网+人工智能的数字化体重管理平台服务 项目创新点 1、动态路径：根据减重患者的个性化信息系统自动计算出该减重患者的运动方案，饮食方案，健康宣教，监测方案； 2、AI自动点评：用户端app能根据减重患者每天的运动情况或每天的的饮食情况结合减重患者的个人信息如，身高，体重，合并的疾病等能自动进行点评并提供实时指导。 项目取得成果 1、本项目AI点评技术和智能动态生成技术路径方案的研发已经完成，应用于《数字化体重管理》项目，取得了良好成效，达到个性化管理路径，智能动态生成管理方案的预期效果，有效提升减重管理效率； 2、项目技术已经获取了一项软件著作权：2021SR1510397 人工智能医学减重管理系统软件V1.0； 3、本项目已为浙江大学医学院附属妇产科医院提供了建设/服务应用，采用了本产品的生活方式干预对PCOS患者进行基础治疗，尤其是对合并重或肥胖的PCOS患者进行减重管理，能有效改善妊娠结局，提高妊娠率， 改善内分泌，降低雄激素等。 项目关键技术 1、基于springboot微服务架构模式，将独立的系统拆分成多个小型服务并各自独立运行，服务之间通过基于H

可定制开发DLT645协议的工业电表数据采集、MODBUS协议的仪表数据采集。 远程协助在线调试，数据库sqlsever. 能支持后台数据计算（小时、班、日、月量计算和存储）

有管理数据模型的数据标准管理和管理模型数据的数据业务管理。由vue和springcloud开发完成。我主要从事该项目的后端开发和维护，开发测试环境部署和维护

政务平台saas系统, 数据大盘展示，基于大数据，海量政务信息形成无纸智能化办公 主要负责模块设计搭建 系统架构拆分重构 业务功能实现

为新乡企业提供融资贷款服务，平台由新乡政府主导建设，为企业和银行提供金融合作平台，主要功能：银行入住，产品上架，企业数据采集，平台数据定期同步省大数据局。

该项目为政府的农产品生产销售数据统计系统，包括内部 PC 端管理平台、数据大屏和C端微信小程序。通过采集各大农业基地报送的数据进行统计分析，生成各种农产品的生产、销售、成本、利润等数据，进行图形化数据展示。并为各科目管理部门提供报告生成、审核、发布等的操作功能，实现线上业务处理流程。 本人参与该项目从头到尾的整个过程，包括与客户需求分析，数据采集方式，数据统计公式设计，各客户端原型制作，各类交付文档编写等工作。

本次项目的处理工具首次选用flink框架,借助flink高吞吐,低延迟,高性能的流式处理的思想,根据用户的行为信息对web端和app端的各种类别的榜单进行实时更新 项目职责: 1. 负责搭建flume架构把数据导入kafka的指定topic,并参与实时架构的 构建. 2. 使用flink消费kafka数据,进行数据清洗,过滤,分流. 3. 根据各自榜单的业务逻辑综合分析进行排名. 4. 负责少年榜,青年榜的分析结果，利用flink的cep编程监控恶登陆现象 5. 将结果导入到es中,数据格式规范化. 技术实现： 1. 通过JS埋点以及相关的数据接口把app端和web端的用户行为日志信 息上传到Nginx服务器中 2. Flume采集数据并保存到Kafka中，同时利用canal采集MySQL中的相 关业务数据,保存到kafka的不同分区中 3. 利用flink流处理的API进行操作,并根据榜单进行分流,以流为单位 进行具体分析 4. 利用flink的cep编程实现复杂事件

有平台管理，数据源，发布数据源的资源发布区。开发服务的开发端，开发服务测试的开发运行端，管理服务的管理端，被管理的运行端。主要从事项目过程中的开发和维护，环境部署

高标准农田项目管理系统，农产品质量安全追溯系统，智慧种植系统，天枢大数据主题库，可视化大屏系统，高标准化农田监测系统等。技术栈：前后端分离，SSM 框架，消息中间件 RabbitMQ，MySQL，redis，vue，linux 部署等，带领项目开发实施小组。

项目描述： 云汉芯城主要从事半导体行业电商服务。目前半导体行业内没有形成统一的行业标准，也无相关的国家标准进行规范，导致数据混乱，冗余严重。主数据治理项目，通过制定新的分类体系与编码标准，对现有2000W+产品数据进行重新梳理，以提高数据维护性，可用性和使用效率。 项目特点： 2000W+海量产品数据治理 涉及技术： Java，MySQL，Canal，Maxcompute（阿里云数据库） 主要职责： 1.负责云汉相关业务，数据相关情况调研 2.负责行业分类体系调研，参与云汉产品分类体系制定。 3.负责订单溯源功能设计及接口研发。 4.参与后续数据ETL工作，UDF开发。

1. 项目定位 打造出国内最领先的面向投资机构的数据信息产品 探索利用另类数据驱动医疗行业投资决策 2. 探针做法 1.充分利用国内外已有优质数据源，构建起围绕医疗投资事件、机构和人物，以及与医疗投 资决策密切相关的科研、政策、产品等多方位数据信息库。 2.制定出与数据密切相关的医疗行业分析方法，在动态变化的行业发展中捕捉交易机会和标的 3.研究与数据业务有机结合，在适当的时机探索利用数据面向行业进行内容持续输出，逐步建立起探针数据研究的行业知名度。

项目名称：资产证券化数据仓库 项目介绍： 资产证券化数据仓库项目旨在构建一个专门用于管理和分析资产证券化数据的中央数据仓库。该数据仓库将收集、整合和存储各类与资产证券化相关的数据，为金融机构、投资者和监管机构提供全面和准确的数据支持。通过该项目，用户可以更好地理解和评估资产证券化产品，降低投资风险，提高决策效率。 项目特点和功能： 数据收集与整合：资产证券化数据仓库通过与相关数据源接口对接，实时、定期或批量地收集各类与资产证券化相关的数据，如资产池信息、债务人信用评级、偿付数据等。同时，对收集的数据进行清洗、转换和整合，确保数据的准确性和一致性。 数据存储与管理：该数据仓库提供高效的数据存储和管理机制，采用适当的数据库技术和数据结构，以支持大规模数据存储和快速查询。通过合理的数据分区和索引策略，实现对历史数据和实时数据的高效访问。 数据质量与验证：资产证券化数据仓库实施严格的数据质量控制和验证机制，对源数据进行验证、校验和清洗，确保数据的准确性、完整性和一致性。通过数据质量报告和监控，及时发现和解决数据质量问题。 数据分析与报告：该项目提供数据分析和报告功能，为用户提供多维