数据处理

1.具体的模块可以看下面的截屏 2.我负责整个前后端的项目，包括运维测试等工作 3.使用的技术 有微服务，中间件，mq消息队列，redis，es，mybatis plus，vue mysql jmeter jenkins k8s docker maven spring cloud ，负载均衡等技术

技术栈：Flink，Flink CDC，Kafka，Redis，PolarDB 随着公司越来越多的业务场景对实时性要求越来越高，传统的Java程序已无法满足业务需求，需要采用Flink实时计算框架来对业务进行支撑。Flink大数据实时计算服务内部包含了多个Flink任务流，分别处理多个不同的业务流程。并且结合Flink cdc服务进行数据同步，使得业务处理更加高效、便捷。 我在该项目中的职责： 1.构建Flink实时计算项目框架，搭建整体服务架构，包括Flink项目工程样例创建，数据库工具类、Kafka工具类、Redis工具类、日期工具类等。 2.java程序改造Flink，某些新的功能需求使用Flink实现，具体的服务有： (1)电站潮流图秒级计算服务，实时接收设备上传的秒级测点数据，每10s一个窗口进行数据计算并推送结果给前端； (2)通信设备时区实时纠正服务，实时接收设备升级和时区设置成功指令数据，判断是否和电站时区一致，若不一致则下发时区指令进行通信设备时区纠正； (3)电站设备实时同步服务，实时接收Flink cdc服务推送的电站、设备相关表的变更数据，同步写入到ES索引中，

技术栈：Flink，Spark，Kafka，HBase，Mysql ，语种识别引擎，语音转写引擎 该项目主要是建设重点人管控分析平台，利用只能语音技术，意图分析技术，实现重点管控人员的的及时发现，并进行预警防范。系统依托大数据平台的存储与运算能力，实时接入通话、短信、上网、轨迹数据，分别按照多种规则进行分析过滤后，实现重点人员的识别入库以及敏感行为的预警触发。 我在项目中的职责： 1.预处理服务：使用 Flink 实时从 Kafka 接入通话、短信、上网数据，并分别按照不同规则进行分析，若满足一定条件则将该数据对应人保存至重点人库中。 2.重点人预警服务：使用 Flink 实时从 Kafka 接入重点人的通话、短信、上网、轨迹数据，开关机数据，分别按照不同规则进行预警，满足预警条件则推送至前端展示；

用户通过 ci-manager 服务配置搭建流水线，设置配置文件，根据配置文件中的需求，进行 构建，处理得到用户需要的结果，进行后续发布。补丁方面，当最新发布版本与其他部件不 适配时，需要回退到某个代码节点，工具节点，针对这种情况，用户可以合理修改配置文件， 完成特殊构建任务

Tuplex 是一个并行的大数据处理框架，它以编译代码的速度运行用 Python 编写的数据科学管道。Tuplex 具有与Apache Spark或Dask类似的 Python API ，但与调...

python 天气雷达数据处理包。 wradlib 使用 Travis CI 进行持续集成。这意味着一旦将新代码推送到 wradlib 存储库，Travis 将运行一组测试。若测试顺利进行，将在...

Flink Remote Shuffle 是一种批场景下利用外部服务完成任务间数据交换的 Shuffle 实现，本文后续将详细介绍 Flink Remote Shuffle 研发的背景，以及 F...

功能模块：产品通过高级图形呈现技术实现了城市交通网络的立体展示。功能模块包括实时交通流量监控、交通效率分析、路网状态动态显示、以及交通数据统计等。页面提供了多个实用工具和视图选项，如不同角度的城市视图、路况监控图、以及性能监控指标，这些都为城市交通规划和管理提供了宝贵支持。 我负责：可视化数据处理，前端页面开发，性能调优

对资源信息、违法信息、过口信息更全面的、及时的、多维度的统计分析模块。更直观的展示了交通基础建设、实时交通情况、事故情 况、违法情况、⻋辆查控情况的信息 ，更强有力的辅助用户对交通情况的了解和把控。 国家文明城检板块 ，在交通方面 ，对行人、⻋ 辆、交通设施、工作人员及志愿者的数据进行统计分析。通过交警执勤、志愿者劝导和督促 ，有效减少交通违法情况 ，极大得保障了 人们的安全出行、顺畅出行。疫情防控板块 ，从两方面及时有效的对疫情进行追踪和管控。一方面 ，对疫情⻛险区进行维护 ，及时 了解疫情⻛险区的情况。另一方面 ，对疫情⻛险区的⻋辆在我市的情况进行统计 ，有效的辅助疫情管控工作的进行。 责任描述： 1. 参与前期系统的调研和参与数据库的设计工作 2. 智慧大屏使用 websocket 技术进行数据推送 3. 负责实时从摄像头设备上取过⻋数据 4. 旧系统数据迁移到新系统 5. 后期的维护 bug 修改并且参与测试 6. ⻋辆管理、驾驶证管理、违法处理记录、统计分析、国家文明城检大屏模块、疫情防控大屏板块模块功能设计与开发 7. 负责准备上线工作 ，协同项目经理在经警队内

Gamestonk Terminal 是一个股票和加密市场的投资研究终端，为投资研究提供了一个基于 Python 的现代集成环境，允许交易者使用最先进的数据科学和机器学习技术。 作为一个现代的基...

1.自营品牌商城系统; 2.商城基础功能（下单、付款、发货、评价、退款等完整完善的商城购物流程）; 3.支持商品多规格sku; 4.支持余额充值; 5.充值和消费累计满足VIP等级升级规则; 6.支持虚拟商品（无需物流）; 7.支持自定义设置商品购物车规则; 8.支持自定义设置商品奖励积分规则; 9.支持优惠券设置公开领取、积分兑换; 10.商家admin后台支持直接对用户未付款订单进行改价（即商家主动优惠）; 11.商家admin后台发货; 12.用户在前端申请退款的条件支持自定义设置; 13.支持用户退款申请满足自定义设置的条件; 14.支持自定义运费模板; 15.支持二级分销;

UMAD (Universal Management and Analysis of Data) 是致力于实现通用的大数据管理分析系统的项目。该项目利用度量空间的高度抽象性的特点，将各种各样的数...

### 项目简介 智能数据分析平台旨在提供全面的数据收集、处理、分析和展示解决方案，帮助企业从海量数据中提取有价值的洞察。平台集成多种数据源，通过先进的分析工具和直观的可视化界面，提升企业决策的科学性和效率。 #### 核心功能模块 1. **数据收集**： - 支持多种数据源的接入，包括数据库、文件、API和实时数据流。 - 使用Kafka和Flume等工具，实现高效的数据采集和传输。 2. **数据处理**： - 采用Apache Spark进行大规模数据处理，支持批处理和流处理。 - 提供ETL（提取、转换、加载）功能，进行数据清洗和转换。 3. **数据分析**： - 集成机器学习库（如MLlib），支持复杂的数据分析和预测。 - 使用SQL查询和定制分析工具，满足多样化的数据分析需求。 4. **数据展示**： - 提供强大的数据可视化工具（如Tableau、Power BI），创建互动式仪表盘和报告。 - 实现实时数据展示，帮助企业进行动态监控和决策。 #### 项目角色与职责 在项目中担任项目经理和架构师的角色，负责项目

数据资源中心包含数据集成、数据治理、资产开发、资产运营等相关功能，提供一站式的数据资产管理服务，快速相应数据需求，高效积累数据资产，赋能业务应用场景。包含以下功能： 1. 数据标准：数据治理基础工作，支持标准建立与发版； 2. 数据集成：独立的模块，支持库表集成、接口集成、文件集成，支持主流数据源集成； 3. 数据工厂：独立的数据开发模块，支持 SQL 脚本、shell、python 等任务开发，支持任务调度； 4. 元数据管理：支持采集多类元数据，采用知识图谱技术分析字段、表、处理过程等对象之间的关系，并分析元数据的全链路、地图等相关内容； 5. 数据质量：对数据的采集、入库、加工等全链路进行质量监控，并提供质量报告； 6. 数据安全：提供动态、静态数据脱敏； 7. 调度中心：统一任务调度管理中心，打造全链路的数据处理任务调度管理； 8. 资产目录与资产市场：提供资产管理与资产上架，打造唯一、安全、可靠的数据出口；原型设计迭代优化；

教育综合服务平台依托数字化业务中台、大数据中台、云计算等技术手段，通过网格化管理、流程再造、体系化培训、绩效考核等管理手段，以互联网+教材征订服务模式，整合学校老师学生客户资源、供应商出版社分销商上下游资源、盘活集团产品资源，通过平台系统引入，构建适应新业务形态的、高效严谨标准化的征订业务流水线，以征订业务为切入点，直面线上终端客户消费意愿，释放购买力，为企业信息化转型升级提供整体解决方案，突破业务瓶颈期； 在线报订管理（子分公司订单管理、学校订单管理、省公司报订管理、省公司采购管理、省供应商订单管理），仓储管理（供应商报仓管理、总部收货管理、总部发货调理、总部发货作业管理、总部货运单管理、总部付退调度管理、总部付退作业管理、总部付退运单管理、总部转仓调度管理、总部损溢管理、总部库存管理、总部进项发票管理、子分公司管理）

Dagster 是一个用于机器学习、分析和 ETL 的数据编排器。 Dagster 让你以可重复使用的逻辑组件之间的数据流来定义管道，然后在本地测试并在任何地方运行。通过对管道和它们产生的资产的...

Rope 是一款轻量级别的 ETL (Extract-Transform-Load) 工具。主要用于从不同源获取/接受数据，然后统一处理数据后，写入到各种目标源；系统采用多级缓冲和数据缓存，每秒...

PyJava 是一个用于在 Java/Scala 和 Python 之间转换数据的库。 PyJava 引入了 Apache Arrow 作为交换数据格式，这意味着可以避免 Java/Scala ...

通过实时接口和批量接口获取工商、舆情、诉讼、环保等外部数据，为其它业务系统提供外部数据；解析人行提供的原始对公报告和个人报告；通过批量工程将各位业务系统的数据文件入库。将这些数据整合起来加工成各种预警信号，从而对业务系统的流程进行风险控制。通过提供外部数据，实现一些大数据快捷功能，从而提高使用者的工作效率。

ZNBase 是浪潮打造的一款分布式数据库产品，具备强一致、高可用分布式架构、分布式水平扩展、高性能、企业级安全等特性，自研的原生分布式存储引擎支持完整 ACID，支持 PostgreSQL 协...