数据处理

Faust 是一个流处理库，将想法从 Kafka Streams 移植到 Python。 它在 Robinhood 用于构建高性能的分布式系统和实时数据管道，每天处理数十亿个事件。 Faust ...

http-mock-middleware 是一个 http mock 库，或者说 ajax/websocket mock 库，它接收来自 web 前端页面的 ajax/websocket 请求，...

OpenCTI 即 Open Cyber Threat Intelligence Platform，开放网络威胁情报平台。它的创建是为了构建、存储、组织和可视化有关网络威胁的技术和非技术信息。 ...

Annoy 是 Spotify 开源的高维空间求近似最近邻的库，在 Spotify 使用它进行音乐推荐。最邻近搜索（Nearest Neighbor Search, NNS）又称为“最近点搜索”...

1.多个项目中统计出来模块有常用的crud、支付、地图、视频通话、数据统计与分析等类型 2.自己日常工作承担后台项目开发、任务分配一些角色

OpenMetadata 是元数据的开放标准，发现、协作和正确获取数据的单一场所。 OpenMetadata 包括以下内容： 元数据模式- 定义元数据的核心抽象和词汇表，其中包含类型、实体、实体...

CacheLib 是用于扩展高性能缓存服务的可插拔缓存引擎，其包含一个 C++ 库，提供进程内高性能缓存机制。并提供了一个线程安全的 API 来构建高吞吐量、低开销的缓存服务，同时并具有透明地利...

- 主导构建离线数仓，汇集业务联机数据库和终端用户行为日志数据，实际数据过滤、治理、解析、集成、入库。 - 划分主题建设，为公司提供多种报表统计结果和业务系统技术支持。 - 提高数据处理性能，解决数据漂移延迟，实施数据脱敏和解析参数表的构建。 - 设计并维护多层次数仓结构，包括ODS、DIM、DWD、DWS和ADS层，优化数据仓库查询性能。 项目架构：Hadoop + Hdfs+Zookeeper + Mysql + Hive+clinkhouse+ElasticSearch +Azkaban+dataX+Spark+shull 项目流程： 数据采集： - 使用dataX从业务库同步全量和增量数据。 - 使用flume搭建数据传输网络。 数据分层设计： ODS层：存储未处理的源数据，保持一致性和追溯性。 DIM层：存储各种维度表，例如药品主数据、地区、生产单位、运力_站点等。 DWD层：清晰、规范化数据、采用维度建模理论。 DWS层：按主题轻度聚合数据，例如单位物资日聚合表，仓库自然月集合表，省市区储备表等。 ADS层：存放重要指标的结果数据，提供数据产品和服务。 报表开发：

Jenkins自动构建，数据导入模块，数据分析模块，结果呈现模块。 Maven，Jenkins，pytest搭建 数据导入设计xml，TXT，Excel等文档 数据分析对比

该项目提出了一种有效的基于组合设计工具 PBD (Pairwise Block Design) 的数据布局 PDL，以加快混合 EC 分布式存储系统中单节点故障的数据修复。 由于减少了机架间的通...

Scriptis是一款支持在线写SQL、Pyspark、HiveQL等脚本，提交给Linkis执行的数据分析Web工具，且支持UDF、函数、资源管控和智能诊断等企业级特性。 核心特点： 脚本编辑...

项目包含了小程序,管理后台;前端从0到1;小程序采用原生小程序开发;后台采用vue3技术栈;包括项目的搭建,发布打包,小程序上线等前端事务

TipDM数据挖掘建模平台是基于Python引擎、用于数据挖掘建模的开源平台。平台提供数量丰富的数据分析与挖掘建模组件，用户可在没有编程基础的情况下，通过拖拽的方式进行操作，将数据输入输出、数据...

1、系统简介：为某运营商建立一个市场运营监控系统，通过采集各个系统中的数据，经过ETL数据清洗处理，生成和规划各部门运营指标，通过数据可视化的形式，对整个公司市场线的业务流程进行运营质量监控，辅助领导层通过数据可视化监控和管理市场运营质量和效率。并通过指标预警识别业务过程中的运营风险，再通过系统工单系统反馈给业务部门，达到持续改进的目的。 2、系统模块：数据采集模块，数据处理清洗模块、指标数据管理模块、业务流程及数据可视化展示模块（大屏、PC端、移动端）、预警及工单流转模块。 3、我在项目中负责业务需求管理、需求分析，业务流程梳理、流程图设计、系统原型设计、系统数据库设计、项目管理交付验收等工作。

IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点，完美对接Hadoop与Spark生态，适用于工业物联网应用中海量时间序列数据高速写入和复杂分...

项目主要接入、处理、转发某汽车总装厂的多种产线数据，包含后台管理平台，实时流数据处理。后台管理平台管理多种数据源接入，配置数据流通通道，配置数据处理方式。实时流数据处理部分根据后台管理平台配置的不同的数据接入源、通道、数据处理方式等信息对实时接入的数据进行处理，并转发到对应的应用进行进一步分析，展示。 技术栈采用Spring boot、kafka、rabbitMQ、storm、vue.js、nginx 负责整体架构设计，流数据处理代码研发

1. 项目背景： 为了帮助教育培训机构自动化生成课评、祝福文案、约课话术等，开发一款多端支持的 AI 智能百宝箱。 2. 项目细节： 使用 Vue2、Vuex、Vue Router 等技术栈，集成 Vant 组件库,利用 CSS3（Sass/Less ）进行样式优化。 3. 项目难点： 如何实现多端支持，并确保性能优化。通过采用按需加载和懒加载的方式，使用 CDN 进行静态资源部署，实现快速页面响应。 4. 优化和改进： 在项目中不断进行优化和改进，例如采用打字机功能，实现实时内容输入；通过账号付费和邀请分享功能，增加用户粘性；增加使用记录功能，方便用户查看历史记录等。

一、项目功能模块划分 1、销售合同管理，用户可录入销售合同信息（合同编码、名称、设备金额、服务金额、客户信息等）、以及销售合同相关操作信息，如：销售合同约定回款、销售合同开票、销售合同回款记录，根据以上录入信息计算销售合同合同到期金额、合同应收金额、总回款金额、回款率、未回款金额等；所有信息均支持Excel导入与Excel导出，且计算相关税务。 2、采购合同管理，用户可录入采购合同信息（合同编码、名称、合同金额、供应商信息等）、以及采购合同相关操作信息，如：采购合同收票、采购合同支付记录，根据以上录入信息计算对应项目付出成本等；所有数据均支持Excel导入与Excel导出； 3、项目管理模块，用户添加项目信息，将销售合同与采购合同相关联，一个项目可能有多个销售合同与采购合同，根据销售合同和采购合同信息，计算项目的利润与利润率； 4、提成管理模块，用户可以以项目为单位设置项目的提成人员与提成规则，计算提成人员可提成金额，可添加提成记录，计算提成人员已提成金额、剩余提成金额； 5、系统代码生成工具，用户可导入相应数据库表格，生成表格相关实体类、业务处理类、mapper层、service层、

pandas对数据预处理， MySQL提取和存放数据， python对两个小区形成的扇区进行判断是否重叠，信号强度是否合理 输入经纬度，得出该经纬度的主覆盖小区。

通过统一报账产品综合解决方案落地，完成对全集团员工发票管理、付款计划、预提报账、付款单、自动入账及资金预测等资金支付全流程智能化闭环管理。实现财人员对公凭证全自动化，优先解决财务一半手工凭证。我的职责： 1.参与业务需求沟通和系统设计, 提供功能实现方案。 2.对公付款发票系统的设计和实现，完成发票的异步采集查验等以及旧发票系统的数据迁移。 3.完成对公付款系统预提单模块 和 个人劳务模块的业务功能。 4.凭证系统的技术方案的制定，实现凭证系统的可配置化。 通过对公付款制作凭证, 在管理后台配置凭证公式,解析公式, 对接了公司其他业务线, 并完成制作凭证, 解决了公司许多平台制作凭证的能力;