数据处理

物联设备告警管理系统，目的是园区的业务流程化、规范化，提升工业园的运营效率，主要分为智慧招商、智慧规建、智慧应急、视频大屏、统一门户、大屏总览、用户管理、设备管理等模块。通过AI分析获取园区人员、车辆的轨迹，使园区更加安全，通过接入物联网设备实时监管水位和空气质量，地图可视化清晰展示园区各类资源信息，快速查看园区内项目资源总体概况。项目除PC端管理系统外还有微信程序，实现各类应用数据的查看和各类业务流程的上报

该项目分为 1.数据源管理模块，主要管理用户数据库等数据源信息，包括数据库连接信息，并发设置等 2.元数据采集模块，根据用户录入的数据源信息，连接数据库采集表信息以及表结构 3.ETL开发模块，可以选择源库，源表，目标库，目标表信息，生成一条配置 4.配置部署模块，把生成的配置信息部署到生产环境 5.实例运行模块，实例化配置，调起底层程序进行ETL 我负责的主要工作是各个数据源之间数据同步的设计与开发，采用模板方法设计模式，重构了后台以兼容各类数据源之间的配置

军工仿真平台，可挂载多个平台：武器平台、导航、雷达平台 中间件:使用HLA，DDS，socket通信。 航天测试软件：对硬件数据操作，显示。 利用qt、c++开发

可适用很多业务场景需要的定时任务处理，例如： 1、订单超时未支付业务，完成订单支付超时状态流传，库存恢复 2、监控业务定时任务配置，按cron配置执行方案执行 3、业务补偿，定时处理补偿业务保证数据的最终一致性

Scrapy 是一个用于 Python 的快速高级 Web 爬虫框架，旨在帮助开发者以简单而高效的方式抓取网站数据。Scrapy 提供了一个完整的开发环境，包括请求调度、数据提取、数据处理以及存储等功能。 项目结构 settings.py：配置文件，用于定义项目的设置。 items.py：定义数据结构，用于存储爬取的数据。 middlewares.py：定义中间件，用于处理请求和响应。 pipelines.py：定义管道，用于处理已提取的 Item 数据。 spiders 目录：存放 Spider 类，每个 Spider 类负责从一个或多个网站抓取数据。

大数据服务中心平台建设通过地理信息科学与大数据应用技术相结合的方式，完成的主要工作量包括系统框架的搭建，自然资源与规划、税务、工商等基础数据的采集与数据清洗入库，系统四大模块的开发调试，系统使用操作培训以及系统的后期运行维护等。平台提供统一的GIS地图服务功能接口，统一建设基础数据集、影像数据库，为各业务系统提供标准化、一致的基础数据源。以便各业务应用系统能够正常、可靠地集成GIS地图应用运行，保证各相关部门的数据统一性和准确性： 提供一套GIS服务的调用规范，方便各业务系统集成，能够快速搭建GIS应用，所涉及到的基础数据集由GIS服务平台提供支持。搭建平台基础数据集。平台定期更新维护这些基础数据集，提供接口供业务系统调用集成。 该平台以基础地理信息、国土地理信息、规划地理信息等为底图，融合地方政府六个部门的基础数据，使全区税务、财政、市场监管、自然资源规划、城市公路、铁路等方面大数据归集到一块屏幕，真正实现了“一网通全区、一屏知全局、一图聚应用、一盘棋建设”，建立了大数据辅助决策的科学机制。

本项目是一款使用 Egg.js 和 Umi 开发的全栈 Web 应用，主要功能是上传论文并在线对论文添加批注，包括文字、横线、方框等，并能够方便他人实时查看。 技术亮点： 使用了 pdf-lib 和 canvas 对论文进行图形绘制，实现了对论文的高效处理和显示。 使用了 Sequelize ORM 来操作数据库，简化了数据的操作流程，提高了数据的安全性和可靠性

该项目是基于python的爬虫MOOC课程评论数据获取，用户可以通过输入关键字来获取自己想要的某一课程评论数据并将其保存到excel表格中进行可视化。 运用场景：mooc课程评论数据 开发工具：requests、jsonpath、pandas、time函数

本项目旨在开发一个数据分析工具，能够自动解析上市公司的PDF报告数据，进行文本分析和提取关键信息。使用Python编程语言，我们将开发能够处理PDF文档的模块，并应用自然语言处理技术来提取财务数据、关键字和趋势。这个工具将有助于金融从业者更快速、精确地理解上市公司的财务状况和发展趋势，为决策提供有力支持。

该项目主要实现了警情上图、一张图指挥与调度 本人整个项目的架构设计、数据库设计，产品实现逻辑、业务闭环的设计。除此外因为该项目最终产品形态由我方实现，固本人的工作还涉及到了与局方、厂商之间的协调，厂商（大华、海能达等）对接方案的技术实现。 编写的业务代码有：1、对接电围、人脸数据厂商。 2、数据打包过互联网边界至GA网 3、数据在GA网内入库（kafka、clickhouse、nginx）；4、基于AbstractRoutingDataSource 重写动态切换数据源（区别于在yml 配置文件中配置多数据源，配置文件中只有一个数据库。 新增业务只在数据库配置表中新增一条记录。能做到业务代码无感，能和单数据库一样使用mybatis操作业务数据库）

对公司业务数据进行汇总，并显示。 1.公司注册客户数量、每日活跃用户数量、每日消费用户数量 2.用户全国分布情况，代理数据与全国数据筛选 3.数据预测与警报

该项目是通过对高三学生月考成绩进行数据清洗并对每一科成绩分别进行排名，然后分别用matplotlib和pyecharts对各科成绩前二十名进行绘图及多图合并。 应用场景：数据可视化 开发工具：matplotlib、pyecharts、numpy、pandas

业务场景：学生每年一次的学生体质健康测试数据采集分析。 模块：按照体测业务流程以测试项目为区分，按照项目用性别、年级和成绩三个参数调用对应函数，返回该项目的单项成绩、权重成绩、等级，如果是附加分项目会增加一个附加分。 架构特点：函数调用简单方便，适合浏览器端。

面向环卫行业公司内部员工的高效管理工具，帮助企业提高管理效率，实现降本增效。为企业提供环卫业务管理支撑，并提供综合的人事行政服务。主要包括人事行政模块、工单管理、安全事故上报、工作规范、车辆管理、道路保洁、垃圾运收等模块 主要职责： 车载、工牌、手环、对讲机、等设备GPS、事件数据接受处理与健康数据监控、市政平台政府信息对接、视频监控、行政通用审批、智慧公厕、垃圾称重、充电桩等服务开发维护

GTWR (Geographically and Temporally Weighted Regression) 是一个用于地理和时间加权回归分析的Python包。它适用于需要分析地理和时间数据的研究和应用场景，例如环境科学、城市规划、公共卫生、社会经济研究等。在这些领域，数据的空间和时间维度对于分析结果有着重要的影响，GTWR包通过引入地理和时间权重，能够更加准确地捕捉这些影响，从而为用户提供更为精确和可靠的分析结果。 __init__ 模块: 功能: 初始化包，导入必要的模块和函数，使得包能够被正确加载和使用。 作用: 用户可以直接使用 GTWR 包中的各种功能，无需手动导入各个子模块。 diagnosis 模块: 功能: 提供诊断工具和方法，帮助用户评估模型的性能和准确性。 作用: 用户可以使用该模块进行模型诊断，如残差分析、模型评价指标计算等，确保模型结果的可靠性。 function 模块: 功能: 包含各种辅助函数，这些函数在数据预处理、计算过程中起到重要作用。 作用: 用户可以使用这些函数进行数据操作和处理，简化分析流程，提高工作效率。 kernel 模块: 功能: 提供不

1. 构建 Elasticsearch 全文搜索引擎环境和部署，设计日志文档数据存储结构，依托 RuoYi 构建 Web 应用门户 2. 制定 Log 日志收集规范，提供制式 Log4j 文件，对接开发、运维对生产环境各网络设备、服务器、应用程序和系统中收集日志数据，包括操作日志、安全日志、性能日志等 3. 进行日志归档存储，划分服务器节点、应用程序、业务接口集合，产生日志查询分析追踪功能，保证数据的完整性和可访问性 4. 实时监控网络设备、应用程序和系统的日志输出，及时发现并响应异常事件和告警信息，提供故障解决方案指导 5. 建立日志统计和性能报表，通过聚合、分析、链路追踪、可视化等功能，丰富日志数据分析能力，建立开发问题定位能力，运维紧急风险评估能力 6. 实现日志数据的安全管理功能，包括数据加密、身份认证、访问控制等，保护日志数据的安全性和保密性

PDF文档处理模块： pdf_table_to_dict函数：实现PDF表格数据提取，支持多页表格合并，自动识别表头和数据行 批量处理模块： process_all_pdfs函数：批量处理多个PDF文件，自动遍历文件夹，错误处理和异常捕获 数据标准化模块： 营养成分数据提取和转换，支持多种营养指标（能量、脂肪、蛋白质等），数值标准化和单位统一 数据导出模块：数据整理为统一格式，导出为Excel表格，结果可视化展示 核心技术栈： Python语言开发 pdfplumber库用于PDF解析 pandas用于数据处理 numpy用于数值计算 架构特点： 模块化设计，功能解耦 面向对象编程 异常处理机制完善 可扩展性强 技术优势： 自动化程度高 处理效率好 易于维护和扩展 代码复用性强

1.功能模块：数据中台，统一权限，接入上下游系统，具体规划到存储访问模块，存储管理模块，组织管理模块，挖掘分析模块，评估分析模块 2.负责任务：项目架构设计，业务方案设计，核心代码编写，项目实施部署，需求沟通分析，整体采用springcloud及相应中间件

某保险公司快速提数平台，实现报表全配置化，支持快速提取数据清单，横向纵向多维度权限控制。BS结构系统，后台主要是Java，数据端结合传统关系数据库和大数据平台的spark，solr技术实现

我负责“青岛高速综合管理驾驶舱”项目的前端开发工作。 ◆ 负责驾驶舱八大模块（基础设施、路网运行、应急调度、出行服务、机电运维、养护管理、项目管理、收费管理）的大屏页面开发和 维护工作，对 Vue/Vuex/Vue-router 有了深刻理解并熟练掌握；负责用 Echarts 实现驾驶舱中五十余个图表、进度条、动态效果的制作， 对 Echarts 暴露接口的使用和封装属性的访问有了深刻理解。 ◆ 负责高德地图扎点、搜索行政区划、地图路线标注、事故范围圆绘制、救援车位置及路径规划实时更新等功能方法的封装及使用。 ◆ 熟练对接各系统接口（青岛高速单点登录系统接口、高德地图接口、高速路各关卡摄像头视频接口、高速工作人员电话接口）。