数据处理

数据采集分页 数据提取 加密处理 数据存储 通过数据采集实现分页，提取感兴趣的数据，进行加密处理，并最终将处理后的数据存储起来： 数据采集分页： 使用合适的爬虫或API请求，获取所需数据。将数据分页获取，以便更有效地处理大量信息。 数据提取： 从采集到的原始数据中提取出你感兴趣的信息。这可能涉及到解析HTML、JSON或其他数据格式，以获取目标数据。 加密处理： 对加密算法解密 以达到绕过请求校验。 数据存储： 将数据存储到合适的存储介质，。

1.机器人可自动寻路避障，识别管道和环境危害。 2.本人负责电控和视觉训练。同时机器人配备AGX系统，支持大规模数据训练，视觉跟踪能力由输出和电控调试。嵌入式能力比较好。 3.其他方面在训练过程中主要使用python，算法为yoloV5。

项目描述：广告投放（买量）的质量对于游戏的推广至关重要，而广告投放师需要实时感知广告投放效果、素材设 计师、素材优化师需要实时洞察素材质量、快速下架无效的广告策略，因此，需要将广告投放的实时数据展示给分 析人员，以供分析人员能洞察投放异常的现象

1.项目分为运维概况，资源管理，监控告警，工单处理，安全审计，运维工具，权限控制，知识库等等模块，对使用者来说实现了服务器、应用的各个指标的监控比如CPU、磁盘、内存的使用情况 2.项目使用了springcloud微服务的方式来开发，使用的技术栈是springboot、mybatis-plus、es、redis等等。我负责告警功能，Prometheus监控工具的开发，集成到项目中，对各个服务器、应用的监控，收集数据进行展示。 3.难点：Prometheus是新技术，耗费了2个星期学习时间，达到掌握的程度，在使用的过程中慢慢精通这一项技术

简介: 仓储 WMS 物流是是一款标准化智能化过程导向的仓储物流软件,通过多年仓库管理方 法的沉淀，帮助客户快速的仓库的的问题，标准化工厂，以及通过 PDA 进行扫箱退箱的快速的解决退 货，出库、发货的问题。 主要模块: PDA 扫箱、仓库组织、供应商主数据、物料主数据、ASN 到货计划、成品入库、销售 退货入库、生产报废入库、生产订单退货入库、物料安全库预警邮件推送、不良品出库、良品出库、 物流报废等。 开发技术:Spring boot、nacos,、MybatisPuls、Mybatis、Docker、Redis、GUC、Kafka、了解 xxl-job 系统架构简述：本系统为吉利集团 ERP 项目中的一个服务，采用 springboot 并且引入微服务的 中间件，由主数据服务，仓储服务，告警监控服务组成。采用 openfeign 调用，KAFKA 做服务交互， 并且采用 nacos 作为注册中心。并且引入 redis 做缓存和分布式锁。 项目职责： 1. 负责参与整体项目的表结构设计，接口设计和开发工作。并且集成 openfeign nacos redis 等框架中间件。

1.整个小程序和app开发，使用的是uniapp和vue2的语法技术，有个人认证，企业认证，乘车码，企业大学堂，设备管理，企业服务，人才服务，便捷服务等模块

主要功能：跨网络端口代理功能。附属功能：数据传输。以及系统维护，日志等功能 我负责，跨网络端口代理(对使用者开放另一指定网络端口，访问该端口的应用)，数据传输功能(数据库，FTP数据的上传，下载，传输)

项目背景： 1.促进企业和土地利用部门数据共享与协作: 提供一个平台，使不同部门、组织或个人能够共享和协作使用空间数据，促进数据共享和信息交流。 2. 提高数据可访问性: 通过空间数据共享管理系统，用户可以更便捷地访问和获取各种空间数据，提高数据的可访问性和利用率。 3. 促进跨部门合作: 促进不同部门之间的数据共享和合作，例如在城市规划、环境监测、基础设施管理等方面的跨部门合作。 4. 支持公共服务和城市规划建设: 为公共服务提供支持，例如地理位置服务、灾害监测、城市规划等公共服务领域，为政府部门、企业和研究机构提供共享的空间数据资源，以支持决策制定、规划和管理工作。 5.提高数据安全性和隐私保护: 空间数据共享管理系统可以设定权限和安全控制，确保数据的安全性和隐私保护，同时满足数据共享的需求。 主要技术栈：vue、Spring Boot、arcgis、supermap、leaflet、ArcGIS Server、GeoServer

开发语音：C语音 实现功能：对信号全脉冲数据进行实时分选，实时输出分选结果 软件参与者：实时分选软件所有功能均有本人独立完成（该项目获得国家级竞赛3等奖）

项目背景：搭建工程造价大数据库，建立造价数据“共享共用”机制，实现造价数据价值利用最大化。 项目难点：造价领域专业性强，业务流程独特；满足实现快速、准确、可预测、可追溯的数据分析功能。 项目职责：梳理造价专业的核心业务流程与知识体系；搜集分析各类企业数据，优化人工、材料等成本；基于 SpringBoot 程序架构，运用集群、分布式、缓存等架构，进行系统开发。 项目业绩：在全国率先构建以“大数据”、“云计算”和“可视化”技术为核心的造价大数据管理体系，进一 步提高市政府投资的决策效率和科学性，推动市造价管理的转型升级，加快构建智慧城市步伐。

项目内容：招生信息该系统主要为用户提供艺术类院校、专业、教师、学生等信息 查询，以及课程、实践活动、招生就业等相关信息。通过这个平台，用户可以方 便地了解艺术类 教育的全面信息，为学生和家长提供决策参考。 技术架构： SpringBoot、Mybatis、Vue、ElementUI 我的职责： 1.将数据进行清洗并导入到系统中，作为数据支撑 2.根据报考类型与专业类别进行学校查询完成相应接口 3.综评查询模块接口的完成

主要负责调度的开发和维护。基于数采服务采集的数据和xxl-job调度框架,开发计算小时, 日,月,年维度的能耗和费用计算以满足各维度统计能耗和费用的业务。开发工单派发调度以满足设备维修、保养、巡查和数据抄表等业务。

1、《城市管家数据管理系统》项目需求分析和设计文档中，包含10大模块,分别是：企业管理，工地、空地管理，物业管理，防疫管理，冷链管理，历史核查信息查询，上报数据生成，下载信息核查表，用户管理，部门管理。系统主要进行数据统计管理和用户查看总结。 2、本人主要负责项目后端接口设计，基本功能设计。

介绍： 污染源动态活动水平库旨在为陕西省西安市生态环保局打造一个数据融合，数据分析、治理、监控的平台。打通西安市各区县间数据不完整，数据实时性差、各部分间数据流通不畅的问题，为西安市生态环保局提供可视化的数据分析，为环境治理工作开展提供重要的数据依据。 1.【项目模块】： 1）数据接入模块：http请求、tcp/udp接入，jdbc连接、excel导入等 2）数据处理模块：接入的数据入库后通过sql查询过滤方式等清晰，过滤，分组，聚合等形成数据集，数据自资产 3）数据分析模块：对整理的数据进行分析，展示 2.【我的职责】： 1）负责整个数据存储，数据分析平台的搭建 2）动态活动水平库技术架构 3）数据接入、数据清洗的负责人 3.痛点难点： 1.数据的多样化：目前西安市环保部分的数据多样化存储在各个部门的不同系统中，需要一套清晰的数据标准及接入流程使得各部分间的数据能够实时、准确地汇入到动态活动水平库中，对此，我带领小组成员为期两个月的时间，主要调查，分析各部门间的数据录入情况，各部门的系统数据情况，数据的更新周周期情况，数据的真实可靠情况等。指制定了一套专门针对不同时期平台的数据接入模

1确定目标和数据源 2使用Python库进行数据采集 3数据清洗和预处理 4数据分析 5数据可视化 6实际的品牌营销、竞争情报或行业分析中

对内负责项目管理、项目开发（主要应用Python、pandas、Flask、自然语言处理等技术）、代码管理git、项目部署docker 、数据中台Dataworks应用等。 对外负责与各供应商协商对接、与电力业务相关人员（省处级领导）进行项目需求对接、汇报App制作、文档输出等工作。

1. Vue3框架和Echarts + antdesign，用于构建大屏展示页面和数据可视化，将数据以图表、地图等形式直观展示在大屏上 2.arcGIS Server、GeoSeraver，提供地理信息数据的发布和地图服务。 3.arcgis for javascript api 和 supermap for leaflet用于webGIS的开发。 4.WebSocket：用于实现与后端的实时数据通信，以便在大屏上实时展示数据变化。

Django框架技术其中包括三大的部分，分别是模型、视图和模板结构。并且许多的网站和管理系统都是基于Django框架技术进行开发和实现的, MySQL数据库的关联型数据库，它把数据存储在不同的表中，通过每个表中的主键进行关联，这样提高了数据调出和使用的速度也在一定的方面提高了数据的灵活性。

常用办公软件全自动化，能够减少人工，提高工作效率，让每天重复繁琐的一些工作通过工具自动完成，比如可以自动处理excel，然后生产报告，发送邮件等操作！

该项目分为，业务模块、数据源管理模块、系统管理模块、系统配置、日志管理及运维工具模块。 我负责业务模块的数据库数据传输(数据库包括、mysql、oracle、db2和达梦，目前只包含这几种数据库类型)，和FTP文件数据传输(上传，下载，传输)。日志模块的操作日志，审计日志(数据库，文件的数据传输传输日志)，日志清理规则(根据cron表达式进行定期的指定日志清理)，网卡配置(目前仅限linux系统的网卡配置)。