数据处理

该管理后台是专为工程软件架构的一套服务管控平台，为公司各个部门员工使用 该系统分为多个管理功能模块： 1、账户管理模块，对所有的工程用户账号进行监控和异常报警 2、财务管理模块，管控所有财务的出入账审核，异常账单处理、账单路径追查、账单退款..等功能 3、福利管控平台模块，进行管控工程软件APP及小程序的各种福利发放控制系统（优惠劵，代金券，折扣券等各种奖品） 4、订单管理系统模块，工程订单的监控，异常处理，订单统计，订单报价管理等 5、综合数据分析模块，对各种工程数据及用户数据，成交概率等各种数据进行专业分析报告 6、劳务工人管理，工人的实名制对接政府部门实名制系统，劳务的发放管理等 7、及其它各种系统模块功能

该项目分为，业务模块、数据源管理模块、系统管理模块、系统配置、日志管理及运维工具模块。 我负责业务模块的数据库数据传输(数据库包括、mysql、oracle、db2和达梦，目前只包含这几种数据库类型)，和FTP文件数据传输(上传，下载，传输)。日志模块的操作日志，审计日志(数据库，文件的数据传输传输日志)，日志清理规则(根据cron表达式进行定期的指定日志清理)，网卡配置(目前仅限linux系统的网卡配置)。

1、《城市管家数据管理系统》项目需求分析和设计文档中，包含10大模块,分别是：企业管理，工地、空地管理，物业管理，防疫管理，冷链管理，历史核查信息查询，上报数据生成，下载信息核查表，用户管理，部门管理。系统主要进行数据统计管理和用户查看总结。 2、本人主要负责项目后端接口设计，基本功能设计。

项目描述：广告投放（买量）的质量对于游戏的推广至关重要，而广告投放师需要实时感知广告投放效果、素材设 计师、素材优化师需要实时洞察素材质量、快速下架无效的广告策略，因此，需要将广告投放的实时数据展示给分 析人员，以供分析人员能洞察投放异常的现象

对内负责项目管理、项目开发（主要应用Python、pandas、Flask、自然语言处理等技术）、代码管理git、项目部署docker 、数据中台Dataworks应用等。 对外负责与各供应商协商对接、与电力业务相关人员（省处级领导）进行项目需求对接、汇报App制作、文档输出等工作。

主要负责调度的开发和维护。基于数采服务采集的数据和xxl-job调度框架,开发计算小时, 日,月,年维度的能耗和费用计算以满足各维度统计能耗和费用的业务。开发工单派发调度以满足设备维修、保养、巡查和数据抄表等业务。

1.项目分为运维概况，资源管理，监控告警，工单处理，安全审计，运维工具，权限控制，知识库等等模块，对使用者来说实现了服务器、应用的各个指标的监控比如CPU、磁盘、内存的使用情况 2.项目使用了springcloud微服务的方式来开发，使用的技术栈是springboot、mybatis-plus、es、redis等等。我负责告警功能，Prometheus监控工具的开发，集成到项目中，对各个服务器、应用的监控，收集数据进行展示。 3.难点：Prometheus是新技术，耗费了2个星期学习时间，达到掌握的程度，在使用的过程中慢慢精通这一项技术

项目内容：招生信息该系统主要为用户提供艺术类院校、专业、教师、学生等信息 查询，以及课程、实践活动、招生就业等相关信息。通过这个平台，用户可以方 便地了解艺术类 教育的全面信息，为学生和家长提供决策参考。 技术架构： SpringBoot、Mybatis、Vue、ElementUI 我的职责： 1.将数据进行清洗并导入到系统中，作为数据支撑 2.根据报考类型与专业类别进行学校查询完成相应接口 3.综评查询模块接口的完成

离线数仓：在服贸会的官方网站上获取数据信息，存入第三方数据库中，从mysql库中获取信息，利用公司的城操调度，T+1的形式存入hive库中。由大数据工程师通过 hive 的分层建模，需要得到各省市区，境外的参展商，专业观众，新增企业数、疫情下的人流量、票务证件的使用情况、各地区的订单金额等有效信息，通过城操调度将数据结果存放在 MySql 中。然后将数据并进行分析以及调用数据进行数据BI报表展示。 实时数据：通过接口，接入入场人的信息，通过闸机获取公安的个人核算报告，然后通过FlinkSql进行计算。 接入大屏进行展示。 业务需求： 省市区：行业分析、组展机构、展品展馆 年 度：企业新增、用户分析、新增参展商 月 度：公司概况、主播分析、内容分析、地域分布处理日度、月度金额占比、订单增长率 周 度：直播数据，直播观看人数，直播间pv，uv统计，洽谈间人次，各网站浏览pv，uv 直播分析：论坛活动，会议直播 会展数据：当日进场人数，当日票务总计，当日制证总计，闸机人数统计，展馆人数统计 各pv，uv来源：官网，APP，小程序，H5 展台/

Django框架技术其中包括三大的部分，分别是模型、视图和模板结构。并且许多的网站和管理系统都是基于Django框架技术进行开发和实现的, MySQL数据库的关联型数据库，它把数据存储在不同的表中，通过每个表中的主键进行关联，这样提高了数据调出和使用的速度也在一定的方面提高了数据的灵活性。

1确定目标和数据源 2使用Python库进行数据采集 3数据清洗和预处理 4数据分析 5数据可视化 6实际的品牌营销、竞争情报或行业分析中

主要功能：跨网络端口代理功能。附属功能：数据传输。以及系统维护，日志等功能 我负责，跨网络端口代理(对使用者开放另一指定网络端口，访问该端口的应用)，数据传输功能(数据库，FTP数据的上传，下载，传输)

常用办公软件全自动化，能够减少人工，提高工作效率，让每天重复繁琐的一些工作通过工具自动完成，比如可以自动处理excel，然后生产报告，发送邮件等操作！

数据采集分页 数据提取 加密处理 数据存储 通过数据采集实现分页，提取感兴趣的数据，进行加密处理，并最终将处理后的数据存储起来： 数据采集分页： 使用合适的爬虫或API请求，获取所需数据。将数据分页获取，以便更有效地处理大量信息。 数据提取： 从采集到的原始数据中提取出你感兴趣的信息。这可能涉及到解析HTML、JSON或其他数据格式，以获取目标数据。 加密处理： 对加密算法解密 以达到绕过请求校验。 数据存储： 将数据存储到合适的存储介质，。

开发语音：C语音 实现功能：对信号全脉冲数据进行实时分选，实时输出分选结果 软件参与者：实时分选软件所有功能均有本人独立完成（该项目获得国家级竞赛3等奖）

介绍： 污染源动态活动水平库旨在为陕西省西安市生态环保局打造一个数据融合，数据分析、治理、监控的平台。打通西安市各区县间数据不完整，数据实时性差、各部分间数据流通不畅的问题，为西安市生态环保局提供可视化的数据分析，为环境治理工作开展提供重要的数据依据。 1.【项目模块】： 1）数据接入模块：http请求、tcp/udp接入，jdbc连接、excel导入等 2）数据处理模块：接入的数据入库后通过sql查询过滤方式等清晰，过滤，分组，聚合等形成数据集，数据自资产 3）数据分析模块：对整理的数据进行分析，展示 2.【我的职责】： 1）负责整个数据存储，数据分析平台的搭建 2）动态活动水平库技术架构 3）数据接入、数据清洗的负责人 3.痛点难点： 1.数据的多样化：目前西安市环保部分的数据多样化存储在各个部门的不同系统中，需要一套清晰的数据标准及接入流程使得各部分间的数据能够实时、准确地汇入到动态活动水平库中，对此，我带领小组成员为期两个月的时间，主要调查，分析各部门间的数据录入情况，各部门的系统数据情况，数据的更新周周期情况，数据的真实可靠情况等。指制定了一套专门针对不同时期平台的数据接入模

简介: 仓储 WMS 物流是是一款标准化智能化过程导向的仓储物流软件,通过多年仓库管理方 法的沉淀，帮助客户快速的仓库的的问题，标准化工厂，以及通过 PDA 进行扫箱退箱的快速的解决退 货，出库、发货的问题。 主要模块: PDA 扫箱、仓库组织、供应商主数据、物料主数据、ASN 到货计划、成品入库、销售 退货入库、生产报废入库、生产订单退货入库、物料安全库预警邮件推送、不良品出库、良品出库、 物流报废等。 开发技术:Spring boot、nacos,、MybatisPuls、Mybatis、Docker、Redis、GUC、Kafka、了解 xxl-job 系统架构简述：本系统为吉利集团 ERP 项目中的一个服务，采用 springboot 并且引入微服务的 中间件，由主数据服务，仓储服务，告警监控服务组成。采用 openfeign 调用，KAFKA 做服务交互， 并且采用 nacos 作为注册中心。并且引入 redis 做缓存和分布式锁。 项目职责： 1. 负责参与整体项目的表结构设计，接口设计和开发工作。并且集成 openfeign nacos redis 等框架中间件。

项目背景：搭建工程造价大数据库，建立造价数据“共享共用”机制，实现造价数据价值利用最大化。 项目难点：造价领域专业性强，业务流程独特；满足实现快速、准确、可预测、可追溯的数据分析功能。 项目职责：梳理造价专业的核心业务流程与知识体系；搜集分析各类企业数据，优化人工、材料等成本；基于 SpringBoot 程序架构，运用集群、分布式、缓存等架构，进行系统开发。 项目业绩：在全国率先构建以“大数据”、“云计算”和“可视化”技术为核心的造价大数据管理体系，进一 步提高市政府投资的决策效率和科学性，推动市造价管理的转型升级，加快构建智慧城市步伐。

1.整个小程序和app开发，使用的是uniapp和vue2的语法技术，有个人认证，企业认证，乘车码，企业大学堂，设备管理，企业服务，人才服务，便捷服务等模块

1.机器人可自动寻路避障，识别管道和环境危害。 2.本人负责电控和视觉训练。同时机器人配备AGX系统，支持大规模数据训练，视觉跟踪能力由输出和电控调试。嵌入式能力比较好。 3.其他方面在训练过程中主要使用python，算法为yoloV5。