数据处理

汇聚新疆区地县三级政策数据和国家部委政策数据，为全区企事业单位等提供政策查询、政策匹配和政策推送服务。 板块主要分为：政策查询、政策文件、政策匹配、高企评分

Scrapy 是一个用于 Python 的快速高级 Web 爬虫框架，旨在帮助开发者以简单而高效的方式抓取网站数据。Scrapy 提供了一个完整的开发环境，包括请求调度、数据提取、数据处理以及存储等功能。 项目结构 settings.py：配置文件，用于定义项目的设置。 items.py：定义数据结构，用于存储爬取的数据。 middlewares.py：定义中间件，用于处理请求和响应。 pipelines.py：定义管道，用于处理已提取的 Item 数据。 spiders 目录：存放 Spider 类，每个 Spider 类负责从一个或多个网站抓取数据。

项目描述：工务智能巡检机器人系统由部署在远端机房的数据综合分析系统，运行在轨道上 的巡检机器人组成，巡检机器人采用分体式平台化设计，分为自走行的载人与检测平台，检测平 台有线路检测模块、隧道检测模块等。检测道床异物，扣件、弹条和螺栓等的丢失、松动、错位、 断裂等

本项目是一款使用 Egg.js 和 Umi 开发的全栈 Web 应用，主要功能是上传论文并在线对论文添加批注，包括文字、横线、方框等，并能够方便他人实时查看。 技术亮点： 使用了 pdf-lib 和 canvas 对论文进行图形绘制，实现了对论文的高效处理和显示。 使用了 Sequelize ORM 来操作数据库，简化了数据的操作流程，提高了数据的安全性和可靠性

1.项目分为9大模块，首页、法律库、产品池、相对人、执法检查、执法办案、统计分析、其他应用、系统设置 2.项目主要涉及审批链以及pageoffice文档对接 3.项目有web端以及app端(wps文档对接)

一、项目模块（下面仅展示主要模块）： ①注册登录模块 ②实名认证模块 ③信用担保模块 ④邀请奖励模块 ⑤充值模块 ⑥发布模块 ⑦经验值模块 ⑧签到模块 ⑨圈子模块 ⑩私信模块 二、分工详情 本公司基于Uniapp，unicloud,两者前后端交互，从而开发出该小程序 使用技术栈基于Uniapp，UniCloud,CSS,NodeJs,UniUI，uView等等 三、项目难点 1.私信系统搭建 该小程序的私信功能，并非使用市面上已经成熟的聊天API，而是本公司单独研发的流式响应代码编写，其好处是比市面上现有的聊天接口而言，能够节省至少80%的花费，其中包括数据库访问次数减少，响应时间更快等优势 2.通告统筹系统搭建 统筹系统是该小程序的核心，用来帮助发布通告的通告主，统计当前报名该通告人员的工资、考勤、加班费等明细账，可一键生成工资表数据，无需手动打卡、记账等操作。 与此同时，该系统的难点在于，实时计算用户工资、和工作时长之间的逻辑关系非常复杂，本公司通过不断地优化和测试代码，最终达成了效果

GTWR (Geographically and Temporally Weighted Regression) 是一个用于地理和时间加权回归分析的Python包。它适用于需要分析地理和时间数据的研究和应用场景，例如环境科学、城市规划、公共卫生、社会经济研究等。在这些领域，数据的空间和时间维度对于分析结果有着重要的影响，GTWR包通过引入地理和时间权重，能够更加准确地捕捉这些影响，从而为用户提供更为精确和可靠的分析结果。 __init__ 模块: 功能: 初始化包，导入必要的模块和函数，使得包能够被正确加载和使用。 作用: 用户可以直接使用 GTWR 包中的各种功能，无需手动导入各个子模块。 diagnosis 模块: 功能: 提供诊断工具和方法，帮助用户评估模型的性能和准确性。 作用: 用户可以使用该模块进行模型诊断，如残差分析、模型评价指标计算等，确保模型结果的可靠性。 function 模块: 功能: 包含各种辅助函数，这些函数在数据预处理、计算过程中起到重要作用。 作用: 用户可以使用这些函数进行数据操作和处理，简化分析流程，提高工作效率。 kernel 模块: 功能: 提供不

import pymysql：导入 MySQL 数据库连接库，用于与数据库进行交互。 from selenium import webdriver：从selenium库中导入webdriver，用于控制浏览器进行网页操作。 from selenium.webdriver.edge.options import Options：从selenium.webdriver.edge.options模块中导入Options，用于设置浏览器选项。 from selenium.webdriver.support.ui import WebDriverWait：从selenium.webdriver.support.ui模块中导入WebDriverWait，用于等待网页元素加载。 from selenium.webdriver.common.by import By：从selenium.webdriver.common.by模块中导入By，用于指定网页元素的定位方式。 from selenium.webdriver.support import expected_conditions as EC：从s

1.解决企业面临的数据孤岛、数据不一致、数据维护混乱等问题，根据企业特有的业务架构，构建起一套统一的、标签化的、API 化的，并可持续更新的数据资产管理平台，为企业前台业务部门提供决策快速响应、精细化运营及应用支撑，使企业真正做到自身能力与用户需求的持续对接； 负责开发的功能模块：数据调度、代码编辑器的替换；

requests库的使用，selenium进行反爬，用IP，加请求头，等一些反爬手段。会一些numpy，pandas,数据处理方法，会第三方pyecharst库进行动态可视化分析等等

1.项目为数据处理中间层 2.本人负责airflow流程规划设计，python api与sparksql的功能编写，用groovy编写pipeline去实现自动化部署k8s的等功能。 3.项目难点在于airflow的整体设计，如何一层一层依据业务部署；使用redis去解决python代码中的一些并发场景，充当锁的功能。

仓库管理系统是一款强大而全面的解决方案，旨在高效管理仓库的各个方面。以下是对其主要功能和技术栈的详细介绍： 仓库管理：提供对仓库整体的综合管理，包括仓库布局设置、区域划分等，确保仓库的合理规划和运作。 货品分类管理：使用 Java 强大的数据处理能力，实现对货品的分类定义和层级管理，便于更精确地组织和查找货品。 货品管理：通过 Java 与数据库的紧密结合，详细记录货品的基本信息、属性等，实现对货品的全面管理。 库存统计：借助 Java 的数据分析和计算能力，实时统计库存数量、价值等关键指标，为决策提供准确依据。 入库管理：当货品进入仓库时，使用 HTML5 和 JavaScript 构建的前端界面，方便快捷地录入入库信息，后端 Java 程序则确保数据的准确性和安全性。 出库管理：类似入库管理，使用友好的前端界面进行出库操作，Java 处理出库流程和数据管理。 出入库统计：基于 Java 的数据分析和报表生成功能，生成详细的出入库统计报表，直观展示仓库活动情况。 在技术栈方面： Java 作为核心后端语言，承担数据处理、业务逻辑等关键任务。 HTML5 构建现代化、响应式的前端界面，

项目介绍：主要通过采集层中集成的各种采集协议支持与采集方案支持，将设备层中各种设备进行采集接入，从而将各类设备作为信息节点，纳入到信息化管理的整体中进行管理，以实时、准确、自动的为上层信息系统提供及时、真实、有效的数据。项目的架构中将采集层与数据处理层进行分离，使数据采集聚焦于各类协议设备的接入与原始数据获取，再通过处理层，对数据进行封装、聚合、拆分、数据转换等操作，形成上层系统规定的标准数据并推送至云端，同时也可按需本地存储。 技术栈：java、springboot、modbus、串口通信、netty、kafka、mybatis 负责范围：系统设计，功能开发，现场部署实施，文档编写 难点问题：解决了各类设备数据采集协议过多的不兼容问题；解决了设备过多后实时采集出现推送延迟、掉包等并发问题

该项目实现仓储管理，数据入库，出库，查询，修改用户信息，展示出入库记录 功能。 该项目创建database类实现SQLite数据库的创建及增删改查功能。创建页面 Label、Button 通过Group组合，通过Layout布局，实现组件整齐标准的展现在窗口中。通过 按钮信号与槽的连接，并执行lambda表达式，实现页面的切换与功能的调用。通过读取输入文 本框内容，将数据与现有数据对比，实现数据入库出库，更新数据，模糊查询数据等功能。最后 通过创建入库出库数据模型TableModel，展现出入库记录。

该项目是基于python的爬虫MOOC课程评论数据获取，用户可以通过输入关键字来获取自己想要的某一课程评论数据并将其保存到excel表格中进行可视化。 运用场景：mooc课程评论数据 开发工具：requests、jsonpath、pandas、time函数

通过腾讯的云开发,把自营商城,财务管理,拼多多经营数据,其他功能(如扫码枪等)综合成一个小程序 然后区分不同权限的人员,使用不同的功能

1、项目简介，功能点比较简单：将excel、csv文件中的数据，自动填写到表单并提交，有简单的日志记录输出情况； 2、技术情况：python语言+qt面板；

负责开发项目的子系统以及考生的考试流程，报表打印和展示，批量导出pdf样式格式的文件，定时调用硬件摄像头

我负责“青岛高速综合管理驾驶舱”项目的前端开发工作。 ◆ 负责驾驶舱八大模块（基础设施、路网运行、应急调度、出行服务、机电运维、养护管理、项目管理、收费管理）的大屏页面开发和 维护工作，对 Vue/Vuex/Vue-router 有了深刻理解并熟练掌握；负责用 Echarts 实现驾驶舱中五十余个图表、进度条、动态效果的制作， 对 Echarts 暴露接口的使用和封装属性的访问有了深刻理解。 ◆ 负责高德地图扎点、搜索行政区划、地图路线标注、事故范围圆绘制、救援车位置及路径规划实时更新等功能方法的封装及使用。 ◆ 熟练对接各系统接口（青岛高速单点登录系统接口、高德地图接口、高速路各关卡摄像头视频接口、高速工作人员电话接口）。

该项目主要实现了警情上图、一张图指挥与调度 本人整个项目的架构设计、数据库设计，产品实现逻辑、业务闭环的设计。除此外因为该项目最终产品形态由我方实现，固本人的工作还涉及到了与局方、厂商之间的协调，厂商（大华、海能达等）对接方案的技术实现。 编写的业务代码有：1、对接电围、人脸数据厂商。 2、数据打包过互联网边界至GA网 3、数据在GA网内入库（kafka、clickhouse、nginx）；4、基于AbstractRoutingDataSource 重写动态切换数据源（区别于在yml 配置文件中配置多数据源，配置文件中只有一个数据库。 新增业务只在数据库配置表中新增一条记录。能做到业务代码无感，能和单数据库一样使用mybatis操作业务数据库）