数据处理

摘要： 背景：变应性鼻炎是一种慢性疾病，在日常生活中有多种危险因素使人容易罹患变应性鼻炎，包括接触变应原和吸入刺激物。分析可能诱发变应性鼻炎的潜在危险因素，可为患者在日常生活中减少其发生提供参考。目前关于变应性鼻炎危险因素的研究多基于调查方法，可能针对特定人群和特定场所。因此，它们可能对患者的广泛危险因素提供有限的见解。 目的：社交媒体平台的存在让用户可以分享经验和观点。本研究旨在构建基于社交媒体评论识别变应性鼻炎危险因素的智能方法(TopicS-ClusterREV)。 方法：检索知乎"变应性鼻炎"主题下2012年5月至2022年5月的所有数据，获得9,628条帖子和33,747条评论。首先，我们半自动构建主题词列表，通过增加预测中心词主题的任务来训练主题增强的词向量表示(topic-enhanced word vector representation, TopicS)，对Skip-gram模型进行改进。然后，我们对包含危险因素的手动注释文本项进行矢量化，并训练危险因素分类器。最后，我们将这些分类文本分组，以更好地理解识别出的危险因素。 结果：我们的模型检查了3

根据工信部SIM卡实名认证规定所开发的实名认证相关业务平台。主要分为三部分：后台管理端、用户端。 后台管理端提供，权限相关分配，数据字典配置，短信模板配置等，相关后台功能；以及对自动实名认证进行人工抽查；自动分配工单，简化客服人员工作。 我的职责：1） 获取身份证正反面及手举身份证的采集图像。2）对身份证正面进行人脸检测、清晰度评估、公民身份号码的采集。 3）对身份证反面进行有效期限和签发机关数据的采集。4）对手举身份证图片的 人脸检测、人脸清晰度评估、人脸3D检测、人脸活体检测等. 5） 匹配人脸识别的用户名等。

1.项目简介：现有的Isearch无法支撑大数据量的数据操作，现在希望通过分布式数据库Hbase和Hive解决大数据量的读写业务需求； 2.我的职责：验证数据倒入正确性、完整性；验证接口功能本身的功能是否正常；比对新老接口数据正确性；

公司内部人事管理系统，有部门管理、员工管理、假期管理、薪酬管理、任务管理、工牌管理、等等菜单，每个管理菜单下面都有列表和新增修改删除导入导出等操作按钮

该项目作为数据湖底座平台，融合元数据中心以部门团队为基础，按各部门领域落地入湖表，将需要集成的表通过平台化操作， 关联各项数据血缘关系后，最后部署到目标库中。解决各部门入湖难/慢/等顾虑，为各部门提供更好的自动化部署平台服务，基于jalor6架构的框架，前台页面采用Vue框架，实现前后端分离，个人在项目中负责入湖部署流程中的建表脚本逻辑、 对账户进行提交授权电子流，入湖后的血缘关系及标签功能开发。并处理各部门反馈意见以及流程中发现的错误。

1.项目主要包括学生端公众号、教师端公众号、学生端APP、教师端APP、后台管理系统；学生端公众号主要用于学生参加活动、体验预约课程；教师端公众号用于教师注册，自助安排上课时间；APP端用户线上授课；后台管理系统包含课程管理，教师管理、学生管理等相关功能

1. 实现pdf、word和excel文档之间的互相转换和数据处理，包括pdf转word，word转excel，excel转word等。 2. 项目独立开发者，使用Python作为开发语言。

负责模块： 1. 统计应用配置信息、报错信息：对接 Digger 生成的用户行为数据以及页面性能数 据，根据业务需求设置要监控的数据指标，系统提供：产品访问量 PV/UV 预警、埋 点事件 PV/UV 预警、页面平均加载时长（毫秒）预警、系统报错次数预警 2. 项目权限管控：校验用户是否拥有系统权限，过滤出用户拥有权限的项目列表 3. 用户声音中台：对声音中台数据的查询与展示工作，计算展示不同时间段内每个产 品的反馈建议、所在领域平均值的对应声音的数量和占比、以及不同等级评价比例 计算 4. 消息服务：针对不同需求场景触发邮件消息到用户，触发企微文本消息到系统运营 管理员测

1、负责了地理围栏模块、告警模块、地图监控轨迹平滑模块 2、作为地理领域专家，负责处理系统中大部分地理数据模块，包括轨迹、矢量文件、3D文件等，使用了geotools、rabbitmq、kafka、多线程、springcloudalibaba等技术栈，实现了大型商业系统 3、地理数据处理是难点，不仅数据大，格式复杂，性能要求高，有法规要求还不能出错；消息告警也是难点，通过kafka采集的各种设备，汽车等的数据，超过地理围栏就会触发告警，这些多种告警信息从kafka拿到，并通过rabbitmq通知响应的其他服务和系统

项目需要对图像完成识别与分析，包括图像处理、格式化和模型训练。 项目由本人全部独立完成，周期1天。 准确率高达99%

独立开发网站的首页、商品买卖 、商品新增、客服管理、个人中心、帮助中心等，以及管理后台、h5版本。并且设计、创建数据库结构。

帮助客服实现按需 自动批量任务 客户需求：借助超市收银系统，扫码出现商品信息，然后复制商品名字，去直播中控后台搜索-上架

时间范围 2019.11-2020.12 职 务 开发负责人 项目背景 xx系统提供会计记账服务，xx系统提供商贸批零企业的进销存业务管理服务。企业的进销存业务产生了资产的流动和转移，需要进行会计记账，如何将好生意的业务交易自动转换成会计凭证是很自然的应用。如果让进销存把业务交易转换成会计凭证，需要让进销存业务开发人员理解会计凭证对象模型基本逻辑，这种业务模型和业务逻辑的相互渗透和依赖是不符合应用思路的，因此，需要寻找一个能有效隔离业务模型和财务知识模型的中介架构。 技术架构 依托阿里云EDAS平台，建立独立会计平台微服务独立部署，通过消息队列实现业务系统和会计平台解耦。 Spring + MyBatis + Redis + RocketMQ, 分布式式部署 技术难点 1、模型抽象（建立一个业务方和财务方均能理解的中介模型） 2、数据一致性。 财务数据较为敏感，对数据正确性要求较高，分布式环境下同一个单据顺序发生的事件需要保证按照实际发生时间顺序处理；财务内部凭证和账表之间的一致性。

1、导入功能：根据从国税系统导出的标准格式把评估指标系统需要用到的所有数据导入系统。并生成一条记录。2、 评估打分根据资料按约定的公式计算并生成word。 其中指标每项的分数，权重可以自由设定。在运行前设定。3、 统计汇总 对企业进行风险排序，包括主要集中在哪些指标异常，分析过的企业的风险排序，以状图或饼状图显示。

1.大屏分为三部分，左侧展示数据，列表等。中间展示可以下钻的地图。右侧有各种统计用图 2.主要用echart展示，部分飞线等使用svg图处理 3.内网作品不便展示

1. 项目介绍 1.1. 项目描述 对图像中出现的预定义的水印进行检测，得到类别和位置信息。 1.2. 项目价值 视频内容理解的基础和刚需服务，可用于判黑、辅助限流、辅助cp搬运号识别、自动除水印等等 1.3 项目应用 算法开发，线上服务支持8个业务方 1.4. 担任角色 项目独立负责人，负责水印检测服务的代码开发。 2. 项目框架 1.1. 整体框架 * 模块一：训练样本自动生成。使用图层混合的方式自动生成训练样本。 * 模块二：神经网络模型训练。使用YOLO v5作为基本模型，吸收先进学术成果，提升模型效果。 * 模块三：服务优化。使用颜色-空间特征过滤等方式提升测试阶段模型性能。 2.2. 难点 * 数据获取和标注成本最小化->训练样本自动生成 * 小logo、透明logo检测难度大->模型优化 * 相似logo干扰严重->模型优化 * 保障极小占比的准确率和和服务高并发->服务优化

职责：团队负责人、数据库表设计、各模块搭建及设计、核心模板开发、解决问题 主要内容：（1）数据采集（2）数据处理（3）检验评估（4）产品统计（5）产品及评估结果显示。 技术路线：SpringBoot + SpringMVC + Mybatis + mysql + redis + VUE + python+docker + shell 个人成长：数据库方面：（1）数据量大，单表2亿条数据，做分表，加索引，提高检索效率。（2） 多模块连接数据库，导致连接数不够问题，排查问题，并为mysql设置max_connections。（3）数 据查询优化。（4）解决mysql 的 REPLACE INTO 多线程并发处理同一张表导致表死锁。 数据方面：（1）数据源不稳定，导致检验评估、产品统计，遗漏时次，利用Redis记录已作时次， 避免未作、少做和重复做。（2）缓存热点数据。

1.用到的技术栈有：vue3，vue-router，Element Plus； 2.封装 Axios ，配置请求拦截器、响应拦截器； 3.使用 vue-router 进行导航配置，实现动态路由； 4.对公共的代码进行封装，减少代码的冗余；

自动化配置引擎，所有新规则统一apollo配置，避免多次开发，使用redis发布订阅，多协程处理请求，使用飞书进行配置人员结果通知

1.功能包括商城、购物车、订单、学习工具、音视频课程讲解、支付 、分享等功能。 2.一款中小学生在线教育APP，为用户提供家庭学习场景下服务、专项提升、学习工具等。