数据存储

XX网站信息提取 按客户要求，提取它需要的信息存储。 爬取某网站用户的个人ID和联系方式: 该项目主要针对某网站(论坛/社交平台等)的用户资料信息进行爬取,通过分析目标网站的页面结构,定位包含用户ID,名称,联系邮箱,电话等信息的网页元素,使用请求模块获取页面源代码,然后通过解析模块提取出这些元素内容,最终得到这些用户的ID和联系方式,并存储到数据库中。实现高效批量获取用户信息以及后续分析利用的目的。核心在于定位信息元素和快速批量爬取。大体流程包括确定目标网站、分析页面结构、构造请求抓取、解析提取信息、数据存储,以及必要的添加代理/缓存等优化手段。

1.生产督办，事故报告，等所有数据集中管理，实现集中、统一管控模式 2.平台中审批流程，可实现邀请多人审批，使数据更规范化和灵活化 3.安全检查流程自动生成任务，实现平台自动化

随着项目的不断扩大，工厂需要越来越多的分拣人员，需要更多的配送司机，之前的手工记账，再申报给财务付 款的模式已经不能满足当前业务的发展。工厂管理人员和财务人员急需一个能够系统计算工资，然后财务系统付款并且能够 查询付款记录的工资管理系统，减少在工资方面产生的时间以及减少错漏发的情况，经过2个多月的时间，开发了工资管理系 统V1.0。 负责内容：1.整个工资系统的开发，包括分拣工资和配送工资。

1:爬取模块，实现数据获取并保存到本地，并备份至数据库 2:数据分析，实现清洗数据，数据统计，根据需求计算概率 3:通讯模块，根据需求每天定时将结果发送至'邮箱'或者'微信'来查看, 全权负责. 难点：加密，源码带壳，数据源 不限于小说，视频，音乐等其他数据。 需要整套或其他私。

对新零售痛点进行处理（打通线上线下数据）、无人便利店（RFID、线上客服）、数据分析（商品亲和性、商品动销、商品标签、用户标签）、供应链（商品仓储安排、门店与供应链自动生成补货计划）、门店小程序、运营活动自动生成建议、支付系统集成 1、负责整体项目框架搭建（spring cloud、redis、zookeeper、kafka、mysql、es、auth、netty） 2、负责整体项目产品思路以及产品原型（使用axure以及磨刀） 3、负责服务器维护（linux） 4、负责人员安排工作（gitlab） 5、负责人员代码审核、合并、分支安排（gitlab）

该项目是公司自主研发的一款主要针对大学生的一款社交软件，项目包含？二手闲置物品的售卖，脱单墙、课题问答还有签到等模块其中该项目还有代买代送和快递代取模块可以让大学生在校期间在此平台做兼职的功能。 开发环境：idea、tomcat、mysql、maven 项目所用技术：SpriingBoot、mybatisPlus、Shiro、redis等. 主要职责：负责代买代送，快递代取、脱单墙、每日签到、课题问答和对应的后台管理代码的开发并测试代码并完善。

自研的数据迁移系统 应用场景： 当单数据库因性能原因需要进行分库分别设计（数据怎么迁移就成了个大问题），该系统正是解决该问题，用于老数据库到分库分表数据库的数据迁移 系统功能： 支持全量数据迁移和增量数据迁移 系统亮点： 1. 可实现不停机数据迁移（线上迁移） 2. 支持全量数据迁移和增量数据迁移 3. 滚动拉取数据方案 4. 防止增量同步数据丢失和高效写入方案 在增量同步环节，我们是通过canal监听mysql中的binlog⽇志，然后canal再将监听到的binlog⽇志，将 binlog⽇志放到RocketMQ中的 5 . 支持扩容

待办事项、抄送传阅、办理历史、发起申请、申请历史、我的草稿 组织管理：组织管理、用户管理、角色管理 流程管理： 表单表单设计、流程设计、流程实例管理、任务管理 系统管理：字典分类管理、异常日志、系统资源、系统属性、常用脚本、短信邮件通知

模块分为：登录模块，视频模块，后台上传视频模块，考试模块，编辑个人信息模块 【60%】视频模块，cdn加速 【30%】考试模块

精通Java、Golang、Python( 熟练pytorch、flask、django等框架)语言，精通SpringCloud、Dubbo等主流框架，熟练使用Redis、MQ、ES等常用中间件产品，具有高可用性，高扩展，高性能的架构设计经验，熟悉各种云服务（AWS、GCP、腾讯云、阿里云、华为云）提供商和解决方案，能够根据业务需求选择最适合的云平台并进行架构设计和部署，我在处理高并发和海量数据方面有着深入的了解，能够应对复杂的技术难题，确保系统的稳定性和可靠性

公司的门户平台网站，页面展示公司各个产品，通过产品授权获取产品的使用权限。 为公司其他产品提供用户角色管理中心，权限管理中心，产品注册中心，授权中心。

Python开发各类异构数据库Oracle、MySQL、SQL Server、PostgreSQL数据库之间传输，Oracle TO MySQL，SQL Server To MySQL，PostgreSQL TO MySQL，聚合公司内部OA、CRM、宏景人事、SRM、365外勤等各类应用系统数据库归集到MySQL数仓进行统一分析，并通过开发Flask Web API供内部开发人员和外部供应商开发人员调用，承担海康Springboot 接口数据传入人事系统SQL Server的Python API数据入库开发并对考勤数据进行SQL分析开发Web实时下载Excel报告和定时Email发送报告给行政经理及部门负责人

项目为某学校舞蹈实训学生端web应用； 主要功能：学生登陆，管理自己信息；进行在线阶段舞蹈学习；尚传个人舞蹈视频，可供其他人打分，评论 负责功能：项目需求对接，前端页面开发，后端接口开发，整体功能测试，项目部署，调试，维护

本项目是一个自助数据分析平台，用户可通过在前端配置自己需要的埋点字段，然后会下发一条埋点规则数据至消息队列，数据端通过采集规则数据与埋点数据进行匹配后，对数据进行落库，实现用户自定义分析的目的。 1、项目主要分为3大模块 （1）主要看板模块，包含每款游戏最重要的运营数据，如付费、日（周、月）活、用户留存、LTV、ROI、内置广告变现、玩法、用户画像等基础数据 （2）分析模块，此即为平台使用用户可自定义分析的模块，包含事件分析、留存分析、漏斗分析、间隔分析、分布分析、路径分析、属性分析等 （3）用户模块，如用户标签、用户分群、用户行为细查等 2、负责任务：我在其中的工作主要是数据端的工作，对前端的埋点规则进行解析后，合并正常的埋点数据写入至Clickhouse中，由于某些APP数据很大，某些APP数据量很小，因此就涉及到性能优化。涉及到的技术栈主要包括Flink、HDFS、Clickhouse、Kafka、MaxCompute、Java等 3、难点解决： （1）由于需要把Hbase当成Dim维表来使用，且开源的Flink-Connector-Hbase只提供了单条异步访问的使用方式，而H

项目描述： 来伊份App致力于打造智慧新零售，为消费者带来线上线下无边界的智慧服务。 本项目主营核心业务板块： 1. “扫一扫”领卡入会成为品牌会员，领取会员权益，扫码活动领取门店优惠卷。 2. “会员码”打开来伊份会员码，一键完成支付和优惠核销，享受专属会员权益&福利。 3. “外卖”，在家即可订购来自世界美食大师严选臻品零食。 本项目致力于本土社区团购业务，一种互联网线上线下购物消费行为，是依托真实社区、来伊份线下数千家门店，打造的一种区域化、小众化、本地化、网络化的团购形式。依托线下门店打造社区和团长社交关系实现生鲜、零食等快消商品流通的新零售模式。 主要业务模块： 拉新模块、签到、外卖、伊起拼、闪购、会员码、无聊IM、积分商城、邀请好友、领券中心、发现等业务模块。 技术选型：SpringCloud Alibaba、MyBatis、MySQL、SSO、Redission、Redis、RabbitMQ、ElasticSearch、ELK 开发环境：Git、Jenkins(CI/CD) 部署环境：kubernetes、Docker、Nginx 岗位职责 1. 负责平台管

介绍： 污染源动态活动水平库旨在为陕西省西安市生态环保局打造一个数据融合，数据分析、治理、监控的平台。打通西安市各区县间数据不完整，数据实时性差、各部分间数据流通不畅的问题，为西安市生态环保局提供可视化的数据分析，为环境治理工作开展提供重要的数据依据。 1.【项目模块】： 1）数据接入模块：http请求、tcp/udp接入，jdbc连接、excel导入等 2）数据处理模块：接入的数据入库后通过sql查询过滤方式等清晰，过滤，分组，聚合等形成数据集，数据自资产 3）数据分析模块：对整理的数据进行分析，展示 2.【我的职责】： 1）负责整个数据存储，数据分析平台的搭建 2）动态活动水平库技术架构 3）数据接入、数据清洗的负责人 3.痛点难点： 1.数据的多样化：目前西安市环保部分的数据多样化存储在各个部门的不同系统中，需要一套清晰的数据标准及接入流程使得各部分间的数据能够实时、准确地汇入到动态活动水平库中，对此，我带领小组成员为期两个月的时间，主要调查，分析各部门间的数据录入情况，各部门的系统数据情况，数据的更新周周期情况，数据的真实可靠情况等。指制定了一套专门针对不同时期平台的数据接入模

物业管理系统极大的提高物业管理效率，此系统分为以下家大模块： 缴费管理、周边设施管理、物业公告管理、楼盘管理、投诉等一些列板块 这些模块和功能可以帮助物业公司实现全面、高效、便捷的物业管理，提高公司的竞争力和市场占有率。同时，也能够增

1.本项目为山洪系统项目，项目包含了河渠等水利的水情监控以及分析数据统计，以便用户根据水雨情快速采取相应方案。 2.负责整个项目开发需求的表设计、业务模块划分、项目部署；根据产品经理沟通后的需求，落实可实现的功能，同时兼顾解决测试提出的bug、不合理的逻辑等；对代码、数据库表进行优化，提高接口查询速率。

功能主要就是跟电池主板进行交互，通过Type-c数据线与硬件进行直接通讯，获取电池电量，从后台获取最新固件更新，以及电池温度等信息，进行数据交互

项目背景：北京商务部经合局境外电商援建项目 结合老挝农产品电子商务现状、调研情况，基于中国成熟的农村电子商务体系建设成 果和经验，建设具有适宜老挝现状，并具有可扩展和引领电商行业发展能力的农产品电子 商务平台，完成以业务中台、数据中台、农产品B2B电子商务平台、农产品B2B跨境电 子商务平台、客户服务中心、主动营销中心、全渠道接触中心为核心的能力和子系统建设。 项目技术：spring boot+nacos+validation+mybatis+easyexcel+ 远程调用:openfeign 限流熔断: sentinel 分布式事务: seata 缓存：redis 数据库:mysql 数据实时刷新:websocket+rabbitMQ 搜索引擎： ElasticSearch 即时通讯：IM 主要负责客服工作台相关功能的开发设计工作，及部署任务。完成任务跳转、工单流程、IM 会话通讯 ，基于开源组件 IM 进行二开以适应老挝电商项目会话需求。