SHELL

在项目中负责钉钉对接API接口实现前端考勤模块页面 以及后端java工程代码 还负责复杂excel导出功能 做过用户管理，角色管理，JWT登录 spring security配置等等 由于设计公司隐私简单用几张照片吧

项目功能模块概述： 数据抓取模块： 实现从各种互联网源头如论坛、博客、新闻等抓取海量数据。 情报展示模块： 将抓取到的数据按照企业需求进行分析和展示，提供直观的情报，帮助企业制定竞争策略。 多源数据解析模块： 利用Java的htmlparser库进行html解析，提取关键信息，同时通过Python、Selenium、XPath等技术爬取Facebook、Weibo、小红薯、Google、Instagram、Twitter等平台数据。 Linux服务器支持： 构建强大的Linux服务器群，用于存储和处理海量数据。 用户实现的功能： 使用者可以通过系统从互联网各个渠道获取大量商业价值的情报数据，系统对数据进行解析和展示，帮助企业了解竞争环境，优化竞争策略。 我的贡献和技术栈： 负责模块： 我独立负责了从论坛和博客中抓取数据的模块，进行了grasper的优化，同时负责Linux服务器的部署，通过Shell脚本实现了持续部署能力。 使用技术栈： 项目核心技术包括Java的htmlparser库用于HTML解析，以及Python的Selenium、XPath解析等技术用于多源数据的爬取。

项目简述： 在 openEuler（Linux）操作系统上，使用 python 编写更新提醒软件，支持 X86/ARM 架构，支持定时任务，开启弹窗，日志管理，yum/dnf 仓库的正确性检测，遵循 yum/dnf 更新机制。 思路描述： 更新前使用 python 调用 shell 对当前系统架构，运行环境，权限，可更新软件进行获取，使用正则对软件和软件信息进行过滤，最 终调用 shell 实现更新 本人负责： 需求分析，架构设计，核心功能开发，为前端页面提供底层linux接口的内容

1.号码市场,靓号推送 2.财务管理, 采购管理, 黑名单管理 3.开放平台接口对接 4.CRM客户关系管理 5.仓储管理 6.权限集中管理

完成电商管理系统核心功能的开发和上线 熟悉spring源码，linux系统，zk和nginx等中间件，能快速解决项目中遇到的疑难问题，比如项目中请求乱码问题，支付回调异常问题，多线程问题

2022 年，参与农发行驻场项目文件一致性对比自动化运维方案的部署和实施，编写的《基于文件一致性对比的自动化研究与实现》论文，于 2022 年 9 月份在《信息技术与标准化》杂志发表，能力获得客户的肯定和好评；[1]马力,唐亮,郭正斌,郭和龙,冯振虎.基于文件一致性对比的自动化研究与实现[J].信息技术与标准 2022 年，任职主机岗位期间多次参与并负责农发行驻场项目测试环境系统安装、服务部署、系统容灾备份等方案的部署、实施及运维文档的编写与维护等，现场工作获得客户方较高评价；

1. 在线工具，主要面向需要联系雅思写作的学生。提供诸如自动批改、自动润色等专业功能 2. 我作为运维负责人，与前后端开发合作交付完整的服务。主要技术包括：docker、linux、shell、ci/cd等

根据工信部SIM卡实名认证规定所开发的实名认证相关业务平台。主要分为三部分：后台管理端、用户端。 后台管理端提供，权限相关分配，数据字典配置，短信模板配置等，相关后台功能；以及对自动实名认证进行人工抽查；自动分配工单，简化客服人员工作。 我的职责：1） 获取身份证正反面及手举身份证的采集图像。2）对身份证正面进行人脸检测、清晰度评估、公民身份号码的采集。 3）对身份证反面进行有效期限和签发机关数据的采集。4）对手举身份证图片的 人脸检测、人脸清晰度评估、人脸3D检测、人脸活体检测等. 5） 匹配人脸识别的用户名等。

1、完成 HDFS+YARN+MR+HIVE 相关的系统搭建 以及CentOS相关环境的维护 2、SHELL + LINUX 熟知 3、熟悉数仓+ 数据资源池+数据湖相关的架构 4、对传统关系型数据库、NOSQL数据库 比较熟悉 5、熟悉Python 相关知识 包括数据初步解析、数据爬虫、词语拆解等

1.参与总体数据仓库设计。 2.使用Python/自研调度工具将最底层不同系统不同类型的数据源(接口，Excel，Json，Mysql，Oracle)统一抽取到操作数据存储层。 3.使用自研调度工具对总线层数据进行转换、清洗，生成干净的数据流。 4.定期对项目整体代码review，对Python代码和SQL和储过程进行优化。 5.由于项目前期甲方提供数据不足，我负责使用Python的Pandas、Numpy、Nyhive、Flask生成模拟数据，并将数据保存到Hive、Excel中，并将数据通过接口和视图、表的方式暴露出来，以保证有数据，项目可以正常推动。 6.将明细数据仓库层进行聚合，形成业务领域的明细数据集，最后使用调度工具将数据入到Mysql中。

项目描述： 微租赁是平安租赁推出的为小微企业客户提供在线租赁服务的 APP ，包括合同管理、寄件查询、智能提醒、发票验真等相关服务与功能，微租赁为客户打造一个线上自助查询服务，是客户服务与关怀的租赁服务中心。 职责：合同管理，客户管理，授信管理，进项票管理，人员管理等。 项目描述： 主要职责：1.业务管理 1）业务线配置 2）业务线基础配置 2.商户管理 1）商户注册 2）商品管理 3）商户结算配置 3.用户管理 1）用户注册 2）划拨明细管理 4.交易管理 1）充值明细管理 2）账号余额管理 3）账号出入金管理 5.对账管理 1）商户对账管理 2）对账通道管理 3）通道对账异常明细 4）通道对账单下载 6.结算管理 1)结算管理 职责： 项目管理以及后端开发

职责：团队负责人、数据库表设计、各模块搭建及设计、核心模板开发 主要内容：（1）数据采集（2）数据处理（3）流程调度（4）检验评估（前端控制任意时间段检验 评估和定期评估）、生成评估报告（任意时间段和定期报告）（5）产品统计（6）产品及评估结果 显示。 技术路线：SpringBoot + SpringMVC + Mybatis + 虚谷数据库 + Netty + SpringSecurity + Lay ui + openlayers + python+docker + shell 个人成长：（1）通过配置.ini文件，增加需要下载的数据，设置开关（是否向MQ发消息，是否存文 件索引），设计出一套通用的数据下载程序。支持公司所有项目的数据下载，支持历史数据和实时数 据下载（2）通过配置ini文件，配置需要处理的数据属性，执行的命令，动态匹配文件，执行 python脚本。（3）通过配置.ini文件和xml文件，将被检验数据和检验源数据一一匹配，插入和更新 到数据库。（4）通过配置yml文件，支持不同数据、不同时间尺度、不同区域、不同数据源、不同 插值算法的检验评估，使用parallelS

1：利用kettle进行job的开发，获取源端数据。 2：利用sheel进行kettle作业调度。 3：利用navitcat进行数据库管理。 4：利用java进行接口的开发。

基于f-stack矿机实现的高性能负载均衡 负责数据转发模块功能，比如ip包的重组和分片 技术难点是需要对ip层的协议熟悉，熟悉dpdk对数据包的处理等

实时定位：读取定位终端⽣成的数据在地图控件上实时展示移动路线。 轨迹回放：选择特定时间段，查看该时间段内的移动路线。 隐患报警：定位终端具有sos报警，摔跌报警，⻓时间静⽌报警等报警类型，通过该终端的反馈，可以实时 掌控报警情况，并根据报警情况，在地图⻚⾯进⾏报警提示，并推送报警信息给⽤户。

本项目主要是应对Hadoop生态体系组件的日常运维，包括部署、扩容、灰度上线、状态检查等，以及提供HDFS、hive、hbase等工具包，包括HBase region迁移，热点定位，创建表等工具包。 该项目主要是使用ansible进行统一管理，编写ansible playbook进行自动化工作。

接口自动化测试框架核心特性 使用 python + pytest + allure + request + mysql/yaml 实现； 基本特性： （1）数据不可控性 大部分由于人为因素 修改或者删除 维护的测试数据导致的。 由于被测系统接口返回的数据是实时变化的、也不是固定的，导致断言失败，此时并不确定是被测程序错误引起的，还是测试数据变更引起的。 （2）被测系统的中间件服务异常 （3）依赖第三方系统

该项目的是通过分析系统SQL(MySQL、Spark)，进行业务问题排查、分析、优化等，另一用途是自动生成airflow调度任务。 项目主要由前端+后端组成，前端主要用于展示分析结果，由原生html、echarts、neo4j构成，也实现了excel导出功能；后端主要分为sql分析、生成表粒度调度关系、生成字段粒度调度关系、excel样式定义及生成、airflow任务生成(全图、子图切割)等。 主要负责：前后端全部，且该项目已稳定运行并提供足够数据分析支撑

项目主要基于 Gstreamer 开源库为核心，采用 FFMPEG 作为文 件格式/协议/软件解码模块实现对本地与网络视频的播放，支持 点播，定制化播放． 自动识别音视频视频编码并选择相应的解码 器．对视频文件中的字幕进行提取，解码显示，并对字幕中的特 效进行渲染。 我的职责：主要负责对SRT/SUB/SAMI/PGS 字幕的解析与图片字幕的显示 控制，并对字幕的快进,快退，暂停，播放停止进行处理．并实现 字幕、音频和视频间的同步.

1.服务端和客户端框架代码编写 2.收发包线程代码编写 3.协议解析逻辑实现 4.线程管理脚本实现 5.进程启动脚本实现