大数据

物联网平台主要分为设备侧、接入层和平台侧，我主要负责平台侧的开发 平台侧的主要内容是与接入层进行交互，接收设备上报的消息、给设备下发指令，并对设备上报的消息进行解析处理 我主要负责的核心模块有产品管理、设备管理、物模型管理等，主要是针对设备上报的消息通过脚本解析、规则引擎对消息进行解析和过滤，并根据配置的转发规则将消息推送至其他第三方组件中 项目中使用到的技术栈： 数据库：mysql、redis、mongodb、elasticsearch 中间件：kafka 后端：springcloud alibaba、spring gateway、spring security、openfeign、sentinel 注册中心：nacos ORM框架：mybatis plus 对象存储：Minio 部署：Docker、Docker Swarm

精通hadoop平台搭建运维及问题处理 精通spark flink实时离线开发 精通大数据平台各个组件搭建及使用 精通linux shell脚本编写 精通java

1.负责多个模块开发，包含了政策、新闻、论文、专利模块开发。 2.数据获取，利用爬虫在互联网上获取相关政策、新闻、论文、专利，达到TB级别。 3.数据存储，搭建Hadoop环境、es环境，用来存储平台数据，利用ETL工具进行数据的清洗、格式化统一等。 4.根据项目需求，完成上述多个模块的定制接口呈现。 5.数据库调优。

针对现有语义分析模型长文本分类正确率较低的问题，对长文本进行切分后结合BERT模型进行分类。本项目提高了长文本领域的分类正确率。

分布式爬虫，每天处理上百万条数据，主机器主要是任务的建立，与下载队列的生成， 从机器从主机器获取下载任务，进行下载任务与网页处理，主从机器之间的交互用 thrift 框架，kafka 充当爬虫爬取的队列。利用 kafka storm 框架实现爬取数据与数据解析分离， 使爬虫更有效率，同时也更方便的维护爬虫。根据网站的特征对网站进行分析，制定网 站的更新策略。新闻是根据算法进行页面内容抽取，抽取正确率 90%以上，贴吧论坛根 据 搭 建 解 析 框 架 ， 利 用 jsoup 与 xpath ， 是 用 于 大 部 分 网 站 ， 爬 虫 后 台 用 的 是 SpringMVC+mybatis 搭建，针对爬虫进行监控。方便操作员对爬虫的管理

数据中台搭建，其中包括大数据框架的搭建、数据仓库搭建，使用ambari搭建hdp版本的hadoop，本系统有离线数据仓库与实时数据仓库，其中实时数据仓库用flink+kafka最终结果存入doris中。

政府道路、气象大屏项目，包括 1. 政府道路检测项目 2. 大气平台、天气气象台项目 3. 数据统计大屏项目 4. 埋点数据统计大屏项目等

1、参与四川银行数据中台开发，主要技术栈为SpringBoot、Hive、Spark、Hudi、DolphinScheduler、Clickhouse； 2、主导技术选型、大数据程序开发、把控项目进度等。

项目技术：项目主要用vue.js语法进行编写 项目概要：多系统的大数据可视化展示 我的责任：负责页面的开发与后期的维护

1.主要包括：咨询模块，OTD链路监控模块，权限某块等 2.主要开发咨询模块和OTD链路监控模块,通过爬虫获取资源信息进行展示

某平台主要提供全网优质公众号查询、监控及诊断等数据服务，并提供多维度的公众号榜单排名、公众号推荐等实用功能，是一款公众号运营及广告投放效果监控的专业工具， java，es，springboot

1. 需求：前端人群群组框定后，实时计算增量或计算历史，动态计算人群变化。 2.技术应用：flink、doris、clickhouse、kafka。

1. 进行订单、商品、用户、活动等数据进行数仓分层搭建、为企业提供数据报表及实时业务数据监控分析业务 2. 使用Hadoop、Spark、Hive 搭建离线数仓、使用flinkcdc 、doris 搭建实时数仓分析

利用证券市场成交价、交易量、收盘价、开盘价、换手率、日均价等信息计算各项投资学比率，支持证券交易决策。

本系统以中间商身份连接电信运营商和业务需求方，为业务需求方提供客户信息核验，客户多角度信用评级服务，以支持线上线下多种业务的授信服务。系统主要包括两大部分，一部分是计费的api服务，另一部分是系统配置。通过系统配置，开通客户，应用，定义系统提供的服务，供应商提供的服务，配置系统服务运行时由哪个供应商服务提供支持.

沉浸式 FlinkSQL 数据开发：自动提示补全、语法高亮、语句美化、在线调试、语法校验、执行计划、MetaStore、血缘分析、版本对比等 支持 FlinkSQL 多版本开发及多种执行模式：Local、Standalone、Yarn/Kubernetes Session、Yarn Per-Job、Yarn/Kubernetes Application 支持 Apache Flink 生态：Connector、FlinkCDC、Table Store 等 支持 FlinkSQL 语法增强：整库同步、执行环境、全局变量、语句合并、表值聚合函数、加载依赖、行级权限等 支持 FlinkCDC 整库实时入仓入湖、多库输出、自动建表 支持 SQL 作业开发：ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、Presto、SqlServer、StarRocks 等 支持实时在线调试预览 Table、ChangeLog、Charts 和 UDF 支持 Flink Catalog、数据源元数据在线查询及管理 支持实时任务运维：上线下线、作业信息

人力资源简历解析软件包括：简历的解析、存储、规则维护、图表分析。主要实现非格式化简历(word 、excel)的导入与导出（excel）；非格式化简历的解析与存储；简历规则的维护；人力资源的多维度检索与查看；人力资源的群体图表分析与反向查询；人力资源的个体图表分析。 本人负责该软件的前后端全部开发工作，同时负责该项目的互联网部署上线的全流程。

项目功能包含：基础功能、数据管理、开发环境、模型训练、模型管理推理服务、模型集市 技术亮点：云原生分布式Kubernates、Docker、Jupter-Notebook、Ceph、分布式训练-volcano、分布式训练-gang调度、分布式训练-共享gpu

主要是统计每个活动期间的分数，并形成聊天室、直播间等不同赛道内的主播榜单和分数 技术栈:rabbitmq+redis+spring boot

对采集的海量数据做实时处理及离线处理。 实现数据分析、挖掘。 现算法经验主要是车联网大数据相关的应用场景，可根据实际应用场景做相关开发。