Scala

Scala 是一门类 Java 的编程语言，它结合了面向对象编程和函数式编程。Scala 的设计目的是要和两种主流面向对象编程语言 Java 和 C#实现无缝互操作，这两种主流语言都非纯面向对象。Scala运行在Java虚拟机上，并兼容现有的Java程序。Scala 源代码被编译成Java字节码，所以它可以运行于JVM之上，并可以调用现有的Java类库。

1.组件:dinky,kyuubi,hadoop,flink,spark,paimon,spring cloud 2.开发hadoop-platform平台，对上述组件进行整合，使95%的业务通过sql即可解决问题,通用功能，通过sql与scala混合开发定制，实现sql也可解决特定领域问题，db工作人员方便上手，大幅度减少开发人员开发成本 3.使用flink ogg 实现表实时入库(paimon) 4.支持dbeaver、命令行、接口 连接方式

支撑日活9000W+用户短信的稳定，保证服务可用性达99.9%。 负责富媒体短信和智能短信商业化需求的开发交付及后期的维护。 负责短信审核后台、代理商管理后台需求的开发交付。

根据政务部门需求对XXXX十大业务数据进行数据采集接入到大数据平台，对接具体业务模块，按业务要求进行数据抽取、清洗换转、合并到hive数仓，形成基础库、主题库、专题库等进行数据治理，最终输出到下游MPP数据库，由springboot微服务提供接口服务，将数据输出展现到分析系统页面

一种处理互联网营销跨渠道数据实时生成智能简报的系统，其特征在于：包括数据中心、数据智能聚合模块、数据集市业务模型数据表单存储管理模块、数据智能分析计算模块、数据智能简报生成模块和数据智能简报分发模块，所述数据中心用于连接外部数据源并进行数据收集和存储，所述数据智能聚合模块用于对数据中心中存储的数据进行聚合分析，所述数据集市业务模型数据表单存储管理模块用于对聚合分析后的数据进行分类存储并建立索引表单，所述数据智能分析计算模块用于对分类存储的数据进行分析处理，所述数据智能简报生成模块用于将数据及分析处理结果生成图文简报，所述数据智能简报分发模块用于对生成的图文简报进行输出报送分发。

自建的大数据中台系统： 数据中台将通过大数据开发技术，将数据采集，数据清洗、数据存储、数据分析和数据呈现等流程打通，实现亿级数据进行高并发、秒级的分析处理，通过配置化预警指标和标准化的SQL语法，实现复杂的线上OLAP分析场景。 有中台源码，可以定制化开发 可以搭建对应的背后大数据服务：Hadoop、Flink、spark、hive、clickHouse、Flink cdc等，实现自运维

本项目是与公安交通管理综合应用平台、机动车缉查布控系统等对接 的，并且基于交通部门现有的数据平台上，进行的数据实时分析项目。 主要模块包括：实时卡口监控分析、智能实时报警、实时车辆布控等。 我主要负责项目环境搭建、实时卡口监控分析模块开发。

大数据服务平台 ibp 是一个面向内部的数据系统,包含数据输出任务创建,数据任务调度,模型文件管理,数据仓库质量监控等功能 【1】 数据输出任务创建 ,是基于数据仓库的ads层输出表,方便的创建各种类型的数据输出任务,包括邮件任务,短信任务和不复杂的数据接口 【2】 数据任务调度是基于 quartz 开发的调度功能,方便内部人员对数据任务进行调度安排 【3】 模型文件管理 是方便数据科学家团队针对数据研究结果 pmml 文件进行管理, 更好的与开发团队协作 【4】 数据仓库质量监控是针对数据仓库的 etl任务, 数仓任务等进行质量监控,出现数据异常时进行快捷的排查 我负责了大数据服务平台的整体设计,后台开发与前端开发 本系统开发的难点在于数据输出任务与数据仓库的对接,需要考虑 dws 层或 ads 层的表设计,来适配更多的数据任务

1.对水质，空气，尾气，走航车，等多种数据源的采集。 2.采集数据存储分析，aqi，空气质量预测，沙尘天预测。 3.数据资产管理，分析。

1.解决海量数据统一入湖，统一管理。 2.解决数据孤岛、数据冗余、数据隔离及权限安全等控制。 3.解决大数据流批一体的计算场景，紧耦业务平台。 4.统一数据分发、数据服务，做到有质量有保障的数据支持。 5.提供优质、便捷、智能的Web UI一体化操作。

项目描述： 营销云涵盖了包括百度、快手、腾讯、阿里、小米在内的多家主流媒体营销资源。包含：Atomic-账户管理平台、 OTD-批量广告创建平台、OIDB-跨渠道智能数据仪表盘、Ovation-创意聚合平台、AU-数据智能平台。实现了高效的全链路跨渠道广告营销和管理。 数据时效性问题：广告展点消之类表现数据是实时变化的，业务数据支持对数据实时性要求至少做到T-1级别，部分核心展点消数据需要做到小时T-1级别，加上数据来源多，数据类型多， 异构的数据同步程序问题繁多， 数据同步压力异常艰巨。 数据体量问题：庞大且杂乱的数据管理和使用是营销云的核心。8家主流媒体，即使排除视频、图片等数据，每年同步过来的各类报表大概就有10TB+。包含视频图片等素材每年新增数据量都是百TB级别的。 数据库读取问题：业务采用的是mysql数据库， 无法支撑ETL的大规模读取。 数据完整性，一致性等数据质量问题：业务中大量的数据来源于运营和销售的录入，数据质量高度依赖人员的素质。 个人职责： 项目进程的推动角色。 1.采用‘状态机’思路，推动并协助实现全自动化的媒体数据同步方案，解决复杂的数据同步问题。 2.

1.负责银行经营分析平台、费用项目管理平台两大平台的数据需求分析、数据建模、数据开发，主要完成贷款、分期、多维分析模块 2.负责大数据平台的整体开发（数据分析、数据抽取、hive数仓4层加工、MPP数据库、springboot微服务输出） 3.各类小工具开发，节省人工成本

1.大气环境数据进行多维度采集。 2.采集数据存储分析,大模型预测。 3.多维度展示数据，对接其他业务平台，。 4.管理大量的数据资产

一、项目模块与功能 本电商推荐系统项目主要划分为以下几个模块，每个模块都承载着特定的功能，旨在为用户提供个性化的购物体验。 数据收集与处理模块： 功能：负责收集用户的浏览、购买、评价等行为数据，以及商品的基础信息。 对使用者来说：用户无需直接操作此模块，但其收集的数据是后续推荐算法的基础。 用户画像构建模块： 功能：根据收集到的用户数据，构建用户画像，包括用户的兴趣、偏好、购买习惯等。 对使用者来说：用户画像的构建使得推荐结果更加符合个人喜好，提升购物体验。 推荐算法模块： 功能：运用协同过滤、深度学习等算法，基于用户画像和商品信息生成推荐列表。 对使用者来说：用户可以在首页或商品详情页看到系统为其推荐的商品。 实时更新模块： 功能：实时收集和处理用户行为数据，确保推荐结果的实时性和准确性。 对使用者来说：用户可以随时感受到推荐结果的变化，看到最新的、符合自己喜好的商品。 前端展示模块： 功能：为用户提供美观、易用的界面，展示推荐商品、商品详情等信息。 对使用者来说：用户可以通过该模块方便地浏览商品、查看商品详情、进行购买等操作。 二、我的任务与技术栈 在我负责的部分中，我主要负

分为两个模块 模块一 我的世界，可以创建我的世界，我的世界里有我还有世界 模块二 我的牛肉面，可以创建我的牛肉面，我的家里有我还有牛肉面

一、项目简介 随着企业业务的不断扩展，数据量的快速增长使得数据的处理、存储和分析面临前所未有的挑战。为了更好地利用这些海量数据，企业数据入湖项目应运而生。本项目旨在构建一个高效、可靠、可扩展的数据入湖平台，通过Hudi数据湖技术以及其他大数据组件，实现数据的实时采集、清洗、转换和存储，为企业提供一站式的数据解决方案。 二、项目模块与功能 本项目主要划分为以下几个模块，每个模块都具有特定的功能，以满足企业的不同需求。 数据采集模块：该模块负责从各种数据源（如数据库、API、文件等）中实时或批量采集数据，并将其传输到数据湖中。数据采集模块支持多种数据格式和数据源类型，确保数据的全面性和完整性。 数据清洗模块：在数据进入数据湖之前，该模块负责对原始数据进行清洗和去重，消除数据中的噪声和错误，提高数据质量。数据清洗模块能够自动识别和修复缺失值、异常值、重复值等问题，确保数据的准确性和一致性。 数据转换模块：清洗后的数据需要转换为适合存储和分析的格式。该模块支持多种数据转换方式，如数据压缩、加密、格式转换等，以满足不同的存储和分析需求。同时，该模块还支持数据的实时转换，确保数据的实时性和

实时营销平台是用于实时监控、分析和响应市场趋势和消费者行为的工具。其主要功能包括： 1. 事件配置与管理：构建事件源接入，原子事件解构，事件实例分群能力，提供可视化的配置与管理界面。 2. 事件营销监控：事件源采集到营销活动执行效果评估端到端指标展现、事件实例实时捕获和推送监控、以及构建灵活的营销活动执行过程指标监控告警配置能力，满足营销管控人员个性化、多样化的指标监控需求。 3. 全天候平台实时监控：针对标签数据异常波动、异常账期等问题进行短信告警，以便人工快速介入干预。

项目介绍: 对传统污水处理厂管理方式进行改进，开发一个基于现代网络技术和数据分析技术的城市污水信息系 统 技术选型:前端使用Echarts和Bootstrap框架进行可视化设计使用HTML5和vue组件进行页面开发；后端技术栈 MyBatis+SpringBoot+MySQL+Git+Maven。使用Kafaka与Spark进行数据清理和数据分发 1、数据解析和分发：使用Jsoup工具,获取网页数据，同时使用Spark进行数据处理，可以快速有效地对大量的污 水数据进行处理和分析；通过Kafka与Zookeeper处理Jsoup发送的数据，并传回到Scala程序；基于搭建Kafka和 Zookeeper环境下进行数据分发功能； 2、数据处理部分：用spark框架，在scala项目中，基于StructuredStreaming执行环境，进行数据处理。结合 spark和kafka可以实现大规模、高速、实时的数据处理能力。 3、信息可视化：前端页面设计基于HTML和vue组件，同时以Bootstrap为模版，通过ECharts框架完成页面的布 局和可视化展示 4、配置和管理：利用Mybatis

1.该产品是大数据数据中台，面向大数据开发、产品、运营、业务等人员； 2.该方案特点是风格美观，直观便捷，性能高效，功能稳定； 3.完善的RPAC权限系统，和企业微信SDK，skywalking全链路日志监控平台和前后端分离，服务端微服务架构。

车厂实时数据ETL，数据标准化，车辆充电, 放电, 静置切程，TPS为4000条/10s T+1离线数仓计算 基于实时ETL落盘的明细数据，重新切程。 应用pyspark，python，pandas进行电池分析 : 基于明细数据计算一致性压差预警 基于明细数据计算soc跳变预警 基于明细数据计算SOC虚高，SOC虚低 基于明细数据计算绝缘预警 实时热失控告警 车辆能耗分析 长期/短期自放电率分析

项目描述： 本实验项目抓住新媒体广告实验教学中最复杂的投放环节，克服广告真实投放实验困境，依托大数据、云计算、人工智能等信息技术，运用虚拟仿真、软件定义等多种形式再建新媒体广告生态圈与程序化投放全流程，集合广告投放四大端，即广告主、广告公司、媒体、受众，及其相关岗位角色，植入新媒体广告最核心的知识点，即技术、原理、方法、产业结构和行业术语，构建了一个“既立足于现实、又有行业前瞻、虚实互补互促、线上线下结合”的实验教学系统，实现了新媒体广告投放教学的智能化云端化和“理、虚、实”一体化，满足了多端多岗、全流程、数据化、时空融合、师生互动、高并发等虚拟仿真实验要求。 主要涉及人群画像构建、网站Session构建（实时+批处理） 个人职责： 1.批处理方案进行人群画像构建 2.Spark streaming读取kafka日志构建实时网站Session 3.多岗位角色数据一致性保证 4.作为项目负责人，和高校老师进行对接， 包括等保2.0，优化迭代，推广等各类事宜。