Scala

我在项目中承担了以下任务，并使用了相应的技术栈： 数据处理任务： 负责设计和实现数据处理模块，使用了Apache Spark作为分布式计算框架，通过编写Spark程序对大规模数据进行高效处理。 技术栈： 编程语言：Scala（用于Spark编程） 分布式计算框架：Apache Spark 数据存储：HDFS 数据库：（如果适用） 成果： 通过数据处理模块的优化和改进，提高了数据处理的效率，使项目能够更快速、准确地生成分析报告，并为决策提供更及时的支持。 我在项目中承担了以下任务，并使用了相应的技术栈： 数据处理任务： 负责设计和实现数据处理模块，使用了Apache Spark作为分布式计算框架，通过编写Spark程序对大规模数据进行高效处理。 技术栈： 编程语言：Scala（用于Spark编程） 分布式计算框架：Apache Spark 数据存储：HDFS 数据库：（如果适用） 成果： 通过数据处理模块的优化和改进，提高了数据处理的效率，使项目能够更快速、准确地生成分析报告，并为决策提供更及时的支持。

Scrooge 是一个 Thrift 代码解析／生成器，能够生成 Scala 和 Java 代码。这就意味着，它能够取代 Apache Thrift 代码生成器，并能在 libthrift 上生...

ScalaMD 是 Scala 语言用来处理 Markdown 格式文档的库。 Maven: <dependency>     <groupId>org.fusesource.scalam...

RChain 项目正在建立一个去中心化的、经济的、抵制审查的公共计算基础设施和区块链。它将主持并执行通常被称为“智能合约”的计划。这将是可信的、可扩展的、并行的，具有POS共识和内容交付。 通过...

在线广告投放系统中十分重要的基础服务平台，包括模拟广告投放系统行为的仿真平台和支持在线流量分组的AB实验平台。 离线的仿真平台能通过回放历史的请求，能够仿真历史上任何一段时间内广告系统的行为。主要应用在理解解决疑难问题、新算法效果验证等方向。该系统的技术特点 - 高精度的仿真，基本1比1还原了生产环境的在线广告投放系统，投放效果误差在千分之几 - 低成本，支持数据蒸馏，同时支持时间加速，最少可以仅用1%的资源拟合线上全量系统的结果 - 完整的生态，构建了包括实验元信息管理、运行时资源管理、定制版的微服务基础架构等众多子系统 - 对业务代码友好，支持非侵入性的集成接入 AB实验平台通过切分用户流量，在线上系统进行分组实验。该系统的技术特点 - 支持流量复用，按层切分，通层之间流量互斥，不同层之间可以复用 - 对业务代码友好，支持非侵入性的集成接入 本人作为团队负责人，带领团队从0到1的搭建了这套广告实验平台。包括不限于， - 制定项目整体的规划，设计项目整体架构，确定技术选型 - 跨团队合作，讨论沟通业务边界，制定技术需求，确定接口、SLA等技术细节 - 指导团队成员设计子系统架构 -

IBN是基于意图驱动的网络智能分析平台，针对园区及数据中心网络，助力行业数字智能，系统涵盖网络设计与部署、策略管理、智能运维等整个网络生命周期。 整套系统采用mongdb、postgredb、es作为数据存储系统，kafka作为消息队列，saprk作为实时与离线计算引擎，spring boot作为为服务框架，通过k8s调度各个服务器容器，各功能模块以微服务形式部署于服务器内。 我主要负责大数据应用与微服务应用开发，在其中承担网络设计模块的微服务设计与后台开发，这部分功能包括新建网络的分区设置、网络模版设计以及业务网设计，也包括对现存网络的网络反演功能。 承担分析保证模块的网络故障诊断分析核心功能的设计与后台开发，这部分包括用户报障后的故障根因诊断与网络故障主动发现，主要通过采集到的设备基本数据、状态配置信息，以及实时报文流数据进行异常识别与发现，再结合智能算法以及专家经验库对网络异常事件进行关联分析，及时给出用户网络故障根因分析结论。

1、项目主要包括实时流量数据处理和历史流量数据处理两个大的部分，实时流量数据又涵盖上下行流量监控、关键服务器行为监控、基于规则的异常检测等模块，历史流量数据处理涵盖用户画像、用户群像、代理流量检测等模块。面向用户来说，系统可以以可视化的形式向用户展示所在网络环境的基本概况，包括出口流量大小、在线人数、web网站信息、dns服务器信息、邮件服务器信息、实时的安全事件等，对整个网络的基本情况有一个清晰的认知。 2、个人负责采用Spark框架对接Spark streaming以及HDFS实现流量数据解析、流量数据分析、数据库写入等功能，具体实现了关键服务器行为监控、用户画像、代理流量检测、用户违规登录行为检测等功能模块。同时采用Django框架和Echarts实现了前端的可视化。 3、项目难点主要在于大数据处理的数据倾斜问题、分布式读取写入问题等。

该项目用于同策实时数仓建设，主要包括数据入湖、数仓分层、数据集市和数据展现 1.基于数仓分层标准实现 ods/dwd/dws/ads 层间数据流转 2.基于 flink cdc+hudi+kudu 构建数据湖准实时架构、应用架构搭建、maven 分层和多环境部署(开源) 3.基于 hudi+impala+hive 构建数据湖批次架构、应用架构搭建、maven 分层和多环境部署(开源) 4.基于 cdas+flinksql+hologres 构建数据湖实时架构、技术调研和多环境部署(阿里) 5.基于 dataworks+hologres 构建数据湖批次架构、技术调研和多环境部署(阿里) 6..基于阿里云构建高可用、高性能、高并发数据湖架构 项目职责: 1.架构设计、架构评审、技术选型 2.项目搭建、项目分层、核心代码编写 3.代码质量把控、code review 项目业绩: 1.实现同策数据湖平台搭建并上线 2.实现同策数仓开发规范，包括分层规范、数据集市划分规范和数据流转交互规范 3.由传统的基于 java 代码开发的模式转换到 flinksql 开发模式，

主要是通过scala 读取mysql 的数据，对读取的数据通过spark进行数据分析，把分析的数据写入到数据库 整个项目都是我负责的

TransmogrifAI（发音为 trăns-mŏgrə-fī）是一个用 Scala 编写的 AutoML 库，它运行在 Spark 之上。它的开发重点是通过机器学习自动化加速机器学习开发人员...

1、获取数据集 2、使用linux环境进行数据分析和存储 3、使用springboot+mybatis+html+echarts实现前后端数据交互实现大屏展示 4、使用Hadoop大数据分析环境、saprk计算引擎、scala语言编码、hbase数据存储

labeled-RISC-V —— 标签化RISC-V项目 该项目基于 RocketChip 增加了标签功能, 给硬件请求打上标签, 赋予硬件区分, 隔离和优先化三种新能力。 目录结构： ....

Amandroid 是 Android 应用的静态分析框架，该框架对组件之间进行流和上下文敏感的数据流分析， Amandroid 框架灵活，且易于扩展于多种类型的 Android 安全分析。 目...

Akka 是一个用 Scala 编写的库，用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。 Actor模型并非什么新鲜事物，它由Carl Hewitt于上世...

- 主导构建离线数仓，汇集业务联机数据库和终端用户行为日志数据，实际数据过滤、治理、解析、集成、入库。 - 划分主题建设，为公司提供多种报表统计结果和业务系统技术支持。 - 提高数据处理性能，解决数据漂移延迟，实施数据脱敏和解析参数表的构建。 - 设计并维护多层次数仓结构，包括ODS、DIM、DWD、DWS和ADS层，优化数据仓库查询性能。 项目架构：Hadoop + Hdfs+Zookeeper + Mysql + Hive+clinkhouse+ElasticSearch +Azkaban+dataX+Spark+shull 项目流程： 数据采集： - 使用dataX从业务库同步全量和增量数据。 - 使用flume搭建数据传输网络。 数据分层设计： ODS层：存储未处理的源数据，保持一致性和追溯性。 DIM层：存储各种维度表，例如药品主数据、地区、生产单位、运力_站点等。 DWD层：清晰、规范化数据、采用维度建模理论。 DWS层：按主题轻度聚合数据，例如单位物资日聚合表，仓库自然月集合表，省市区储备表等。 ADS层：存放重要指标的结果数据，提供数据产品和服务。 报表开发：

1、项目针对数据分析中数据清洗、特征提取、统计分析常用的计算方法进行了固化，面向分析人员以规则化的语法形式实现快速的数据分析和结果输出，使用户拜托了定制化、重复性的代码开发工作。 2、在本项目中，个人首先完成了规则化语法以及算子的设计，同时采用akka框架实现了分布式多线程的并行计算，达到了单台128GB服务器实现10Gbps流量数据处理的效率。 3、本项目中的难点在于规则的设计；并行化效率。

Sangria 是 Scala GraphQL 的实现。 示例代码： {  "data": {    "hero": {      "name": "R2-D2",      "friend...

Indigo 是采用 Scala 编写、专门为函数式程序员打造的游戏引擎。它让游戏开发者能够使用一组专注于生产力和测试的纯函数式 API 来构建游戏。 Indigo 完全基于 Scala.js ...

1、项目面向使用者提供了针对结构化数据自动挖掘数据间关联关系的功能，如给定一个数据列表，发现其中会频繁出现的数据序列，从A出现时，必定B会在A出现之后出现 2、在本项目中个人采用MaxSP算法实现了针对序列数据库的频繁项挖掘功能，并采用图数据库的形式对结果的关联关系进行了展示

该项目是针对生产数据量较大，月结期间，需要对数据进行批量计算并生成财务报表或相关报表数据用作公司经营情况分析 涉及大数据相关知识，hadoop，hive,spark，sparksql，java,scala等技术，linux相关技术，数据每日从oracle应用数据库同步至数仓,应用配置定时调度任务，由应用调用spark进行跑数，并将结果展示在页面上 我这边主要负责spark应用的编写，提供基础调用接口和日志结果分析等接口供系统调用