1 平台介绍 Davinci 是一个 DVaaS（Data Visualization as a Service）平台解决方案，面向业务人员/数据工程师/数据分析师/数据科学家，致力于提供一站式数据可视化解决方案。既可作为公有云/私有云独立部署使用，也可作为可视化插件集成到三方系统。用户只需在可视化 UI 上简单配置即可服务多种数据可视化应用，并支持高级交互/行业分析/模式探索/社交智能等可视化功能。 3 设计理念 围绕 View（数据视图）与 Widget（可视化组件）两个核心概念设计 View 是数据的结构化形态，一切逻辑/权限/服务等相关都是从 View 展开。 Widget 是数据的可视化形态，一切展示/交互/引导等都是从 Widget 展开。 作为数据的两种不同形态，二者相辅相成，让用户拥有一致的体验和认识。 强化集成定制能力和智能社交能力 集成定制能力指无缝集成到三方系统，并提供强大的定制化能力，使其和三方系统融为一体。 社交智能能力指共享优秀的数据可视化思想，激发用户对数据可视化表达能力和艺术美感的追求，同时也使 Davinci 更加智能的引导和提高用户的数据可视化能力。 在数据可视化领域里，Davinci 重视基础的交互能力和多种多样的图表选择能力，同时更加重视集成定制能力和社交智能能力。 4 功能特点 数据源 支持多种 JDBC 数据源 支持 CSV 数据文件上传 数据模型 支持友好 SQL 编辑器进行数据处理和转换 支持自动和自定义数据模型设计和共享 可视化组件 支持基于数据模型拖拽智能生成可视化组件 支持各种可视化组件样式配置 支持自由分析能力 数据门户 支持基于可视化组件创建可视化仪表板 支持可视化组件自动布局 支持可视化组件全屏显示、本地控制器、高级过滤器、组件间联动、群控控制器可视组件 支持可视化组件大数据量展示分页和滑块 支持可视化组件 CSV 数据下载、公共分享授权分享以及可视化仪表板的公共分享和授权分享 支持基于可视化仪表板创建数据门户 数据大屏 支持可视化组件自由布局 支持图层、透明度设置、边框、背景色、对齐、标签等更丰富大屏美化功能 支持多种屏幕自适应方式 用户体系 支持多租户用户体系 支持每个用户自建一整套组织架构层级结构 支持浅社交能力 安全权限 支持 LDAP 登录认证 支持动态 Token 鉴权 支持细粒度操作权限矩阵配置 支持数据列权限、行权限 集成能力 支持安全 URL 嵌入式集成 支持 JS 融入式集成 多屏适应 支持大屏、PC、Pad、*移动端等多屏自适应 5 场景支持 安全多样自助交互式报表 一次配置即可实现可视组件高级过滤、高级控制、联动、钻取、下载、分享等，帮助业务人员快速完成对比、地理分析、分布、趋势以及聚类等分析和决策。 自动布局的 Dashboard（仪表板），适用于大多数通过快速配置即可查看和分享的可视化报表。 自由布局的 Display（大屏），适用于一些特定的、需要添加额外修饰元素的、长时间查看的场景，通常配置这类场景需要花一定的时间和精力，如“双11”大屏。 实时运营监控 实时观察运营状态，衔接各个环节流程，对比检测异常情况，处理关键环节问题。 透视驱动与图表驱动两种图表配置模式，满足不同的应用场景需求。 快速集成 分享链接、IFRAME 或调用开发接口，方便快捷地集成到三方系统，并能够支撑二次开发与功能拓展，充分适应不同业务人员的个性化需求，快速打造属于自己的数据可视化平台。 6 Davinci 0.3 与 0.2 的区别 五个重大变化 打通了数据可视化全流程协作模式 打通了用户体系和权限体系 打通了数据模型和自由分析 打通了透视驱动模式和图表驱动模式配置可视化组件 打通了自动布局和自由布局支持各种可视化应用 在功能上具体的变化 全新协作流程 多出“项目”的概念，Davinci 0.2 的 Source、View、Widget、Dashboard、Schedule 都从属于一个“项目”，Dashboard 这一层命名为“可视化应用”，Dashboard 属于“可视化应用”里其中的一种。 全新用户系统 在 Davinci 0.2 中，用户权限围绕超级管理员和普通用户展开。Davinci 0.3 里用户角色不再分管理员和普通用户，每个用户都是平级的，都可以创建组织和团队，组织和团队拥有对项目进行浏览、添加、修改、删除、点赞以及收藏等操作权限，组织可以转交拥有者，团队可以转交维护者。通过这个系统既能完全实现用户权限控制，同时又拥有了社交化。 数据模型与自由分析 对于用户配置好的数据视图，Davinci 0.3 可以为其自动生成数据模型，数据模型里将字段分作“维度”和“指标”两种类型，用户也可以手动指定维度和指标。在 Widget 内支持用户对指定的维度进行自由钻取，方便用户进行数据探索分析工作。 全新 Widget 编辑器 在 Davinci 0.3 中，用户通过预先配置好的数据模型，在 Widget 编辑器中可以选择想要显示的维度和指标，编辑器自动推荐出适合用来可视化的图形。可以通过颜色对字段进行分组编码。 全新可视化应用 Display 在 Davinci 0.3 中，可视化应用里除了包含之前的 Dashboard 外，还多了 Display。Display 支持用户将 Widget 以自定义布局和背景的方式放置到画布中，同时 Display 本身也支持自定义尺寸和背景，在多种搭配之下用户可以自己打造多样化的可视化应用。

背景 无论是互联网应用或者企业级应用，都充斥着大量的批处理任务。我们常常需要一些任务调度系统帮助我们解决问题。随着微服务化架构的逐步演进，单体架构逐渐演变为分布式、微服务架构。在此的背景下，很多原先的任务调度平台已经不能满足业务系统的需求。于是出现了一些基于分布式的任务调度平台。这些平台各有其特点，但各有不足之处，比如不支持任务编排、与业务高耦合、不支持跨平台等问题。不是非常符合公司的需求，因此我们开发了微服务任务调度平台（SIA-TASK）。 SIA是我们公司基础开发平台Simple is Awesome的简称，SIA-TASK（微服务任务调度平台）是其中的一项重要产品，SIA-TASK契合当前微服务架构模式，具有跨平台，可编排，高可用，无侵入，一致性，异步并行，动态扩展，实时监控等特点。 项目简介 SIA-TASK是任务调度的一体式解决方案。对任务进行元数据采集，然后进行任务可视化编排，最终进行任务调度，并且对任务采取全流程监控，简单易用。对业务完全无侵入，通过简单灵活的配置即可生成符合预期的任务调度模型。 SIA-TASK借鉴微服务的设计思想，获取分布在每个任务执行器上的任务元数据，上传到任务注册中心。利用在线方式进行任务编排，可动态修改任务时钟，采用HTTP作为任务调度协议，统一使用JSON数据格式，由调度中心进行时钟解析，执行任务流程，进行任务通知。 微服务任务调度平台的特性 基于注解自动抓取任务，在暴露成HTTP服务的方法上加入@OnlineTask注解，@OnlineTask会自动抓取方法所在的IP地址，端口，请求路径，请求方法，请求参数格式等信息上传到任务注册中心(zookeeper)，并同步写入持久化存储中，此方法即任务; 基于注解无侵入多线程控制，单一任务实例必须保持单线程运行，任务调度框架自动拦截@OnlineTask注解进行单线程运行控制，保持在一个任务运行时不会被再次调度。而且整个控制过程对开发者完全无感知。 调度器自适应任务分配，任务执行过程中出现失败，异常时。可以根据任务定制的策略进行多点重新唤醒任务，保证任务的不间断执行。 高度灵活任务编排模式，SIA-TASK的设计思想是以任务为原子，把多个任务按照执行的关系组合起来形成一个作业。同时运行时分为任务调度中心和任务编排中心，使得作业的调度和作业的编排分隔开来，互不影响。在我们需要调整作业的流程时，只需要在编排中心进行处理即可。同时编排中心支持任务按照串行，并行，分支等方式组织关系。在相同任务不同任务实例时，也支持多种调度方式进行处理。

 项目描述 SIA-GATEWAY 是基于SpringCloud微服务生态体系下开发的一个分布式微服务网关系统。具备简单易用、可视化、高可扩展、高可用性等特征，提供云原生、完整及成熟的接入服务解决方案。  系统特点 1. 简单易用, 支持基于Docker容器的快速部署及交付。 2. 兼容性良好, 兼容SpringBoot微服务及传统HTTP-URL的负载均衡及路由服务。 3. 高可扩展性, 支持基于Java语言的第三方插件扩展特性及动态加载机制。 4. 支持多租户，多用户角色下的网关拆分管理。 5. 可视化管理，提供实时路由拓扑、网关集群拓扑展示功能。 6. 服务治理，支持网关集群Dashboard、实时日志、历史日志查询、熔断管理、预警管理等功能。 7. 多注册中心支持，提供分布式网关集群下对多注册中心集群的切换管理功能。 8. 动态路由组件绑定机制，提供包括URL统计、日志、灰度发布、限流、安全等公共服务组件。  技术栈 1. 语言：Java、Shell。 2. 开发框架：SSM、Spring Boot、Spring Cloud。 3. 日志管理：Kafka、 Elasticsearch、Kibana、Zookeeper。 4. 数据库：Redis、Mysql。 5. 应用容器：Docker、Vmware。 6. 目前该网关平稳服务于15个公司项目，路由总量为300多条，访问量月840万次/日。  我的责任 1. 参与Sia-Gateway的架构和数据模型的设计 2. 负责 Sia-Gateway监控和配置端相关代码的开发 3. 提出了《Sia-Gateway 实时感知生产者下线》的设计思想并实现 4. 负责 Sia-Gateway日常代码维护及新版本的发布 5. 对接 Sia-Gateway 业务使用方，通过对其业务了解，提出自己的见解，解决用户的问题，完善 Sia-Gateway 系统。