项目主要包含以下功能： 1. 自动收集11个线上Hadoop集群的基础信息，包括最新的版本、配置文件、HBase表详情、HDFS目录详情、支持的服务等信息，以供用户与DBA快速查阅； 2. 监控HBase性能数据，并通过计算得到表的大小增长速度、读写速度、Region分布等信息，以协助用户与DBA快速定位问题； 3. 提供用户自助提交HBase DDL以及HDFS目录操作脚本的功能，系统通过语法检查、规范检查、权限检查、传染性检查、审批、限流、定时等手段在保障安全的同时，替代了原本的用户通过邮件交互提交需求的流程，为用户与DBA至少提升效率在90%以上； 4. 根据用户的提交的脚本，自动分析关联表与项目之间的关系，为传染性检测生成参考数据； 5. 提供插件功能，DBA可自定义可运行工具程序，系统会自动解析配置文件，并生成对应的表单界面以供其快速操作； 6. 项目管理、邮件管理、用户管理、权限管理等功能 项目主要基于Spring、Spring MVC、MySQL、SQLServer等技术或框架开发; 该项目自上线以后，使原先需要DBA协助的关于Hadoop相关的工作降低了90%以上，并获得公司2017 Q1优秀项目。

描述： 该项目旨在为公司的开发人员提供一个通用的、在线且实时的数据异构同步平台，目前的主要实现为将 SQLServer 中的数据在线实时或离线同步至 HBase 之中。在平台中，用户只需要进行简单的配置，便可实现数据同步的功能。除此之外，整个平台的主要功能与特点还包括： - 使用流式数据传输，支持限流（速度控制）； - 数据同步性能指标实时监控； - 读与写组件支持多任务运行； - 核心同步器节点相互隔离且支持动态横向扩展； - 支持一对多数据同步（单个 SQLServer 数据同步至多个 HBase 集群），且能保证数据的最终一致性； - 支持可扩展的同步器组件（监听器、读取器、写入器）； - 用户友好且易于操作的前端管理平台； - 方便的持续集成与项目发布与管理平台； - 同环境下，各组件均为单线程的情况下可达 14000 行每秒的同步速度，多线程高于 20000 行每秒（约 10 cloumn * 10 bytes 大小每行）； 实现概述： 项目主要使用 Angular、SpringBoot、Docker、ETCD、MessageQueue、SQLServer、HBase 以及公司自研的 docker 容器管理平台 Humpback、自动化 CI/CD 平台 Gensis、基于 Nginx + Redis 的网关服务 ApiGateway、基于 Mongodb 的云存储服务 CloudData、基于 Zookeeper 的配置中心 ConfigSever 等技术或服务。项目主要分 console、portal、core、master、hbaseWriter 等节点，并采用分布式部署在 docker 集群中。