所用技术：Hbase、Kudu、Elastic Search6/7、Hive、Kafka2、HDFS、Postgresql、
Mysql、Oracle、Impala、Cassandra、Redis
开发工具：IDEA, Linux,Git,Maven
项目说明:
当前大数据技术部开发的数据处理工具种类繁多，而每类工具的实现方式又不尽相同，但是功能上基本一致，都是为了实现加载数据、处理数据、写入数据等功能，导致人员重复投入，模块重复开发，浪费了不必要的资源。本系统旨在将各类处理数据的工具实现的逻辑方式统一、抽象成不同的数据处理引擎（如处理海量数据的spark引擎、处理少量数据的dpc引擎、处理实时数据的flink引擎以及其他处理数据方式如shell脚本、python、sql等方式）、能够让各类数据处理的方式对外统一，达到部门在其他组件在选择数据处理工具时能够面对一个统一数据处理工具，从而降低数据处理工具的使用难度，并且减少维护成本和资源投入的目的。
责任描述(担任开发)：
1. ⽀持丰富的IO(存储介质读写)能⼒，IO包含主流数据库如(Hbase、Kudu、Elastic Search7、Hive、Kafka2、HDFS、Postgresql、
Mysql、Oracle、Impala、Cassandra、Redis)等
2. ⽀持认证鉴权，如Kerberos认证和ranger的鉴权体系.
3. 开发少量数据处理的albatis-io及海量数据处理的albatis-spark-io.
4. 推⼴给其他部门同事使⽤,反馈效果符合领导预期.