熟练掌握Spark 技术体系中的Spark  Core基础、Spark  SQL、Spark  Streaming，清楚Spark 的计算流程,RDD、算子操作等，熟悉Kafka与Spark 的整合及其原理，熟悉Spark 的性能调优，解决数据倾斜问题；

熟练掌握Hadoop，熟悉HDFS架构，功能模块，原理及优缺点，熟悉MapReduce框架的计算流程及原理，可以运用对应的API进行日常业务代码的编写；

             熟练掌握Hive，清楚分区、分桶、索引、视图等机制；能够对其进行优化，并解决常见的数据倾斜问题；

             熟练掌握HBase，熟悉其架构原理，能够搭建HBase平台；掌握HBase的表设计，能够解决HBase的常见问题，如预分区，热点问题；

            掌握Flume的组成结构及使用，能够通过配置运用Flume对多种场景的数据进行收集搬运；

             掌握Sqoop的架构及使用，可以通过配置实现MySQL、HBase之间的数据搬运；

             掌握Kafka的组织架构、集群配置，可以通过Flume配置事件Flume和Kafka的整合，可以对Kafka的重复消费和数据丢失问题进行优化；

             熟练掌握Java的相关知识，了解JVM内存模型；

熟练使用常见的Java Web框架，如 SpringMVC，Spring，Mybatis；

熟悉ElasticSearch、Lucene；

   熟悉Scala、Python相关知识熟悉Linux系统，能够编写简单shell脚本，Python脚本