项目名称：移动终端上网数据离线分析处理系统（电信项目）(2016.01-2016.07)
开发环境：Eclipse、Jdk1.7、Maven
主要技术：HDFS、Mapreduce、Hive、Spark、SparkStreaming、Sqoop、Impala、Oozie
项目介绍：
数据源端通过ftp服务将用户上网记录以文件的形式，上传到我们的采集机对应的目录下，通过脚本定时将数据Put到Hdfs上。
编写MapReduce对电信的离线话单数据进行分析，统计用户使用业务（流量套餐、话费套餐、铃声套餐等）情况，感知用户使用行为和使用习惯，确定移动业务推广走向的一套系统。使用Oozie调度。主要统计的指标有：
1、通话时长和流量统计，最长延迟1小时。
2、app下载Top N排名，每小时统计一次。
3、业务使用量实时统计，完成业务使用量实时排名和预警。
职责描述：
1、编写shell脚本，将用户上传到采集机上的原始数据上传到hdfs上。
2、编写MapReduce代码对hdfs话单流量数据进行统计。
3、编写Spark代码离线计算App下载排名。