项目名称：移动终端上网数据离线分析处理系统（电信项目）(2016.01-2016.07) 开发环境：Eclipse、Jdk1.7、Maven 主要技术：HDFS、Mapreduce、Hive、Spark、SparkStreaming、Sqoop、Impala、Oozie 项目介绍： 数据源端通过ftp服务将用户上网记录以文件的形式，上传到我们的采集机对应的目录下，通过脚本定时将数据Put到Hdfs上。 编写MapReduce对电信的离线话单数据进行分析，统计用户使用业务（流量套餐、话费套餐、铃声套餐等）情况，感知用户使用行为和使用习惯，确定移动业务推广走向的一套系统。使用Oozie调度。主要统计的指标有： 1、通话时长和流量统计，最长延迟1小时。 2、app下载Top N排名，每小时统计一次。 3、业务使用量实时统计，完成业务使用量实时排名和预警。 职责描述： 1、编写shell脚本，将用户上传到采集机上的原始数据上传到hdfs上。 2、编写MapReduce代码对hdfs话单流量数据进行统计。 3、编写Spark代码离线计算App下载排名。

项目名称：网站日志分析系统(2016.08-2017.04) 开发环境：Eclipse、Mysql、Maven、Jdk 主要技术： 实时：Storm、Kafka、Mysql 离线分析：Flume、Hdfs、MapReduce、Redis、Hive、Sqoop、kettle、Mysql 项目介绍： 根据网站的Access、UGC日志，分App维度、总的，离线统计每天的UV、PV、登录人数、次日留存和七日留存。根据用户实时产生的UGC日志，分App维度、总的，实时统计用户每分钟一次的充值和消费情况 。 离线分析：整个离线处理流程使用kettle监控任务并调度。 1、数据采集：将用户的Access、Ugc等日志通过Flume采集，按天和业务分目录存储到HDFS上。 2、数据清洗：每天定时通过MR清洗前一天的原始日志数据，Load到Hive表中。 3、数据分析：编写Hive语句和Shell脚本统计指标，并将统计之后的指标使用Sqoop导入到Mysql，使用Kettle将Mysql中与hive表对应的各个维度表整合到一张报表 实时统计： Web服务器实时发送用户的消费、充值数据到Kafka集群，Storm使用KafkaSpout去Kafka中实时消费数据，然后每分钟计算统计结果并存入Mysql中。 职责描述： 参与前期项目分析，负责编写MR对原始数据清洗并加载到Hive表。负责编写hive 语句，shell脚本对离线数据处理。

项目名称：实时处理平台(2017.05-2017.11) 开发环境：Eclipse、JDK1.7 主要技术：Log4j、Flume、Kafka、Storm、Mysql、Hbase 项目介绍： 监控比价项目中爬虫的爬行能力、每天的抓取数量、抓取一个网站需要的时间、还 有抓取失败的商品数据等指标信息，项目中使用Flume、Kafka、Storm实现一个流式处理 平台。 项目主要分5个模块：日志数据收集层、数据缓存层、数据处理层、指标展现层、 数据备份层。 1、日志数据收集层：在每台爬虫机器上部署一个Flume Agent，负责采集爬虫日志 信息，并发送给Kafka集群。 2、数据缓存层：使用Kafka接收Flume的日志信息并缓存，等待Storm处理。 3、数据处理层：主要是Storm实现，对日志信息处理，统计关键性指标做汇总，定时的存入MySql中，供Web界面统计出图表。 4、指标展现层：主要使用Echarts出图表。 5、数据备份层：目的是对爬虫的原始数据进行备份。 项目问题： Storm重复消费数据问题，Storm和Kafka整合log4j实现冲突问题，为了提高Storm Bolt并行度在最终汇总出现数据不一致问题，使用zookeeper分布式共享锁解决。 职责描述：负责平台环境搭建，编写Storm代码统计具体的指标存入Mysql。