项目架构 : Finereport+Kettle+Postgresql+Redis+Jetty 项目描述 : 荷德曼数据决策平台通过数据收集、数据维护、数据统计、数据分析、数据指导等五个方面对猪场提供精准化、高效化管理，对猪场的生产进行更加针对性的整改，促进猪场产 能提升，为助推养猪产业发展梦想实现的新动力 个人职责 : 【数据采集】 -按照公司硬件部门自定义物联网通信协议方案，进行符合标准的采集程序开发，服务器开放监听端口将设备所产生的数据进行收集。并解密存储至数据库 -为部分个别设备单独部署采集程序定时将各个设备所产生的数据统一上发至服务器完成现场数据采集 【离线统计】 -编写kettle脚本，按年、月、周、天完成各生产环节不同阶段所产生数据的etl和离线统计业务，按场景合理规划调度；对已开发脚本及表数据的准确及时性维护 -按需求完成对应的软件功能开发和相关业务的数据接口开发 【报表开发】 -基于Finereport工具完成相应的移动和PC端的报表开发(填报、分析、决策)

项目架构 : kafka、flume、flink、spark、hive、hbase、sqlserver、zookeeper、yarn、hue 个人职责 : 【集群维护】 -解决CDH集群下Hadoop及其他组件在测试过程中出现的各种问题异常和新环境配置问题等引起的不可用排调 【实时报表】 -产线iot传感器数据采集打包发送至kafka主题，Flink实时消费kafka数据进行计算。 -使用rocksDB对中间计算结果进行缓存，实时变更，使用会话窗口将一个session的数据进行实时汇总 -完成温湿度、工艺(加料指标、烘丝指标、掺配加香指标、指标预警等)、维修、设备指标等报表的统计 【集群、服务搭建】 -CDH集群管理服务搭建、基于CDH的Hadoop生态和第三方服务的部署和配置 【离线统计】 -基于spark sql对数据做ETL、加载、清洗操作 -进行追缴、收缴比率和流水金额等经营主题类报表指标统计 -包含"公司名称","物业区域","物业项目名称","物业项目编"等物业相关的项目应收实收账款、当年或本月累计 统计金额、代付冲抵金额、环比同比统计金额 -完成离线任务委托、调度任务管理

项目架构 : spark、yarn、hbase、redis、sqlserver、zookeeper、az、hue 个人职责 : 【数据迁移】 -TB级数据迁移,Hbase新旧集群数据表跨服务器迁移恢复 【Hbase优化】 -Hbase旧集群版本较低，部分API等服务过时影响效率。由0.99.2升级至2.1.0版本，并对原代码API进行修改 -Hbase数据存储优化。预分区、Rowkey合理化规则设计 -读取hbase修改rowkey后以Hfile格式写到hdfs，再以Bulkload方式批量写入Hbase新结构表各个分区 【离线报表】 -ERP系统将各城市日立电梯运行的门机设备及日常使用寿命等数据进行采集，按时写入hbase数据库。 -Spark读取Hbase数据进行离线分析，将计算结果先写入Redis做缓冲，最终写入SqlServer -完成ELS、CA、主、副门电梯运行轨迹门机预诊断 -电梯运行电流、电压不同负载运行、使用统计 -对异常特殊数据进行标记，并关联明细