研究了工程领域上数据采集，数据同步技术。 研究了数据缓存队列 Kafka，Hive，Hbase 相关技术。 运用 Filebeat 和 Sqoop 技术，实现了数据采集和数据同步的功能，得出该技术在电商客户数据分析系统中具有可行性的结论。并且利用 Linux 文件硬连接解决日志丢失的问题。
评论