项目描述：为客户提供产品数据一键搬家服务，完成对公司全网通，视频官网，小渔夫等客户的建站需求项目模块：数据加工，数据可视化，业务端数据清洗技术描述：Elasticsearch+HBase+Celery+Python+Django+uWSGI+K8s+Docker+Redis责任描述：搭建数据采集，数据加工，数据业务推送的分布式架构1、搭建 Dockerfile 部署的镜像、容器启动执行指令、构建特殊业务环境，实现 K8s 集群弹性调动数据采集容器和数据加工容器；2、Redis 构建任务状态缓存，监听 Redis 状态达到数据采集，数据加工，数据推送，数据容灾等功能操作；3、优化 HBase 查询业务逻辑，业务 id（唯一）与任务 id（不唯一）关联，保证多平台业务任务并发进行，Elasticsearch 全文索引引入搜索引擎解决查询，二级索引用于变换数据存储格式实现加速非主键查询；4、数据采集端通过 HBase 的 ODS 层（数据准备层）去噪，去重，字段命名规范等一系列操作，到 DW层（数据汇总层）进行字段合并、空值处理、脏数据处理、产品数据相似度处理、类型数据汇总等，数据加工端通过 DM 层（数据集市层）进行宽表的多维度数据整合、根据 TTL 对产品过期数据进行删除、多版本业务访问少数据访问时计算、存储各项目业务图片和视频本地化 url，最后数据推送服务给 APP层（数据产品层）；5、根据不同项目需求做数据中转，用 Django 架构起服务业务特定需求的数据清洗推送，Celery 分布式处理数据查询推送，uWSGI 部署任务回调接口，及任务 id 对业务 id 的关联查询接口。