大数据外卖智能监测系统系统是针对外卖餐饮监管问题而设计的餐饮商家风险监测和风险 预警系统。对于目前网络餐饮服务第三方平台责任落实不到位，对入网餐饮服务者审查把 关不严以及部分入网餐饮服务提供者的食品安全意识不高、经营管理水平有限、食品安全 存在隐患、无证经营、虚假证照、证照重复、一址多店乱象横生等问题，进行餐饮商家信 息采集和分析，从而达到预警风险、精确执法的目的。 （实时+离线+数仓设计+商家画像+机器学习） Kafka+HDFS+zeta+hive+elk+mysql 1.根据需求设计更新大数据外卖智能监测系统的设计文档 2.使用 zeta 实时读取 kafka 中的 json 数据并进行解析，并将数据中的 shop_id 与证照 链接传入 AI 接口，接收 AI 返回的数据数据更新到 Mysql 3.将解析后的数据存入 HDFS 和 ES，存入 HDFS 用于使用 hive 统计分析计算问题类 型，存入 es 的数据用于实时展示源数据，方便数据采集人员排查问题 4.设计数据仓库分为四层 源数据层--hive 加载 HDFS 中的数据 数据明细层-过滤掉不符合要求的数据和脏数据 数据中间层--根据需求统计计算出各商家的基数统计数据 数据服务层--数据通过证照比对、地址信息、销量排行、评价口碑等多个维度建立外卖 餐饮商家风险指数等主题的宽表 数据应用层--计算出的相关数据存放到 Mysql 用于数据挖掘展示等 5.使用 azkaban 进行任务定时调度 6.基于数据服务层的数据，进行多维度的 TOP100 商家画像，计算出各区域需要重点监 管的对象，完成头部流量重点监管 7.根据监管的对象执法人员检查的结果结合机器学习算法，持续的迭代完善模型使监管， 精准，实时的推荐重点监管的结果为执法人员及时的发现违法线索提供依据。

项目介绍： 京东零售数据中台拥有自用产品线接近 30 个，每个产品线又有数个应用，为了使这些 产品线实现利益最大化，开展了商业化项目。由于产品线较多，手动在 Jdos 上部署不太现 实，开展自动化部署项目。此项目可以实现几十个产品线，上百个应用一键部署，一键卸 载，为公司节省了大量的人力，此项目 2021 年为公司带来直接营收接近 1 亿元，同比增长 600%。 工作内容： 相关技术：Jdos+python+shell 1.数据库初始化脚本开发，获取数据库 URL,端口号，创建所需的库表，写入测试数据 2.授权服务，同步服务自动化安装脚本开发 3.授权服务，同步服务自检脚本开发 4.授权服务，同步服务卸载脚本开发 5.抽取服务公共配置，实现配置统一管理 6.服务间相互依赖脚本开发 7.产品线间，服务间的联调与问题解决 8.后续用户使用时问题的解决与新版本的维护

项目介绍： 为应对国家对大数据权限管理的各项法律发规、标准要求。满足用户与 100 万数据 表的亿万条权限策略、满足微秒级的性能要求和跨域一致性要求。实现数据使用，数 据共享过程中管控粒度更细，管控标准更严格，管控方式可灵活，同时提升平台功能 的完整性。满足“集市/业务线/账号”三级数据隔离方案、满足库、表、行、列、HDFS、 UDF 等多种权限控制、满足对数据的读、写、执行等权限的精细化管理. 满足业务灵活 多变的数据管控需求。推动了京东大数据数据权限体系升级，达到节约数据存储，提 升权限数据使用时效性，保障数据安全性的目的。开展了数据权限管理系统项目。 核心模块： 1.授权模块： a) Hive 权限管理模块：对库，表的读、写、修改、删除权限进行管理 b) Hdfs 权限管理模块：对 hdfs 目录及文件的读、写、执行、递归管理 c) UDF 权限管理模块：对 UDF 函数的维护与使用权限进行管理 d) 账号权限模块：以账号为维度对，hive 库表，hdfs，udf 进行管理 e) 授权日志模块：对授权过程进行统一的记录，能够实时追溯授权过程 f) 数据套餐申请：通过申请拥有生产账号权限而拥有生产账号下所有资源的权限 g) 库表权限申请：账号原有的权限资源不能满足需求，对账号追加所需资源的权限 2.同步服务模块：将授权模块的 mysql 授权数据实时的同步到大数据集群底层，同时 同步至 es 满足其他系统对权限系统数据的使用。 技术架构： 前端：react+antd 后端：Springboot+mybatis-plus+Hadoop+hive+es 工作内容： 1.参与项目的关系表的设计 2.参与所用技术的框架选择调研 3.Hive 权限管理模块，hdfs 权限管理模块，账号权限管理模块，授权日志模块的功能 实现 4.线上问题排查与解决,用户反馈的问题的解决 5.项目版本更新发布部署