个人介绍
工作经历
2018-11-01 -至今百分点科技有限公司java开发大数据方向
1. 大数据平台(工信部项目) 本产品是负责给工信部提供技术支持,支持工信部人员将数据加载到集群hive,同时将数据进行接入,在hive中进行稽核分析,同时配置工作流,可执行脚本,将数据整体流程完整展示,最后结果在对应视图展示 个人负责:元数据模块,稽核模块,工作流部分,及后续整体问题及高并发问题,高数据量问题 2. 标签项目(etl) 本产品对接为公安,为公安提供统一的,标准化的数据视图,支持公安人员建立对应标签应用,对应加载进来数据源可以为多种(目前支持hive,mysql,oracle等),在etl中进行数据处理加载,最后写入到标签(也可写入到其他数据源,标签选型数据源为clickhouse),最后在标签系统中加载出来,供公安人员查找对应信息 个人负责:标签整体及搜索,etl部分算子
教育经历
2015-09-01 - 2019-07-01河北北方学院电子信息本科
英语四级,可完成基本的英语对接 获得大学生自主创新奖
技能
数据开放服务平台为给深圳信倦所使用的产品,具体为使用发布api,产品通过提供网关控制api,并将对应权限分发给下部,来达到上级对下级数据使用控制 个人负责:对应api调试模块,数据组织开发
本产品对接为公安,为公安提供统一的,标准化的数据视图,支持公安人员建立对应标签应用,对应加载进来数据源可以为多种(目前支持hive,mysql,oracle等),在etl中进行数据处理加载,最后写入到标签(也可写入到其他数据源,标签选型数据源为clickhouse),最后在标签系统中加载出来,供公安人员查找对应信息 个人负责:标签整体及搜索,etl部分算子