点击空白处退出提示
经营决策分析系统
我要开发同款作品详情
该项目主要为公司研发用于总部人员与分中心人员,
,其核心功能为根据大数据平台提
供的用户的多维标签,对用户进行分群、分类营销等功能
工作内容:
1、重构的前期调研、老系统功能梳理
2、项目框架搭,前后端分离的分布式应用,主要负责前端框架的搭建,后台公共服
务接入
3、参与用户分群营销核心功能用户分群营销模块的设计,技术选型,首套方案采用
Sqoop、Oozie、Hive、Druid、Quartz
4、编写用户分群营销核心代码,整套流程开发
5、指导其他开发进行配套模块的开发并进行联调
6、为解决在JOB多、调度频繁情况下quartz死锁情况,废弃原有的quartz,
引入xxl-job,为适配本项目,修改权限校验、异常机制等部分源码
7、为解决首套方案性能无法满足业务,研究Clickhouse列式存储数据库,并引入项目中,目前取得了不错的性能提升
8、为解决公司原有KETTLE同步工具发版不够灵活、学习成本高等问题,引入
DataX数据同步方案,修改其源码,增加异步回调机制,以满足数据同步快速上线,目
前相关数据同步基本已全部迁移基于DataX,兼容HDFS引擎等的核心同步模块
9、公司原则是要脱O,在这个基调下,引入TiDB数据库,重构关联系统下发等
功能,目前取得了不错的效果,实现在本年底由一个重Package的系统到脱O系统的
跨越
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论