数据中台项目,对外提供数据报表平台、数据分析平台、精准营销等场景服务

我要开发同款
海南中剑2022年10月30日
166阅读

作品详情

项目涉及
离线存储项目:收集理财端业务库数据、日志类数据汇总到Hive,分层清洗、合并、去重处理。
实时存储项目:实时收集业务库binlog日志数据,汇总到Phoenix,分层分主题解析。形成维表、事实表,供分析人员使用。
日志收集项目:收集业务系统埋点数据,汇总到Hive,分层清洗、合并、去重处理形成日志指标层。
OLAP项目:对离线存储分层数据处理形成离线指标。
OLTP项目:对实时存储分层数据处理形成实时指标。
报表项目:利用凡软系统形成日报、周报、月报、绩效报表、业绩报表等报表。
用户画像项目:重新定义画像维度,通过对风险识别能力、用户承担风险能力、用户对收益敏感程度角度分析用户数据,再通过营销手段去执行验证效果(正在进行中)。
舆情监控项目:在各个媒体平台上使用爬虫方式搜索正面、负面关键信息,对信息进行分析、汇总包装成产品对外提供(方案执行中)。
数据监控项目:统计集群、关键业务节点数据信息,进行数据汇总,提供监控支持,作为子系统存在。

技术涉及
开发语言:JAVA、SCALA
分布式存储:phoenix、hdfs、hbase、doris、
分布式计算:spark(core、sql、streaming)、hive、yarn、flink
项目管理涉及
项目管理工具:jira
文档分享:wiki 
管理开发方式
敏捷开发:产品给出的需求进入backlog,迭代内开启必要的需求,需求完毕之后关闭迭代。
敏捷思想:价值驱动、快速迭代、自组织管理。
人的管理:团队文化、氛围、技术水平、做事方式等。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论