离线模型训练平台Artemis

我要开发同款
TheBigBlue2023年03月07日
250阅读
开发技术Java
所属分类机器学习、Spark、IT人工智能

作品详情

该项目是我司风控流程的最重要一环,公司所有贷款申请都会经过该系统进行自动审批,自动审批不通过才会打回人工重新审批。我司所有出钱的单子都会经过该系统,如果一旦有不该通过的单子被自动通过了,公司会损失很大,所以该项目责任重大,且经过我们严谨缜密的维护和测试,该系统目前没有一笔单子是审批错误的

我司贷款核心系统接收到贷款审批后,会请求该系统Athena进行模型预测,Athena接收请求并写入kafka异步处理和削峰,消费者消费数据并根据表中配置获取对应处理类去各个系统获取数据源(业务信息、贷款信息、三方征信数据等),将数据推送kafka,SparkStreaming消费业务数据,加载多种PMML模型文件并生成对应的评估器Evalutor,并根据不同的数据源匹配对应PMML预测模型,对业务数据进行特征工程和模型评估,最终得到一个评估结果(自动通过\人工复审\自动拒绝),并将结果写入Redis和MySQL,业务系统通过回调请求Athena获取预测结果来判定该笔申请是否自动通过、自动拒绝、人工复审


我负责的内容:
主导了整个架构、模块、交互设计、表结构设计
负责后端Web接口开发、SparkStreaming 模型加载、特征工程和模型预测模块开发
负责整个测试、uat、生产环境的应用部署,大数据集群环境搭建
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论