Rain是一个Rust实现的轻巧且强大的分布式计算框架,适用于处理大规模的基于任务的管道。
Rain旨在降低分布式计算世界的入门门槛,目的是提供一个轻巧而强大的分布式框架,该框架具有直观的PythonAPI、简单的安装和部署以及顶层的深入监控。
功能特性
数据流编程:Rain中的计算被定义为任务的流程图(flowgraph)。任务可以是内置函数,Python/C++/Rust代码,也可以是外部应用程序,短而轻或长时间运行且繁重。该系统旨在将任何代码集成到管道中,合理分配其资源需求,并处理非常大的任务图(taskgraphs),通常是数十万个任务。
易于使用:Rain设计之初就考虑到要易于部署,从单节点部署到大规模分布式系统和数千个核心的云。
Rust核心:Python/C++/RustAPI。为了安全和高效,Rain采用Rust编写,并为Rain核心基础架构提供了高级PythonAPI,甚至支持开箱即用的Python任务。Rain还提供了用C++和Rust编写自己的任务的库。
监控:支持在线和postmortem监控。
评论