MindSporeMindFormers套件的目标是构建一个大模型训练、推理、部署的全流程开发套件：提供业内主流的Transformer类预训练模型和SOTA下游任务应用，涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研发。
MindSporeMindFormers套件基于MindSpore内置的并行技术和组件化设计，具备如下特点：一行代码实现从单卡到大规模集群训练的无缝切换。提供灵活易用的个性化并行配置。能够自动进行拓扑感知，高效地融合数据并行和模型并行策略。一键启动任意任务的训练、评估、推理流程。支持用户进行组件化配置任意模块，如优化器、学习策略、网络组装等。提供Trainer、ModelClass、ConfigClass、pipeline等高阶易用性接口。目前支持的模型列表如下：BERTGPTOPTT5MAESimMIMCLIPFILIPVitSwin
点击空白处退出提示
评论