Dolly是一个低成本的LLM，Dolly采用EleutherAI现有的60亿参数的开源模型，并对其进行细微的修改，以激发指令跟随能力。
开始训练将dollyrepo添加到Databricks（在Repos下单击AddRepo，输入https://github.com/databrickslabs/dolly.git，然后单击创建仓库）。开始一个12.2LTSML(includesApacheSpark3.3.2,GPU,Scala2.12)具有8个A100GPU节点类型的单节点集群（例如Standard_ND96asr_v4或者p4d.24xlarge).在dolly仓库中打开train_dollynotebook，附加到你的GPU集群，并运行所有单元。训练完成后，notebook会将模型保存在/dbfs/dolly_training.在本地运行单元测试pyenvlocal3.8.13python-mvenv.venv..venv/bin/activatepipinstall-rrequirements_dev.txt./run_pytest.sh
点击空白处退出提示
评论