Lit-Parrot是基于nanoGPT的StableLM/Pythia/INCITE语言模型的实现。支持flashattention、LLaMA-Adapter微调、预训练。
最先进的开源大型语言模型的可破解实现：
StabilityAI StableLMEleutherAI PythiaTogether RedPajama-INCITETIIUAE Falcon此实现基于Lit-LLaMA和nanoGPT，由LightningFabric提供支持。可以按照以下说明下载权重：StableLMPythiaRedpajama-INCITEFalcon设计原则这个存储库遵循opennessthroughclarity 的主要原则。Lit-Parrot 是：简单：没有样板的单文件实现。正确：在数值上等同于原始模型。优化：在消费类硬件上或大规模运行。开源：没有附加条件。避免代码重复不是目标。可读性和可破解性是。
评论