TigerBot是一个多语言多任务的大规模语言模型(LLM)。
根据OpenAIInstructGPT论文在公开NLP数据集上的自动评测，TigerBot-7B达到OpenAI同样大小模型的综合表现的96%。目前已开源：
模型：TigerBot-7B,TigerBot-7B-base，TigerBot-180B(researchversion)，代码：基本训练和推理代码，包括双卡推理180B模型的量化和推理代码，数据：预训练100G，从2TB过滤后的数据中经过去噪去重清洗而得；监督微调1G或100万条数据，按比例涵盖用户指令常见的10大类120小类任务，API:chat,plugin,finetune,让用户能在半小时内无代码的训练和使用专属于自己的大模型和数据，领域数据：涵盖金融，法律，百科，广邀大模型应用开发者，一起打造中国的世界级的应用。TigerBot在BLOOM基础上，在模型架构和算法上做了如下优化：
指令完成监督微调的创新算法以获得更好的可学习型(learnability)，运用ensemble和probabilisticmodeling的方法实现更可控的事实性(factuality)和创造性(generativeness)，在并行训练上，我们突破了deep-speed等主流框架中若干内存和通信问题，使得在千卡环境下数月无间断，对中文语言的更不规则的分布，从tokenizer到训练算法上做了更适合的算法优化。
评论