LLaVA是一个面向多模态GPT-4级别功能构建的大型语言和视觉助手。代表了一种端到端训练的大型多模态模型，连接视觉编码器和LLM以实现通用视觉和语言理解。
Demo
早期实验表明，LLaVA展示了优秀的多模型聊天能力，有时在看不见的图像/指令上表现出多模型GPT-4的行为，与GPT-4相比，在合成的多模态指令跟随数据集中产生了85.1%的相对得分。当在ScienceQA上进行微调时，LLaVA和GPT-4的协同作用达到了92.53%的新的最先进的准确率。LLaVA 团队公开了 GPT-4生成的视觉指令调整数据、以及其模型和代码库。
更多详情可查看论文。
使用和许可声明：数据、代码和checkpoin 仅供研究使用并获得许可。它们也仅限于遵循LLaMA、Vicuna和GPT-4许可协议的用途。该数据集是CCBYNC4.0（仅允许非商业用途），使用该数据集训练的模型不应用于研究目的之外。相关内容：DataDonwnloadInstallLLaVAWeightsServingEvaluationFine-tuningDataDonwnloadDatafilenameSizeconversation_58k.json126MBdetail_23k.json20.5MBcomplex_reasoning_77k.json79.6MB要下载语言图像多模态指令遵循数据集LLaVA-Instruct-150K，可运行以下脚本：shdownload_data.shLLaVAWeights开发团队发布了 LLaVA weights作为deltaweights 以符合LLaMA模型许可。用户可以将其delta 添加到原始LLaMA weights 以获得LLaVAweights。说明：按照此处的说明获取huggingface格式的原始LLaMAweights。使用以下脚本通过应用该delta 来获取LLaVAweights。它会自动从 LLaVA的 HuggingFace帐户下载deltaweights。LLaVA-13B此转换命令需要大约60GB的CPURAM。python3-mllava.model.apply_delta\--base/path/to/llama-13b\--target/output/path/to/LLaVA-13B-v0\--deltaliuhaotian/LLaVA-13b-delta-v0LLaVA-7B即将推出。
评论