MPP-Qwen-Next: Multimodal Pipeline Parallel based on QwenLM

Github Repo URL

News

• [2024/6] ? MPP-Qwen-Next: 加入llava的多轮对话sft数据以及videochatgpt的100k sft数据，支持图像多轮对话，视频对话，并涌现出多图对话能力 知乎博客
• [2024/5] ? 代码支持多轮对话sft、视频sft、多图sft
• [2024/4] ? 支持多卡推理，修正chat template以获得更好的对话效果 知乎博客
• [2024/3] ? MPPQwen-14B: Extend MiniGPT4Qwen-14B to MPP-Qwen14B(Multimodal Pipeline Parallel). 数据和训练范式参照LLaVA（pretrain + sft)，指令微调时打开LLM。全部训练过程在6张RTX4090上完成 README&Tutorial； 知乎博客
• [2024/2] ? MiniGPT4Qwen-14B: Scaling Up MiniGPT4Qwen to 14B. 使用DeepSpeed Pipeline Parallel让全过程仅使用2张4090显卡 README&Tutorial； 知乎博客
• [2023/10] ? MiniGPT4Qwen：采用18.8k的高质量双语指令微调数据，得到单阶段训练的个人版双语MLLM README&Tutorial； 知乎博客