Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding
Video-LLaMA是什么
Video-LLaMA是一个多模型大型语言模型，通过将语言解码器与现成的单模预训练模型连接起来，实现人与计算机之间基于视频的对话。
如何玩转Video-LLaMA
基础配置
注：Video-LLaMA目前还在快速迭代，现在以相对独立的方式实现了ModelScope的接口，因此需要独立安装环境。
- 首先安装ModelScope:
# modelscope的notebook不需要安装modelscope
# !pip install modelscope -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
- 然后导入模型
from modelscope import snapshot_download, AutoModelForCausalLM, AutoTokenizer,GenerationConfig
model_dir = snapshot_download("damo/videollama_7b_llama2_finetuned", revision='v0.1.1')
- 安装包
# cd Video-LLaMA
# !pip install -r requirement.txt
基于Video 聊天
from modelscope.models import Model
from modelscope.pipelines import pipeline
import sys
model_dir = snapshot_download("damo/videollama_7b_llama2_finetuned", revision='v0.1.1')
sys.path.append(model_dir)
inference = pipeline('my-videollama-task', model=model_dir)
data = {
"system": ' ',
'video': "./examples/silence_girl.mp4",
'messages': [
['USER',"Please describe this video in details."]
]
}
output = inference(data)
print(output['text'])
模型局限性
Video-LLaMA是一个原型模型，在理解复杂场景、长视频或特定领域时可能存在局限性。 输出结果可能受到输入质量、数据集的局限性和模型对错觉的敏感性的影响。请谨慎解读结果。
相关论文以及引用
如果你觉得Video-LLaMA好用，希望您能给我们的仓库点个star，并且引用我们的论文： ``` @article{damonlpsg2023videollama, author = {Zhang, Hang and Li, Xin and Bing, Lidong}, title = {Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding}, year = 2023, journal = {arXiv preprint arXiv:2306.02858} url = {https://arxiv.org/abs/2306.02858} }
评论