EfficientSAM
RepViT-SAM: Towards Real-Time Segmenting Anything.
分段任意模型(SAM)最近在各种计算机视觉任务中表现出了令人印象深刻的零射击转移性能。然而，其沉重的计算成本仍然令人望而生畏的实际应用。MobileSAM建议使用蒸馏技术将SAM中的重量级图像编码器替换为TinyViT，从而大大减少了计算需求。然而，由于自注意机制带来的大量内存和计算开销，其在资源受限的移动设备上的部署仍然面临挑战。最近，RepViT通过将高效的vit架构设计融入cnn，在移动设备上实现了最先进的性能和延迟权衡。这里，为了在移动设备上实现实时分割，在MobileSAM之后，我们用RepViT模型替换了SAM中的重量级图像编码器，最终得到了RepViT-SAM模型。大量实验表明，repviti - sam具有比MobileSAM更好的零射击传输能力，并且推理速度快近10倍。
期望模型使用方式以及适用范围
本模型适用范围较广，能对图片中包含的大部分感兴趣物体（COCO things 80类）根据提示(点、框、文本)进行分割。
如何使用
在ModelScope框架上，提供输入图片，即可通过简单的Pipeline调用来使用。
代码范例
即将上线
Clone with HTTP
git clone https://www.modelscope.cn/tany0699/RepViTSAM.git
引用
如果该模型对你有所帮助，请引用相关的论文：
@article{Wang_Chen_Lin_Han_Ding_2023,
title={RepViT-SAM: Towards Real-Time Segmenting Anything},
author={Wang, Ao and Chen, Hui and Lin, Zijia and Han, Jungong and Ding, Guiguang},
year={2023},
month={Dec},
language={en-US}
}
评论