轻量级快速图像特征点匹配介绍

模型描述

本模型基于ICCV2023 LightGLue 算法，是 SuperGlue 算法的加强版本，内存占用更小，计算效率和精度更高。

技术细节请见：

LightGLue: Local Feature Matching at Light Speed[Paper]

期望模型使用方式及适用范围

输入一对图片，图像匹配算法将输出图片间对应像素的位置。

如何使用

提供模型预测，输入两张图像作为匹配的对象，返回图片间对应像素的位置供后续步骤处理。

代码范例

from modelscope.outputs import OutputKeys
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks


task = 'image-matching'
model_id = 'Damo_XR_Lab/cv_transformer_image-matching_fast'

input_location = []
estimator = pipeline(Tasks.image_matching, model=model_id)
result = estimator(input_location)
kpts0, kpts1, conf = result[0][OutputKeys.MATCHES]
print(f'Found {len(kpts0)} matches')

模型局限性及可能的偏差

训练

暂不支持使用modelscope训练

数据评估及结果

Bibtex

@misc{lindenberger2023lightglue,
      title={LightGlue: Local Feature Matching at Light Speed}, 
      author={Philipp Lindenberger and Paul-Edouard Sarlin and Marc Pollefeys},
      year={2023},
      eprint={2306.13643},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}