COTR 网络（图像匹配）

摘要

本周学习了图像匹配方向的COTR网络模型，COTR通过使用Transformer来捕获全局和局部先验，该网络可以在给定两幅图像和一幅图像中的查询点的情况下，在另一幅图像中找到其对应点，该网络可以选择只查询感兴趣的点并检索稀疏对应关系，或者查询图像中的所有点并获得密集映射。在推理阶段，通过逐步缩小区域的方式，应用对应网络，形成一种多尺度管线，能够提供高度精确的对应关系。本文将详细介绍COTR网络模型。

Abstract

This week, we learned about the COTR network model for image matching direction, COTR captures global and local prior by using Transformer, the network can find its counterpart in another image given two images and query points in one image, the network has the option of querying only the points of interest and retrieving sparse correspondences or querying all points in the image and obtain a dense mapping. In the inference phase, the correspondence network is applied by progressively narrowing down the region to form a kind of multiscale pipeline that can provide highly accurate correspondences. In this paper, the COTR network model is described in detail.

Translated with DeepL.com (free version)

1. COTR网络

文献来源：COTR: Correspondence Transformer for Matching Across Images

1.1 文献摘要

作者在本文提出了一种基于深度神经网络的 COTR网络，给定两个图像和其中一个图像中的查询点，在另一个图像中找到其对应关系。通过这样做，人们可以选择仅查询感兴趣的点并检索稀疏对应关系，或者查询图像中的所有点并获得 密集映射。为了捕获局部和全局先验，作者使用Transformer来实现COTR网络。

密集映射是指一个函数，它 将一个集合中的每个点都映射到另一个集合中的点，且在目标集合中的任何点的邻域中都有源集合中的点。换句话说，对于给定的两个集合，如果每个目标集合中的点都至少有一个源集合中的点映射到它，那么这个映射就被称为密集映射。密集映射在数学分析、拓扑学和其他数学领域中具有重要的作用。

1.2 研究背景

查找图像对之间的对应关系是计算机视觉中的一项基本任务，其应用范围从相机校准到光流、运动结构 (SfM)、视觉定位、点跟踪和人体姿态估计 。这个问题存在两个基本研究方向：

1. 一种是从两个图像中提取稀疏关键点集并进行匹配，以最小化对齐度量。
2. 另一种是将对应解释为密集过程，其中第一幅图像中的每个像素映射到第二幅图像中的像素。

COTR可以表达两种形式的先验知识（全局和局部），并从数据中隐式学习它们，作者利用密集连接网络在表示平滑函数时所具有的归纳偏差，并使用Transformer来自动控制先验的性质。作者以函数形式表达寻找图像 $I$ 和 $I^{\prime }$ 之间的对应关系的问题，如：

其中 $F_{\Phi }$ 是我们的神经网络架构，由 $\Phi$ 参数化，$x$ 索引查询位置,在 $I$ 中，$x^{}$