DIFT：Emergent Correspondence from Image Diffusion # 论文阅读

URL

https://arxiv.org/pdf/2306.03881
主页：https://diffusionfeatures.github.io/
代码：https://github.com/Tsingularity/dift

TD;DR

23 年 6月 cornell 大学的文章，任务是做图片的特征匹配（关联），特别是局部的特征与其他图片中特征的匹配。文章提出的方法不需要任何额外的 finetune，训练也不需要用到带有标签的数据。最终的精度要明显优于 DINO 和 openclip，同时也不弱于已有的监督方法。

考虑到 diffusion model 的图片编辑能力，自然可以想到其实 diffusion model 是有图片特征匹配的能力的，否则不可能准确的把某一个主体变成另外一个主体。所以作者用 diffusion 探索了一种图像特征匹配的方法。

Model & Method

• 整个过程最重要的是拿到每张图片的 Diffusion feature。具体的做法是对带匹配的图片按照前向过程加噪到时间 t，然后送到 diffusion 里面预测噪声，这个过程会得到想要的 feature。
• 为了保证稳定性，作者会改变 random seed 的到多次噪声，然后用多次的匹配结果取平均值。

关于加噪到时间 t 具体要加到哪一步，作者表示如果是不同的物体建议加噪到比较大的数值，因为比较大时间 t 的 feature 里更多是语意信息；如果是同一个物体建议加噪到比较小的数值，因为比较小时间 t 的 feature 里面更多是细节信息。

Dataset & Results

如下图，可以看到同一个物体、不同物体，角度变化比较大的情况下，匹配的准确度都很高。

更多结果

一些失败的 case