《Exploring Orthogonality in Open World Object Detection》

摘要

开放世界目标检测旨在识别未见过类别的物体，并在提供了其注释后逐步识别它们。与仅限于预定义类别的传统范式不同，这种设置承诺了一种持续的、可泛化的方式，使用与类别无关的信息来估计目标性。然而，实现目标性与类别信息之间的解耦证明是具有挑战性的。如果不进行明确考虑，现有方法通常在未知对象上的召回率低，并且可能将它们错误分类为已知类别。为了解决这个问题，我们在检测过程中利用了三个层次的正交性：首先，通过在一个设计的极坐标系统中操作彼此正交的不同特征集，将目标性和分类头部解耦。其次，引入了预测解耦损失，以指导检测器朝向更通用和与类别无关的预测。此外，我们提出了一个校准方案，以帮助在整个训练过程中保持正交性，减轻灾难性干扰并促进对以前未见过的物体的增量学习。我们的方法在开放世界和增量目标检测基准上进行了全面评估，证明了其在检测已知和未知物体方面的有效性。代码和模型可在此链接获取。

1 引言

目标检测是计算机视觉中的一项基础任务，传统上遵循闭环世界的范式。尽管这种方法取得了显著的进展[4, 18, 59]，但它受到一个假设的限制，即所有待检测的对象类别都是在训练期间预定义和已知的。这种假设从根本上阻碍了探测器识别未见过的对象，并在不断变化的世界中学习新发现的对象。为了解决这些限制，Joseph等人[30]最近从开放世界识别[2]中获得灵感，并提出了一种称为开放世界目标检测的新设置，该设置通过自主发现未知对象并在得到预言者注释后逐步识别它们，使检测器能够以更适应的方式处理目标检测，从而使探测器能够在开放世界中持续运行。

然而，采用这种新的开放世界设置会因问题的开放集[9, 53]和增量[65]特性而带来几个关键挑战。关键是，模型应该具备泛化能力，能够检测未知对象并正确地将它们归类为特殊的未知类别。它还需要适应性地融入新的对象知识，而不干扰已知类别。为此，已经开发了许多新方法[21, 30, 49, 50, 71, 85]。不幸的是，这方面的性能通常不尽人意，这可以从未知类别的低召回率和将未知对象与已知对象混淆的倾向中看出。

我们的关键洞察是通过对象性与类别预测之间的依赖关系来解释以往方法的不足。其背后的逻辑有两方面：首先，因为现有模型[21, 50]通常通过从已知类别转移类别特定信息来检测未知对象，一些通用的对象性线索（例如，形状）可能会被忽略，这些线索在之前的分布中不太显著。这降低了对未知对象的召回率，尤其是对那些外观不相似的对象。其次，依赖于与类别相关的信息来预测对象性导致在它们的特征空间中形成了相关的决策边界，如图1a所示。结果是，被检测到的未见对象往往与已知对象相似，因此更容易与它们混淆，这也在增量学习阶段引入了额外的干扰。更多关于这种新考虑的相关性的证据将在后续部分包含。

为了减轻对象性和类别信息之间的干扰，我们受到通过正交化解耦相关文献[6, 41, 70]的启发，提出在检测器的特征空间和预测空间中强制执行正交性。具体来说，对于特征空间，我们采用极坐标系统，将每个对象特征分解为两个正交组成部分，即幅度和方向，如图1b所示。然后，这两个组分分别用于对象性和类别预测，其中幅度对应于对象性，较大的幅度表明对象更显著，而不同的方向编码了已知和未知类别的信息。这里，通过一种启发式策略来识别具有低预测置信度[25]的分布外提议，从而区分未知类别。此外，为了增强对象性和类别信息之间的正交性，我们在预测空间引入了一种去相关损失，该损失惩罚对象性和类别预测之间的统计相关性。这两种设计共同促进了更独立于类别的检测结果，显示出可以显著提升模型在已知和未知对象上的性能，使得在开放世界目标检测中更好地发现对象。

我们进一步注意到，在新展示对象的增量学习过程中，由于类别分布的显著变化，特征正交性可能不再成立，这可能会削弱我们提出的正交化方案的有效性。为了解决这个问题，我们开发了一个跨任务校准层，该层对不同任务的特征空间进行对齐，实现联合正交化（“校准”一词源自[66]）。具体来说，校准层被