摘要
https://arxiv.org/pdf/2403.09281v1
CLIP（Contrastive Language-Image Pretraining，对比语言-图像预训练）模型在识别问题中表现出了卓越的性能，如零样本图像分类和对象检测。然而，由于其固有的挑战——即将计数（一项回归任务）转化为识别任务，CLIP在计数方面的能力仍然研究不足。在本文中，我们研究了CLIP在计数方面的潜力，特别是聚焦于人群规模估计。现有的基于分类的人群计数方法遇到了包括不恰当的离散化策略在内的问题，这些问题阻碍了CLIP的应用并导致性能次优。为了解决这些挑战，我们提出了增强的分块分类（Enhanced Blockwise Classification，EBC）框架。与以往方法不同，EBC依赖于整数值的箱（bins），这有助于学习稳健的决策边界。在我们的与模型无关的EBC框架内，我们引入了CLIPEBC，这是第一个能够生成密度图的完全基于CLIP的人群计数模型。通过对不同人群计数数据集的综合评估，我们方法的先进性能得到了证明。特别是，EBC可以使现有模型的性能提升高达76.9%。此外，我们的CLIP-EBC模型超越了当前的人群计数方法，在上海科技大学A部分和B部分数据集上分别实现了55.0和6.3的平均绝对误差。代码将公开提供。
一、引言
人群计数涉及对图像或视频中个体数量的自动估计。近年来，由于其在管理流行病[1]和避免人群拥挤崩塌[2]等关键领域的潜在应用，这一任务受到了广泛关注。准确量化人群密度对于提升公共安全、城市规划和事件管理至关重要。
目前最先进的人群计数方法依赖于图像中个体头部中心的标注二维坐标。这些方法通常将点标注转换为二进制密度图
