摘要
本文使用2024年最新的ELA注意力机制改进YoloV8的Neck层，实现涨点！改进方式简单易用，涨点明显！欢迎大家使用。 大家在订阅专栏后，记着加QQ群啊！有些改进方法确实有难度，大家在改进的过程中遇到问题，我会解答和指导！
论文：《ELA：深度卷积神经网络的高效局部注意力机制》
https://arxiv.org/pdf/2403.01123.pdf
注意力机制由于其能够有效提升深度神经网络性能的能力，在计算机视觉领域获得了广泛认可。然而，现有方法往往难以有效利用空间信息，或者在利用空间信息的同时会牺牲通道维度或增加神经网络的复杂性。为了解决这些局限性，本文提出了一种高效的局部注意力（ELA）方法，该方法以简单的结构实现了显著的性能提升。通过分析坐标注意力方法的局限性，我们发现了批量归一化缺乏泛化能力、维度减少对通道注意力的不利影响以及注意力生成过程的复杂性等问题。为了克服这些挑战，我们提出了将一维卷积和组归一化特征增强技术融入ELA的方法。这种方法能够在无需维度减少的情况下，通过有效地编码两个一维位置特征图来实现对感兴趣区域的精确定位，同时保持轻量级的实现方式。我们精心设计了ELA中的三个超参数，得到了四个不同版本：ELA-T、ELAB、ELA-S和ELA-L，以满足图像分类、目标检测和语义分割等不同视觉任务的具体需求。ELA可以无缝集成到深度卷积神经网络中，如ResNet、MobileNet和DeepLab。在ImageNet、MSCOCO和Pascal VOC数据集上的广泛评估表明，所提出的ELA模块在上述三个视觉任务中均优于当前最先进的方法。
