RT-DETR改进策略【卷积层】| 引入注意力卷积模块RFAConv，关注感受野空间特征 助力RT-DETR精度提升
一、本文介绍
本文记录的是
利用
RFAConv
优化
RT-DETR
的目标检测网络模型
。标准卷积操作和空间注意力机制虽能解决一定的参数共享问题，
但在大尺寸卷积核上应用注意力仍然存在缺陷，未充分考虑卷积核参数共享问题以及感受野中各特征的重要性
。而
RFAConv
的出现
旨在更全面地解决卷积核参数共享问题，关注感受野空间特征
。本文利用
RFAConv
改进
RT-DETR
，并设计了不同的网络模型进行
二次创新
，以最大限度的发挥
RFAConv
的性能，精准有效的提高模型精度。
二、RFAConv介绍
RFAConv: Innovating Spatial Attention and Standard Convolutional Operation
RFAConv：创新空间注意力和标准卷积运算
2.1 出发点
-
解决卷积核参数共享问题
：分析标准卷积操作和现有空间注意力机制后，发现空间注意力机制虽能解决一定的参数共享问题，但对于大尺寸卷积核存在局限。
RFAConv旨在更全面地解决卷积核参数共享问题。 -
关注感受野空间特征
：现有空间注意力机制如CBAM和CA仅关注空间特征，未充分考虑卷积核参数共享问题以及感受野中各特征的重要性。
RFAConv的设计出发点是关注感受野空间特征，以提升网络性能。
2.2 原理
2.2.1 感受野空间特征的定义与生成
感受野空间特征是针对卷积核设计的，根据卷积核大小动态生成。以3×3卷积核为例，它由非重叠滑动窗口组成，每个窗口代表一个感受野滑块。
2.2.2 基于感受野空间特征的注意力计算
-
首先利用
Group Conv快速提取感受野空间特征，然后通过AvgPool聚合全局信息，接着使用1×1组卷积操作交互信息，最后用softmax强调感受野特征内各特征的重要性。计算过程可表示为 F = S o f t m a x ( g 1 × 1 ( A v g P o o l ( X ) ) ) × R e L U ( N o r m ( g k × k ( X ) ) ) = A r f × F r f F = Softmax(g^{1 × 1}(AvgPool(X)))× ReLU(Norm(g^{k × k}(X)))=A_{rf}×F_{rf} F = S o f t ma x ( g 1 × 1 ( A vg P oo l ( X ))) × R e LU ( N or m ( g k × k ( X ))) = A r f × F r f 。 - 与CBAM和CA不同， RFA 能够为每个感受野特征生成注意力图，从而解决了卷积核参数共享问题，并突出了感受野滑块内不同特征的重要性。
2.3 结构
- 整体结构 ：以3×3卷积核为例，RFAConv的整体结构包括输入特征图经过快速提取感受野空间特征（如Group Conv）、信息聚合（AvgPool）、信息交互（1×1组卷积）和特征重要性强调（softmax）等操作，最终得到注意力图与变换后的感受野空间特征相乘的结果。
-
与其他模块的关系
：
RFAConv可视为一个轻量级的即插即用模块，它所设计的卷积操作可以替代标准卷积，与卷积操作紧密结合，相互依赖以提升网络性能。同时，基于RFA的思想还设计了升级版本的CBAM（RFCBAM）和CA（RFCA），其结构也与RFAConv类似，都注重感受野空间特征，在提取特征信息时使用特定的卷积操作（如对于RFCBAM和RFCA，最终使用 k × k k×k k × k 且步长 = k =k = k 的卷积操作）。
2.4 优势
-
性能提升
- 在分类任务中，如在ImageNet - 1k数据集上的实验，RFAConv替换ResNet18和ResNet34的部分卷积操作后，仅增加少量参数和计算开销，就显著提高了识别结果。例如ResNet18 - RFAConv相比原始模型仅增加0.16M参数和0.09G计算开销，TOP1和TOP5准确率分别提高1.64%和1.24%。
-
在对象检测任务中，在COCO2017和VOC7 + 12数据集上的实验表明，使用
RFAConv替换部分卷积操作，网络的检测结果显著提升，同时参数和计算开销增加较小。 -
在语义分割任务中，在VOC2012数据集上的实验显示，
RFAConv构造的语义分割网络相比原始模型有更好的结果。
-
解决参数共享问题
：通过关注感受野空间特征，
RFAConv完全解决了卷积核参数共享问题，使得卷积操作不再依赖于共享参数，提高了网络对不同位置信息的敏感性。 -
计算成本和参数增加可忽略
：
RFAConv在提升网络性能的同时，带来的计算成本和参数增加几乎可以忽略不计，相比一些其他方法具有更好的性价比。
论文： https://arxiv.org/pdf/2304.03198
源码： https://github.com/Liuchen1997/RFAConv
三、RFAConv的实现代码
RFAConv模块
的实现代码如下：
from torch import nn
from einops import rearrange
import torch.nn.functional as F
class RFAConv(nn.Module):
def __init__(self, in_channel, out_channel, kernel_size=3, stride=1):
super().__init__()
self.kernel_size = kernel_size
self.get_weight = nn.Sequential(nn.AvgPool2d(kernel_size=kernel_size, padding=kernel_size // 2, stride=stride),
nn.Conv2d(in_channel, in_channel * (kernel_size ** 2), kernel_size=1,
groups=in_channel, bias=False))
self.generate_feature = nn.Sequential(
nn.Conv2d(in_channel, in_channel * (kernel_size ** 2), kernel_size=kernel_size, padding=kernel_size // 2,
stride=stride, groups=in_channel, bias=False),
nn.BatchNorm2d(in_channel * (kernel_size ** 2)),
nn.ReLU())
self.conv = Conv(in_channel, out_channel, k=kernel_size, s=kernel_size, p=0)
def forward(self, x):
b, c = x.shape[0:2]
weight = self.get_weight(x)
h, w = weight.shape[2:]
weighted = weight.view(b, c, self.kernel_size ** 2, h, w).softmax(2) # b c*kernel**2,h,w -> b c k**2 h w
feature = self.generate_feature(x).view(b, c, self.kernel_size ** 2, h,
w) # b c*kernel**2,h,w -> b c k**2 h w
weighted_data = feature * weighted
conv_data = rearrange(weighted_data, 'b c (n1 n2) h w -> b c (h n1) (w n2)', n1=self.kernel_size,
# b c k**2 h w -> b c h*k w*k
n2=self.kernel_size)
return self.conv(conv_data)
def autopad(k, p=None, d=1): # kernel, padding, dilation
"""Pad to 'same' shape outputs."""
if d > 1:
k = d * (k - 1) + 1 if isinstance(k, int) else [d * (x - 1) + 1 for x in k] # actual kernel-size
if p is None:
p = k // 2 if isinstance(k, int) else [x // 2 for x in k] # auto-pad
return p
class Conv(nn.Module):
"""Standard convolution with args(ch_in, ch_out, kernel, stride, padding, groups, dilation, activation)."""
default_act = nn.SiLU() # default activation
def __init__(self, c1, c2, k=1, s=1, p=None, g=1, d=1, act=True):
"""Initialize Conv layer with given arguments including activation."""
super().__init__()
self.conv = nn.Conv2d(c1, c2, k, s, autopad(k, p, d), groups=g, dilation=d, bias=False)
self.bn = nn.BatchNorm2d(c2)
self.act = self.default_act if act is True else act if isinstance(act, nn.Module) else nn.Identity()
def forward(self, x):
"""Apply convolution, batch normalization and activation to input tensor."""
return self.act(self.bn(self.conv(x)))
def forward_fuse(self, x):
"""Perform transposed convolution of 2D data."""
return self.act(self.conv(x))
class ResNetBlock(nn.Module):
"""ResNet block with standard convolution layers."""
def __init__(self, c1, c2, s=1, e=4):
"""Initialize convolution with given parameters."""
super().__init__()
c3 = e * c2
self.cv1 = Conv(c1, c2, k=1, s=1, act=True)
self.cv2 = Conv(c2, c2, k=3, s=s, p=1, act=True)
self.cv3 = RFAConv(c2, c3)
self.shortcut = nn.Sequential(Conv(c1, c3, k=1, s=s, act=False)) if s != 1 or c1 != c3 else nn.Identity()
def forward(self, x):
"""Forward pass through the ResNet block."""
return F.relu(self.cv3(self.cv2(self.cv1(x))) + self.shortcut(x))
class ResNetLayer_RFAConv(nn.Module):
"""ResNet layer with multiple ResNet blocks."""
def __init__(self, c1, c2, s=1, is_first=False, n=1, e=4):
"""Initializes the ResNetLayer given arguments."""
super().__init__()
self.is_first = is_first
if self.is_first:
self.layer = nn.Sequential(
Conv(c1, c2, k=7, s=2, p=3, act=True), nn.MaxPool2d(kernel_size=3, stride=2, padding=1)
)
else:
blocks = [ResNetBlock(c1, c2, s, e=e)]
blocks.extend([ResNetBlock(e * c2, c2, 1, e=e) for _ in range(n - 1)])
self.layer = nn.Sequential(*blocks)
def forward(self, x):
"""Forward pass through the ResNet layer."""
return self.layer(x)
四、创新模块
4.1 改进点1⭐
模块改进方法
：直接加入
RFAConv模块
（
第五节讲解添加步骤
）。
RFAConv模块
添加后如下：
4.2 改进点2⭐
模块改进方法
：基于
RFAConv模块
的
ResNetLayer
（
第五节讲解添加步骤
）。
第二种改进方法是对
RT-DETR
中的
ResNetLayer模块
进行改进，并将
RFAConv
在加入到
ResNetLayer
模块中。
改进代码如下：
首先添加如下代码改进
ResNetBlock
模块，并将
ResNetLayer
重命名为
ResNetLayer_RFAConv
class ResNetBlock(nn.Module):
"""ResNet block with standard convolution layers."""
def __init__(self, c1, c2, s=1, e=4):
"""Initialize convolution with given parameters."""
super().__init__()
c3 = e * c2
self.cv1 = Conv(c1, c2, k=1, s=1, act=True)
self.cv2 = Conv(c2, c2, k=3, s=s, p=1, act=True)
self.cv3 = RFAConv(c2, c3)
self.shortcut = nn.Sequential(Conv(c1, c3, k=1, s=s, act=False)) if s != 1 or c1 != c3 else nn.Identity()
def forward(self, x):
"""Forward pass through the ResNet block."""
return F.relu(self.cv3(self.cv2(self.cv1(x))) + self.shortcut(x))
class ResNetLayer_RFAConv(nn.Module):
"""ResNet layer with multiple ResNet blocks."""
def __init__(self, c1, c2, s=1, is_first=False, n=1, e=4):
"""Initializes the ResNetLayer given arguments."""
super().__init__()
self.is_first = is_first
if self.is_first:
self.layer = nn.Sequential(
Conv(c1, c2, k=7, s=2, p=3, act=True), nn.MaxPool2d(kernel_size=3, stride=2, padding=1)
)
else:
blocks = [ResNetBlock(c1, c2, s, e=e)]
blocks.extend([ResNetBlock(e * c2, c2, 1, e=e) for _ in range(n - 1)])
self.layer = nn.Sequential(*blocks)
def forward(self, x):
"""Forward pass through the ResNet layer."""
return self.layer(x)
注意❗：在
第五小节
中需要声明的模块名称为：
RFAConv
和
ResNetLayer_RFAConv
。
五、添加步骤
5.1 修改一
① 在
ultralytics/nn/
目录下新建
AddModules
文件夹用于存放模块代码
② 在
AddModules
文件夹下新建
RFAConv.py
，将
第三节
中的代码粘贴到此处
5.2 修改二
在
AddModules
文件夹下新建
__init__.py
（已有则不用新建），在文件内导入模块：
from .RFAConv import *
5.3 修改三
在
ultralytics/nn/modules/tasks.py
文件中，需要在两处位置添加各模块类名称。
首先：导入模块
其次：在
parse_model函数
中注册
RFAConv
和
ResNetLayer_RFAConv
模块
六、yaml模型文件
6.1 模型改进版本1
此处以
ultralytics/cfg/models/rt-detr/rtdetr-l.yaml
为例，在同目录下创建一个用于自己数据集训练的模型文件
rtdetr-l-RFAConv.yaml
。
将
rtdetr-l.yaml
中的内容复制到
rtdetr-l-RFAConv.yaml
文件下，修改
nc
数量等于自己数据中目标的数量。
📌 模型的修改方法是将
骨干网络
中添加
RFAConv模块
。
# Ultralytics YOLO 🚀, AGPL-3.0 license
# RT-DETR-l object detection model with P3-P5 outputs. For details see https://docs.ultralytics.com/models/rtdetr
# Parameters
nc: 1 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n-cls.yaml' will call yolov8-cls.yaml with scale 'n'
# [depth, width, max_channels]
l: [1.00, 1.00, 1024]
backbone:
# [from, repeats, module, args]
- [-1, 1, HGStem, [32, 48]] # 0-P2/4
- [-1, 6, HGBlock, [48, 128, 3]] # stage 1
- [-1, 1, DWConv, [128, 3, 2, 1, False]] # 2-P3/8
- [-1, 6, HGBlock, [96, 512, 3]] # stage 2
- [-1, 1, DWConv, [512, 3, 2, 1, False]] # 4-P4/16
- [-1, 6, RFAConv, [512]] # cm, c2, k, light, shortcut
- [-1, 6, RFAConv, [512]]
- [-1, 6, RFAConv, [512]] # stage 3
- [-1, 1, DWConv, [1024, 3, 2, 1, False]] # 8-P5/32
- [-1, 6, HGBlock, [384, 2048, 5, True, False]] # stage 4
head:
- [-1, 1, Conv, [256, 1, 1, None, 1, 1, False]] # 10 input_proj.2
- [-1, 1, AIFI, [1024, 8]]
- [-1, 1, Conv, [256, 1, 1]] # 12, Y5, lateral_convs.0
- [-1, 1, nn.Upsample, [None, 2, "nearest"]]
- [7, 1, Conv, [256, 1, 1, None, 1, 1, False]] # 14 input_proj.1
- [[-2, -1], 1, Concat, [1]]
- [-1, 3, RepC3, [256]] # 16, fpn_blocks.0
- [-1, 1, Conv, [256, 1, 1]] # 17, Y4, lateral_convs.1
- [-1, 1, nn.Upsample, [None, 2, "nearest"]]
- [3, 1, Conv, [256, 1, 1, None, 1, 1, False]] # 19 input_proj.0
- [[-2, -1], 1, Concat, [1]] # cat backbone P4
- [-1, 3, RepC3, [256]] # X3 (21), fpn_blocks.1
- [-1, 1, Conv, [256, 3, 2]] # 22, downsample_convs.0
- [[-1, 17], 1, Concat, [1]] # cat Y4
- [-1, 3, RepC3, [256]] # F4 (24), pan_blocks.0
- [-1, 1, Conv, [256, 3, 2]] # 25, downsample_convs.1
- [[-1, 12], 1, Concat, [1]] # cat Y5
- [-1, 3, RepC3, [256]] # F5 (27), pan_blocks.1
- [[21, 24, 27], 1, RTDETRDecoder, [nc]] # Detect(P3, P4, P5)
6.2 模型改进版本2⭐
此处以
ultralytics/cfg/models/rt-detr/rtdetr-resnet50.yaml
为例，在同目录下创建一个用于自己数据集训练的模型文件
rtdetr-ResNetLayer_RFAConv.yaml
。
将
rtdetr-resnet50.yaml
中的内容复制到
rtdetr-resnet50-ResNetLayer_RFAConv.yaml
文件下，修改
nc
数量等于自己数据中目标的数量。
📌 模型的修改方法是将
骨干网络
中的所有
ResNetLayer模块
替换成
ResNetLayer_RFAConv模块
。
# Ultralytics YOLO 🚀, AGPL-3.0 license
# RT-DETR-ResNet50 object detection model with P3-P5 outputs.
# Parameters
nc: 1 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n-cls.yaml' will call yolov8-cls.yaml with scale 'n'
# [depth, width, max_channels]
l: [1.00, 1.00, 1024]
backbone:
# [from, repeats, module, args]
- [-1, 1, ResNetLayer_RFAConv, [3, 64, 1, True, 1]] # 0
- [-1, 1, ResNetLayer_RFAConv, [64, 64, 1, False, 3]] # 1
- [-1, 1, ResNetLayer_RFAConv, [256, 128, 2, False, 4]] # 2
- [-1, 1, ResNetLayer_RFAConv, [512, 256, 2, False, 6]] # 3
- [-1, 1, ResNetLayer_RFAConv, [1024, 512, 2, False, 3]] # 4
head:
- [-1, 1, Conv, [256, 1, 1, None, 1, 1, False]] # 5
- [-1, 1, AIFI, [1024, 8]]
- [-1, 1, Conv, [256, 1, 1]] # 7
- [-1, 1, nn.Upsample, [None, 2, "nearest"]]
- [3, 1, Conv, [256, 1, 1, None, 1, 1, False]] # 9
- [[-2, -1], 1, Concat, [1]]
- [-1, 3, RepC3, [256]] # 11
- [-1, 1, Conv, [256, 1, 1]] # 12
- [-1, 1, nn.Upsample, [None, 2, "nearest"]]
- [2, 1, Conv, [256, 1, 1, None, 1, 1, False]] # 14
- [[-2, -1], 1, Concat, [1]] # cat backbone P4
- [-1, 3, RepC3, [256]] # X3 (16), fpn_blocks.1
- [-1, 1, Conv, [256, 3, 2]] # 17, downsample_convs.0
- [[-1, 12], 1, Concat, [1]] # cat Y4
- [-1, 3, RepC3, [256]] # F4 (19), pan_blocks.0
- [-1, 1, Conv, [256, 3, 2]] # 20, downsample_convs.1
- [[-1, 7], 1, Concat, [1]] # cat Y5
- [-1, 3, RepC3, [256]] # F5 (22), pan_blocks.1
- [[16, 19, 22], 1, RTDETRDecoder, [nc]] # Detect(P3, P4, P5)
七、成功运行结果
打印网络模型可以看到
RFAConv
和
ResNetLayer_RFAConv
已经加入到模型中，并可以进行训练了。
rtdetr-l-RFAConv ：
rtdetr-l-RFAConv summary: 715 layers, 70,351,171 parameters, 70,351,171 gradients, 228.7 GFLOPs
from n params module arguments
0 -1 1 25248 ultralytics.nn.modules.block.HGStem [3, 32, 48]
1 -1 6 155072 ultralytics.nn.modules.block.HGBlock [48, 48, 128, 3, 6]
2 -1 1 1408 ultralytics.nn.modules.conv.DWConv [128, 128, 3, 2, 1, False]
3 -1 6 839296 ultralytics.nn.modules.block.HGBlock [128, 96, 512, 3, 6]
4 -1 1 5632 ultralytics.nn.modules.conv.DWConv [512, 512, 3, 2, 1, False]
5 -1 6 14493696 ultralytics.nn.AddModules.RFAConv.RFAConv [512, 512]
6 -1 6 14493696 ultralytics.nn.AddModules.RFAConv.RFAConv [512, 512]
7 -1 6 14493696 ultralytics.nn.AddModules.RFAConv.RFAConv [512, 512]
8 -1 1 11264 ultralytics.nn.modules.conv.DWConv [512, 1024, 3, 2, 1, False]
9 -1 6 6708480 ultralytics.nn.modules.block.HGBlock [1024, 384, 2048, 5, 6, True, False]
10 -1 1 524800 ultralytics.nn.modules.conv.Conv [2048, 256, 1, 1, None, 1, 1, False]
11 -1 1 789760 ultralytics.nn.modules.transformer.AIFI [256, 1024, 8]
12 -1 1 66048 ultralytics.nn.modules.conv.Conv [256, 256, 1, 1]
13 -1 1 0 torch.nn.modules.upsampling.Upsample [None, 2, 'nearest']
14 7 1 131584 ultralytics.nn.modules.conv.Conv [512, 256, 1, 1, None, 1, 1, False]
15 [-2, -1] 1 0 ultralytics.nn.modules.conv.Concat [1]
16 -1 3 2232320 ultralytics.nn.modules.block.RepC3 [512, 256, 3]
17 -1 1 66048 ultralytics.nn.modules.conv.Conv [256, 256, 1, 1]
18 -1 1 0 torch.nn.modules.upsampling.Upsample [None, 2, 'nearest']
19 3 1 131584 ultralytics.nn.modules.conv.Conv [512, 256, 1, 1, None, 1, 1, False]
20 [-2, -1] 1 0 ultralytics.nn.modules.conv.Concat [1]
21 -1 3 2232320 ultralytics.nn.modules.block.RepC3 [512, 256, 3]
22 -1 1 590336 ultralytics.nn.modules.conv.Conv [256, 256, 3, 2]
23 [-1, 17] 1 0 ultralytics.nn.modules.conv.Concat [1]
24 -1 3 2232320 ultralytics.nn.modules.block.RepC3 [512, 256, 3]
25 -1 1 590336 ultralytics.nn.modules.conv.Conv [256, 256, 3, 2]
26 [-1, 12] 1 0 ultralytics.nn.modules.conv.Concat [1]
27 -1 3 2232320 ultralytics.nn.modules.block.RepC3 [512, 256, 3]
28 [21, 24, 27] 1 7303907 ultralytics.nn.modules.head.RTDETRDecoder [1, [256, 256, 256]]
rtdetr-l-RFAConv summary: 715 layers, 70,351,171 parameters, 70,351,171 gradients, 228.7 GFLOPs
rtdetr-ResNetLayer_RFAConv ：
rtdetr-ResNetLayer_RFAConv summary: 705 layers, 83,409,699 parameters, 83,409,699 gradients, 240.7 GFLOPs
from n params module arguments
0 -1 1 9536 ultralytics.nn.AddModules.RFAConv.ResNetLayer_RFAConv[3, 64, 1, True, 1]
1 -1 1 629760 ultralytics.nn.AddModules.RFAConv.ResNetLayer_RFAConv[64, 64, 1, False, 3]
2 -1 1 3372032 ultralytics.nn.AddModules.RFAConv.ResNetLayer_RFAConv[256, 128, 2, False, 4]
3 -1 1 19847168 ultralytics.nn.AddModules.RFAConv.ResNetLayer_RFAConv[512, 256, 2, False, 6]
4 -1 1 40296448 ultralytics.nn.AddModules.RFAConv.ResNetLayer_RFAConv[1024, 512, 2, False, 3]
5 -1 1 524800 ultralytics.nn.modules.conv.Conv [2048, 256, 1, 1, None, 1, 1, False]
6 -1 1 789760 ultralytics.nn.modules.transformer.AIFI [256, 1024, 8]
7 -1 1 66048 ultralytics.nn.modules.conv.Conv [256, 256, 1, 1]
8 -1 1 0 torch.nn.modules.upsampling.Upsample [None, 2, 'nearest']
9 3 1 262656 ultralytics.nn.modules.conv.Conv [1024, 256, 1, 1, None, 1, 1, False]
10 [-2, -1] 1 0 ultralytics.nn.modules.conv.Concat [1]
11 -1 3 2232320 ultralytics.nn.modules.block.RepC3 [512, 256, 3]
12 -1 1 66048 ultralytics.nn.modules.conv.Conv [256, 256, 1, 1]
13 -1 1 0 torch.nn.modules.upsampling.Upsample [None, 2, 'nearest']
14 2 1 131584 ultralytics.nn.modules.conv.Conv [512, 256, 1, 1, None, 1, 1, False]
15 [-2, -1] 1 0 ultralytics.nn.modules.conv.Concat [1]
16 -1 3 2232320 ultralytics.nn.modules.block.RepC3 [512, 256, 3]
17 -1 1 590336 ultralytics.nn.modules.conv.Conv [256, 256, 3, 2]
18 [-1, 12] 1 0 ultralytics.nn.modules.conv.Concat [1]
19 -1 3 2232320 ultralytics.nn.modules.block.RepC3 [512, 256, 3]
20 -1 1 590336 ultralytics.nn.modules.conv.Conv [256, 256, 3, 2]
21 [-1, 7] 1 0 ultralytics.nn.modules.conv.Concat [1]
22 -1 3 2232320 ultralytics.nn.modules.block.RepC3 [512, 256, 3]
23 [16, 19, 22] 1 7303907 ultralytics.nn.modules.head.RTDETRDecoder [1, [256, 256, 256]]
rtdetr-ResNetLayer_RFAConv summary: 705 layers, 83,409,699 parameters, 83,409,699 gradients, 240.7 GFLOPs