RT-DETR改进策略【Neck】| HS-FPN：高级筛选特征融合金字塔，加强细微特征的检测
一、本文介绍
本文将
HS-FPN结构融入RT-DETR以优化目标检测网络模型
。
HS-FPN
借助
通道注意力机制
及独特的
多尺度融合策略
，有效应对
目标尺寸差异及特征稀缺问题
。在
RT-DETR
中应用
HS - FPN
时，其
利用高级特征筛选低级特征
，增强特征表达，助力模型精准定位和识别目标，
减少因尺度变化及特征不足导致的检测误差
，显著提升
RT-DETR
在各项检测任务中的准确性与稳定性。
二、HS-FPN介绍
Accurate Leukocyte Detection Based on Deformable-DETR and Multi-Level Feature Fusion for Aiding Diagnosis of Blood Diseases
HS - FPN结构
由
特征选择模块
和
特征融合模块
组成。
-
特征选择模块中，
CA模块先处理输入 特征图 ，经 池化 、 激活函数 确定各通道权重以 过滤特征图 ，DM模块再对不同尺度特征图降维； -
特征融合模块中，利用
SFF机制， 以高级特征为权重筛选低级特征语义信息后融合 ，提升模型检测能力。
2.1 出发点
在白细胞数据集中，白细胞识别任务面临多尺度问题，不同类型白细胞直径通常有差异，相同白细胞在不同显微镜下成像大小也会不同，这使得模型难以准确识别白细胞，所以需要设计HS - FPN来实现多尺度特征融合，帮助模型捕捉更全面的白细胞特征信息。
2.2 结构原理
-
特征选择模块 ：由
CA模块和DM模块组成。对于输入特征图 f i n ∈ R C × H × W f_{in } \in R^{C ×H ×W} f in ∈ R C × H × W ，CA模块先进行全局平均池化和全局最大池化，再结合结果，经Sigmoid激活函数确定各通道权重 f C A ∈ R C × 1 × 1 f_{C A} \in R^{C ×1 ×1} f C A ∈ R C × 1 × 1 ，通过与对应尺度特征图相乘得到过滤后的特征图。因不同尺度特征图通道数不同，DM模块用1×1卷积将各尺度特征图通道数降为 256。 -
特征融合模块 ：骨干网络生成的多尺度特征图中， 高级特征语义信息丰富但目标定位粗糙，低级特征定位精确但语义信息有限 。传统直接像素求和融合有缺陷，研究中的
SFF模块以高级特征为权重筛选低级特征中的关键语义信息 。对于输入高级特征 f h i g h ∈ R C × H × W f_{high } \in R^{C ×H ×W} f hi g h ∈ R C × H × W 和低级特征 f l o w ∈ R C × H 1 × W 1 f_{low } \in R^{C ×H_{1} ×W_{1}} f l o w ∈ R C × H 1 × W 1 ，先对高级特征用步长为2、卷积核为3 x3的转置卷积扩展，再用双线性插值统一维度得到 f a t t ∈ R C × H 1 × W 1 f_{att } \in R^{C ×H_{1} ×W_{1}} f a tt ∈ R C × H 1 × W 1 ，经CA 模块将高级特征转为注意力权重过滤低级特征，最后融合得到 f o u t ∈ R C × H 1 × W 1 f_{out } \in R^{C ×H_{1} ×W_{1}} f o u t ∈ R C × H 1 × W 1 ，其融合过程公式为 f a t t = B L ( T − C o n v ( f h i g h ) ) f_{att }=B L\left(T - Conv\left(f_{high }\right)\right) f a tt = B L ( T − C o n v ( f hi g h ) ) f o u t = f l o w ∗ C A ( f a t t ) + f a t t f_{out }=f_{low } * C A\left(f_{att }\right)+f_{att } f o u t = f l o w ∗ C A ( f a tt ) + f a tt
2.3 作用
HS-FPN
能够利用通道注意力模块，以
高级语义特征为权重过滤低级特征
，并将筛选后的特征与高级特征逐点相加，实现多尺度特征融合，从而提高模型的特征表达能力，有助于检测到细微特征，增强模型的检测能力。
论文： https://www.sciencedirect.com/science/article/abs/pii/S0010482524000015
源码： https://github.com/JustlfC03/MFDS-DETR
三、HS-FPN的实现代码
HS-FPN模块
的实现代码如下：
import torch
import torch.nn as nn
class ChannelAttention_HSFPN(nn.Module):
def __init__(self, in_planes, ratio=4, flag=True):
super(ChannelAttention_HSFPN, self).__init__()
self.avg_pool = nn.AdaptiveAvgPool2d(1)
self.max_pool = nn.AdaptiveMaxPool2d(1)
self.conv1 = nn.Conv2d(in_planes, in_planes // ratio, 1, bias=False)
self.relu = nn.ReLU()
self.conv2 = nn.Conv2d(in_planes // ratio, in_planes, 1, bias=False)
self.flag = flag
self.sigmoid = nn.Sigmoid()
nn.init.xavier_uniform_(self.conv1.weight)
nn.init.xavier_uniform_(self.conv2.weight)
def forward(self, x):
avg_out = self.conv2(self.relu(self.conv1(self.avg_pool(x))))
max_out = self.conv2(self.relu(self.conv1(self.max_pool(x))))
out = avg_out + max_out
return self.sigmoid(out) * x if self.flag else self.sigmoid(out)
class Multiply(nn.Module):
def __init__(self) -> None:
super().__init__()
def forward(self, x):
return x[0] * x[1]
class Add(nn.Module):
def __init__(self):
super().__init__()
def forward(self, x):
return torch.sum(torch.stack(x, dim=0), dim=0)
四、添加步骤
4.1 修改一
① 在
ultralytics/nn/
目录下新建
AddModules
文件夹用于存放模块代码
② 在
AddModules
文件夹下新建
HSFPN.py
，将
第三节
中的代码粘贴到此处
4.2 修改二
在
AddModules
文件夹下新建
__init__.py
（已有则不用新建），在文件内导入模块：
from .HSFPN import *
4.3 修改三
在
ultralytics/nn/modules/tasks.py
文件中，需要在两处位置添加各模块类名称。
首先：导入模块
然后，在
parse_model函数
中添加
nn.Conv2d
、
ChannelAttention_HSFPN
、
Multiply
、
Add
：
elif m is ChannelAttention_HSFPN:
c2 = ch[f]
args = [c2, *args]
elif m is Multiply:
c2 = ch[f[0]]
elif m is Add:
c2 = ch[f[-1]]
五、yaml模型文件
5.1 模型改进版本⭐
此处以
ultralytics/cfg/models/rt-detr/rtdetr-l.yaml
为例，在同目录下创建一个用于自己数据集训练的模型文件
rtdetr-l-HSFPN.yaml
。
将
rtdetr-l.yaml
中的内容复制到
rtdetr-l-HSFPN.yaml
文件下，修改
nc
数量等于自己数据中目标的数量。
📌 模型的修改方法是将
颈部网络
替换成
HSFPN结构
。
# Ultralytics YOLO 🚀, AGPL-3.0 license
# RT-DETR-l object detection model with P3-P5 outputs. For details see https://docs.ultralytics.com/models/rtdetr
# Parameters
nc: 1 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n-cls.yaml' will call yolov8-cls.yaml with scale 'n'
# [depth, width, max_channels]
l: [1.00, 1.00, 1024]
backbone:
# [from, repeats, module, args]
- [-1, 1, HGStem, [32, 48]] # 0-P2/4
- [-1, 6, HGBlock, [48, 128, 3]] # stage 1
- [-1, 1, DWConv, [128, 3, 2, 1, False]] # 2-P3/8
- [-1, 6, HGBlock, [96, 512, 3]] # stage 2
- [-1, 1, DWConv, [512, 3, 2, 1, False]] # 4-P4/16
- [-1, 6, HGBlock, [192, 1024, 5, True, False]] # cm, c2, k, light, shortcut
- [-1, 6, HGBlock, [192, 1024, 5, True, True]]
- [-1, 6, HGBlock, [192, 1024, 5, True, True]] # stage 3
- [-1, 1, DWConv, [1024, 3, 2, 1, False]] # 8-P5/32
- [-1, 6, HGBlock, [384, 2048, 5, True, False]] # stage 4
head:
- [-1, 1, Conv, [256, 1, 1, None, 1, 1, False]] # 10 input_proj.2
- [-1, 1, AIFI, [1024, 8]] # 11
- [-1, 1, Conv, [256, 1, 1]] # 12, Y5, lateral_convs.0
- [-1, 1, ChannelAttention_HSFPN, []] # 13
- [-1, 1, nn.Conv2d, [256, 1]] # 14
- [-1, 1, nn.ConvTranspose2d, [256, 3, 2, 1, 1]] # 15
- [7, 1, ChannelAttention_HSFPN, []] # 16
- [-1, 1, nn.Conv2d, [256, 1]] # 17
- [15, 1, ChannelAttention_HSFPN, [4, False]] # 18
- [[-1, -2], 1, Multiply, []] # 19
- [[-1, 15], 1, Add, []] # 20
- [-1, 3, RepC3, [256]] # 21 P4/16
- [15, 1, nn.ConvTranspose2d, [256, 3, 2, 1, 1, 16]] # 22
- [3, 1, ChannelAttention_HSFPN, []] # 23
- [-1, 1, nn.Conv2d, [256, 1]] # 24
- [22, 1, ChannelAttention_HSFPN, [4, False]] # 25
- [[-1, -2], 1, Multiply, []] # 26
- [[-1, 22], 1, Add, []] # 27
- [-1, 3, RepC3, [256]] # 28 P3/8
- [[28, 21, 14], 1, RTDETRDecoder, [nc]] # Detect(P3, P4, P5)
六、成功运行结果
打印网络模型可以看到
HSFPN
已经加入到模型中，并可以进行训练了。
rtdetr-l-HSFPN ：
rtdetr-l-HSFPN summary: 630 layers, 28,280,771 parameters, 28,280,771 gradients, 96.8 GFLOPs
from n params module arguments
0 -1 1 25248 ultralytics.nn.modules.block.HGStem [3, 32, 48]
1 -1 6 155072 ultralytics.nn.modules.block.HGBlock [48, 48, 128, 3, 6]
2 -1 1 1408 ultralytics.nn.modules.conv.DWConv [128, 128, 3, 2, 1, False]
3 -1 6 839296 ultralytics.nn.modules.block.HGBlock [128, 96, 512, 3, 6]
4 -1 1 5632 ultralytics.nn.modules.conv.DWConv [512, 512, 3, 2, 1, False]
5 -1 6 1695360 ultralytics.nn.modules.block.HGBlock [512, 192, 1024, 5, 6, True, False]
6 -1 6 2055808 ultralytics.nn.modules.block.HGBlock [1024, 192, 1024, 5, 6, True, True]
7 -1 6 2055808 ultralytics.nn.modules.block.HGBlock [1024, 192, 1024, 5, 6, True, True]
8 -1 1 11264 ultralytics.nn.modules.conv.DWConv [1024, 1024, 3, 2, 1, False]
9 -1 6 6708480 ultralytics.nn.modules.block.HGBlock [1024, 384, 2048, 5, 6, True, False]
10 -1 1 524800 ultralytics.nn.modules.conv.Conv [2048, 256, 1, 1, None, 1, 1, False]
11 -1 1 789760 ultralytics.nn.modules.transformer.AIFI [256, 1024, 8]
12 -1 1 66048 ultralytics.nn.modules.conv.Conv [256, 256, 1, 1]
13 -1 1 32768 ultralytics.nn.AddModules.HSFPN.ChannelAttention_HSFPN[256]
14 -1 1 65792 torch.nn.modules.conv.Conv2d [256, 256, 1]
15 -1 1 590080 torch.nn.modules.conv.ConvTranspose2d [256, 256, 3, 2, 1, 1]
16 7 1 524288 ultralytics.nn.AddModules.HSFPN.ChannelAttention_HSFPN[1024]
17 -1 1 262400 torch.nn.modules.conv.Conv2d [1024, 256, 1]
18 15 1 32768 ultralytics.nn.AddModules.HSFPN.ChannelAttention_HSFPN[256, 4, False]
19 [-1, -2] 1 0 ultralytics.nn.AddModules.HSFPN.Multiply []
20 [-1, 15] 1 0 ultralytics.nn.AddModules.HSFPN.Add []
21 -1 3 2101248 ultralytics.nn.modules.block.RepC3 [256, 256, 3]
22 15 1 37120 torch.nn.modules.conv.ConvTranspose2d [256, 256, 3, 2, 1, 1, 16]
23 3 1 131072 ultralytics.nn.AddModules.HSFPN.ChannelAttention_HSFPN[512]
24 -1 1 131328 torch.nn.modules.conv.Conv2d [512, 256, 1]
25 22 1 32768 ultralytics.nn.AddModules.HSFPN.ChannelAttention_HSFPN[256, 4, False]
26 [-1, -2] 1 0 ultralytics.nn.AddModules.HSFPN.Multiply []
27 [-1, 22] 1 0 ultralytics.nn.AddModules.HSFPN.Add []
28 -1 3 2101248 ultralytics.nn.modules.block.RepC3 [256, 256, 3]
29 [28, 21, 14] 1 7303907 ultralytics.nn.modules.head.RTDETRDecoder [1, [256, 256, 256]]
rtdetr-l-HSFPN summary: 630 layers, 28,280,771 parameters, 28,280,771 gradients, 96.8 GFLOPs