学习资源站

YOLOv11改进-Neck篇-2024最新MFDS-DETR的HS-FPN改进yolov11特征融合层（全网独家首发）

一、本文介绍

本文给大家带来的最新改进机制是最近这几天发布的改进机制 MFDS-DETR 提出的一种 HS-FPN 结构，其是一种为白细胞检测设计的网络结构，主要用于解决白细胞数据集中的多尺度挑战。它的基本原理包括两个关键部分： 特征选择模块 和 特征融合模块 ， 在本文的下面均会有讲解，这个结构是非常新颖的。其可以起到 特征选择 的作用，非常适合轻量化的读者来使用，其存在二次创新和多次创新的机会，在近期内我会对其进行更加轻量化和精度更高的二次创新， 利用该结构参数量下降至181W，计算量降低至5.7GFLOPs， 本文结构为我独家复现，全网目前无第二份大家可以抓紧使用。

欢迎大家订阅我的专栏一起学习YOLO！

二、HS-FPN原理

​

论文地址： 论文官方链接

代码地址： 代码官方链接

​

2.1  HS-FPN的基本原理

HS-FPN（High-level Screening-feature Fusion Pyramid Networks） 是一种为白细胞检测设计的网络结构，主要用于解决白细胞数据集中的多尺度挑战。它的 基本原理 包括两个关键部分： 特征选择模块 和 特征融合模块 。

HS-FPN的结构 如下图所示，包括两个主要组成部分：

​

1. 特征选择模块： 该模块利用通道注意力（CA）和维度匹配（DM）机制对不同尺度的特征图进行筛选。通过池化操作（如全局平均池化和全局最大池化）和权重计算，该模块有效地提取了每个通道中的重要信息。

2. 特征融合模块： 该模块通过选择性特征融合（SFF）机制将筛选后的低级特征和高级特征结合起来。高级特征扩展后，通过双线性插值或转置卷积进行尺度调整，然后与低级特征融合，从而增强模型对白细胞特征的表达能力。

总的来说，HS-FPN通过这两个模块协同工作，有效地解决了白细胞检测中的多尺度问题，提高了检测的准确性和鲁棒性。

2.2  SSF模块

选择性特征融合（Selective Feature Fusion, SFF） 是HS-FPN网络中的一个关键 组件 ，它的主要作用是融合不同尺度的特征图。SFF通过使用 高级特征 作为权重来过滤低尺度特征中的重要信息。在这个过程中，高级特征经过转置卷积和双线性插值操作进行尺度调整，以匹配低尺度特征的尺寸。然后，利用高级特征作为注意力权重，筛选出低尺度特征中有用的信息。这种融合方法能够有效地结合高级特征的语义信息和低尺度特征的细节信息，从而提高模型在处理多尺度问题时的 性能 。

下图为大家展示了 SFF模块的框架结构：

​

给定一个输入高级特征 f_{high}\epsilon R^{C*H*W} ​和一个输入低尺度特征 f_{low}\epsilon R^{C*H*W_{1}} ​，高级特征首先使用一个大小为2，核大小为3x3的转置卷积（T-Conv）进行扩展，得到特征大小 f_{high}\epsilon R^{C*2H*2W} ​。

然后，为了统一高级特征和低尺度特征的维度，作者使用双线性插值来向上或向下采样高级特征，得到特征 f_{att}\epsilon R^{C*H_{1}*W_{1}} ​。接下来，使用CA模块将高级特征转换为相应的注意力权重，以过滤低尺度特征，在获得具有相同维度的特征后。

最后，将过滤后的低尺度特征与高级特征融合，以增强模型的特征表示，并得到 f_{out}\epsilon R^{C*H_{1}*W_{1}} ​。方程（1）和（2）说明了特征选择的融合过程：

​

三、HS-FPN的核心代码

这里的CA对应着官方代码中的ChannelAttention，但是在早期的库里面它在官方里面已经集成了，导入过来可能名字重复从而导致使用的时候报错，我这里给改写成CA了，大家看官方代码的时候需要注意下。 

  1. import torch
  2. import torch.nn as nn
  3. import torch.nn.functional as F
  6. __all__ = ['CA', 'multiply', 'Add']
  9. class Add(nn.Module):
  10.     # Concatenate a list of tensors along dimension
  11.     def __init__(self, ch=256):
  12.         super().__init__()
  14.     def forward(self, x):
  15.         input1, input2 = x[0], x[1]
  16.         x = input1 + input2
  17.         return x
  20. class multiply(nn.Module):
  21.     def __init__(self):
  22.         super().__init__()
  24.     def forward(self, x):
  25.         x = x[0] * x[1]
  26.         return x
  28. class CA(nn.Module):
  29.     def __init__(self, in_planes, ratio = 4, flag=True):
  30.         super(CA, self).__init__()
  31.         self.avg_pool = nn.AdaptiveAvgPool2d(1)
  32.         self.max_pool = nn.AdaptiveMaxPool2d(1)
  34.         self.conv1 = nn.Conv2d(in_planes, in_planes // ratio, 1, bias=False)
  35.         self.relu = nn.ReLU()
  36.         self.conv2 = nn.Conv2d(in_planes // ratio, in_planes, 1, bias=False)
  37.         self.flag = flag
  38.         self.sigmoid = nn.Sigmoid()
  40.         nn.init.xavier_uniform_(self.conv1.weight)
  41.         nn.init.xavier_uniform_(self.conv2.weight)
  43.     def forward(self, x):
  44.         avg_out = self.conv2(self.relu(self.conv1(self.avg_pool(x))))
  45.         max_out = self.conv2(self.relu(self.conv1(self.max_pool(x))))
  46.         out = avg_out + max_out
  47.         out = self.sigmoid(out) * x if self.flag else self.sigmoid(out)
  48.         return out
  52. class FeatureSelectionModule(nn.Module):
  53.     def __init__(self, in_chan, out_chan):
  54.         super(FeatureSelectionModule, self).__init__()
  55.         self.conv_atten = nn.Conv2d(in_chan, in_chan, kernel_size=1)
  56.         self.group_norm1 = nn.GroupNorm(32, in_chan)
  57.         self.sigmoid = nn.Sigmoid()
  58.         self.conv = nn.Conv2d(in_chan, out_chan, kernel_size=1)
  59.         self.group_norm2 = nn.GroupNorm(32, out_chan)
  60.         nn.init.xavier_uniform_(self.conv_atten.weight)
  61.         nn.init.xavier_uniform_(self.conv.weight)
  63.     def forward(self, x):
  64.         atten = self.sigmoid(self.group_norm1(self.conv_atten(F.avg_pool2d(x, x.size()[2:]))))
  65.         feat = torch.mul(x, atten)
  66.         x = x + feat
  67.         feat = self.group_norm2(self.conv(x))
  68.         return feat
  71. if __name__ == "__main__":
  72.     # Generating Sample image
  73.     image_size = (1, 64, 240, 240)
  74.     image = torch.rand(*image_size)
  76.     # Model
  77.     mobilenet_v3 = FeatureSelectionModule(64, 64)
  79.     out = mobilenet_v3(image)
  80.     print(out.size())

四、手把手教你添加HS-FPN

4.1 修改一

第一还是建立文件，我们找到如下 ultralytics /nn文件夹下建立一个目录名字呢就是'Addmodules'文件夹( 用群内的文件的话已经有了无需新建) ！然后在其内部建立一个新的py文件将核心代码复制粘贴进去即可。

​

​

​

4.2 修改二

第二步我们在该目录下创建一个新的py文件名字为'__init__.py'( 用群内的文件的话已经有了无需新建) ，然后在其内部导入我们的检测头如下图所示。

​​​

4.3 修改三

第三步我门中到如下文件'ultralytics/nn/tasks.py'进行导入和注册我们的模块( 用群内的文件的话已经有了无需重新导入直接开始第四步即可) ！

​​​

4.4 修改四

按照我的添加在parse_model里添加即可。

​

4.5 修改五

按照我的添加在parse_model里添加即可。

​ 

  1.         elif m in {'此处添加大家修改的对应机制即可'}:
  2.             c2 = ch[f]
  3.             args = [c2, *args]
  1.         elif m is multiply:
  2.             c2 = ch[f[0]]
  3.         elif m is Add:
  4.             c2 = ch[f[-1]]

到此就修改完成了，大家可以复制下面的yaml文件运行。

五、正式训练

5.1 yaml文件1

训练信息：YOLO11n-HSFPN summary: 336 layers, 1,851,379 parameters, 1,851,363 gradients, 5.7 GFLOPs 

  1. # Ultralytics YOLO 🚀, AGPL-3.0 license
  2. # YOLO11 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect
  4. # Parameters
  5. nc: 80 # number of classes
  6. scales: # model compound scaling constants, i.e. 'model=yolo11n.yaml' will call yolo11.yaml with scale 'n'
  7.   # [depth, width, max_channels]
  8.   n: [0.50, 0.25, 1024] # summary: 319 layers, 2624080 parameters, 2624064 gradients, 6.6 GFLOPs
  9.   s: [0.50, 0.50, 1024] # summary: 319 layers, 9458752 parameters, 9458736 gradients, 21.7 GFLOPs
  10.   m: [0.50, 1.00, 512] # summary: 409 layers, 20114688 parameters, 20114672 gradients, 68.5 GFLOPs
  11.   l: [1.00, 1.00, 512] # summary: 631 layers, 25372160 parameters, 25372144 gradients, 87.6 GFLOPs
  12.   x: [1.00, 1.50, 512] # summary: 631 layers, 56966176 parameters, 56966160 gradients, 196.0 GFLOPs
  14. # YOLO11n backbone
  15. backbone:
  16.   # [from, repeats, module, args]
  17.   - [-1, 1, Conv, [64, 3, 2]] # 0-P1/2
  18.   - [-1, 1, Conv, [128, 3, 2]] # 1-P2/4
  19.   - [-1, 2, C3k2, [256, False, 0.25]]
  20.   - [-1, 1, Conv, [256, 3, 2]] # 3-P3/8
  21.   - [-1, 2, C3k2, [512, False, 0.25]]
  22.   - [-1, 1, Conv, [512, 3, 2]] # 5-P4/16
  23.   - [-1, 2, C3k2, [512, True]]
  24.   - [-1, 1, Conv, [1024, 3, 2]] # 7-P5/32
  25.   - [-1, 2, C3k2, [1024, True]]
  26.   - [-1, 1, SPPF, [1024, 5]] # 9
  27.   - [-1, 2, C2PSA, [1024]] # 10
  29. # YOLO11n head
  30. head:
  31.   - [-1, 1, CA, []] # 11
  32.   - [-1, 1, nn.Conv2d, [256, 1]] # 12
  33.   - [-1, 2, C3k2, [256, False]] # 13 P5
  35.   - [6, 1, CA, []]
  36.   - [-1, 1, nn.Conv2d, [256, 1]]  # 15
  38.   - [12, 1, nn.ConvTranspose2d, [256, 3, 2, 1, 1]] # 16
  39.   - [-1, 1, CA, [4, False]]
  40.   - [[-1, 15], 1, multiply, []] # 18
  41.   - [[-1, 16], 1, Add, []] # 19
  42.   - [-1, 2, C3k2, [256, False]] # 20 P4
  44.   - [4, 1, CA, []] # 21
  45.   - [-1, 1, nn.Conv2d, [256, 1]] # 22
  47.   - [16, 1, nn.ConvTranspose2d, [256, 3, 2, 1, 1]] # 23
  48.   - [-1, 1, CA, [4, False]] # 24
  49.   - [[-1, 22], 1, multiply, []] # 25
  50.   - [[-1, 23], 1, Add, []] # 26
  51.   - [-1, 2, C3k2, [256, True]] # 27 P3
  53.   - [[27, 20, 13], 1, Detect, [nc]] # Det

5.2 yaml文件2

训练信息：YOLO11n-HSFPN-2 summary: 336 layers, 2,690,771 parameters, 2,690,755 gradients, 13.8 GFLOPs 

  1. # Ultralytics YOLO 🚀, AGPL-3.0 license
  2. # YOLO11 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect
  4. # Parameters
  5. nc: 80 # number of classes
  6. scales: # model compound scaling constants, i.e. 'model=yolo11n.yaml' will call yolo11.yaml with scale 'n'
  7.   # [depth, width, max_channels]
  8.   n: [0.50, 0.25, 1024] # summary: 319 layers, 2624080 parameters, 2624064 gradients, 6.6 GFLOPs
  9.   s: [0.50, 0.50, 1024] # summary: 319 layers, 9458752 parameters, 9458736 gradients, 21.7 GFLOPs
  10.   m: [0.50, 1.00, 512] # summary: 409 layers, 20114688 parameters, 20114672 gradients, 68.5 GFLOPs
  11.   l: [1.00, 1.00, 512] # summary: 631 layers, 25372160 parameters, 25372144 gradients, 87.6 GFLOPs
  12.   x: [1.00, 1.50, 512] # summary: 631 layers, 56966176 parameters, 56966160 gradients, 196.0 GFLOPs
  14. # YOLO11n backbone
  15. backbone:
  16.   # [from, repeats, module, args]
  17.   - [-1, 1, Conv, [64, 3, 2]] # 0-P1/2
  18.   - [-1, 1, Conv, [128, 3, 2]] # 1-P2/4
  19.   - [-1, 2, C3k2, [256, False, 0.25]]
  20.   - [-1, 1, Conv, [256, 3, 2]] # 3-P3/8
  21.   - [-1, 2, C3k2, [512, False, 0.25]]
  22.   - [-1, 1, Conv, [512, 3, 2]] # 5-P4/16
  23.   - [-1, 2, C3k2, [512, True]]
  24.   - [-1, 1, Conv, [1024, 3, 2]] # 7-P5/32
  25.   - [-1, 2, C3k2, [1024, True]]
  26.   - [-1, 1, SPPF, [1024, 5]] # 9
  27.   - [-1, 2, C2PSA, [1024]] # 10
  29. # YOLO11n head
  30. head:
  31.   - [-1, 1, CA, []] # 11
  32.   - [-1, 1, nn.Conv2d, [256, 1]] # 12
  33.   - [-1, 2, C3k2, [256, False]] # 13 P5
  35.   - [6, 1, CA, []]
  36.   - [-1, 1, nn.Conv2d, [256, 1]]  # 15
  38.   - [12, 1, nn.ConvTranspose2d, [256, 3, 2, 1, 1]] # 16
  39.   - [-1, 1, CA, [4, False]]
  40.   - [[-1, 15], 1, multiply, []] # 18
  41.   - [[-1, 16], 1, Add, []] # 19
  42.   - [-1, 2, C3k2, [512, False]] # 20 P4
  44.   - [4, 1, CA, []] # 21
  45.   - [-1, 1, nn.Conv2d, [512, 1]] # 22
  47.   - [16, 1, nn.ConvTranspose2d, [512, 3, 2, 1, 1]] # 23
  48.   - [-1, 1, CA, [4, False]] # 24
  49.   - [[-1, 22], 1, multiply, []] # 25
  50.   - [[-1, 23], 1, Add, []] # 26
  51.   - [-1, 2, C3k2, [1024, True]] # 27 P3
  53.   - [[27, 20, 13], 1, Detect, [nc]] # Det

5.3 训练代码

大家可以创建一个py文件将我给的代码复制粘贴进去，配置好自己的文件路径即可运行。 

  1. import warnings
  2. warnings.filterwarnings('ignore')
  3. from ultralytics import YOLO
  5. if __name__ == '__main__':
  6.     model = YOLO('模型配置文件')
  7.     # 如何切换模型版本, 上面的ymal文件可以改为 yolov8s.yaml就是使用的v8s,
  8.     # 类似某个改进的yaml文件名称为yolov8-XXX.yaml那么如果想使用其它版本就把上面的名称改为yolov8l-XXX.yaml即可（改的是上面YOLO中间的名字不是配置文件的）！
  9.     # model.load('yolov8n.pt') # 是否加载预训练权重,科研不建议大家加载否则很难提升精度
  10.     model.train(data=r"C:\Users\Administrator\PycharmProjects\yolov5-master\yolov5-master\Construction Site Safety.v30-raw-images_latestversion.yolov8\data.yaml",
  11.                 # 如果大家任务是其它的'ultralytics/cfg/default.yaml'找到这里修改task可以改成detect, segment, classify, pose
  12.                 cache=False,
  13.                 imgsz=640,
  14.                 epochs=150,
  15.                 single_cls=False,  # 是否是单类别检测
  16.                 batch=16,
  17.                 close_mosaic=0,
  18.                 workers=0,
  19.                 device='0',
  20.                 optimizer='SGD', # using SGD
  21.                 # resume='runs/train/exp21/weights/last.pt', # 如过想续训就设置last.pt的地址
  22.                 amp=True,  # 如果出现训练损失为Nan可以关闭amp
  23.                 project='runs/train',
  24.                 name='exp',
  25.                 )

5.4 训练过程截图

​​

五、本文总结

到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv11改进有效涨点专栏，本专栏目前为新开的平均质量分98分，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~