YOLOFuse train_dual.py高级选项：学习率、batch size调整策略-深圳市維司達科技有限公司

YOLOFuse 训练调优实战：学习率与 Batch Size 的精细控制之道

在智能监控、自动驾驶等现实场景中，光照变化剧烈、夜间环境复杂已成为视觉感知系统难以回避的挑战。传统的可见光（RGB）目标检测模型在低照度条件下性能急剧下降，而红外（IR）图像虽能穿透黑暗，却缺乏纹理细节。面对这一矛盾，RGB-红外双模态融合检测技术凭借其强互补性脱颖而出，成为提升全天候感知能力的关键路径。

YOLOFuse 正是为此构建的高效多模态框架，基于 Ultralytics YOLO 架构实现端到端训练，已在 LLVIP 等公开数据集上展现出卓越性能。但真正决定其上限的，并非网络结构本身，而是训练过程中的“隐形引擎”——超参数调控策略。尤其是在资源受限的实际部署中，如何通过合理设置学习率和批量大小（Batch Size）来平衡精度、速度与显存消耗，往往是成败的关键。

学习率怎么设？别再用固定值了

很多人刚开始训练时习惯直接设定一个固定学习率，比如lr=0.01，然后跑完整个训练周期。但在双流融合网络中，这种做法很容易导致初期梯度爆炸或后期陷入局部最优。

真实情况是：模型刚初始化时权重随机分布，前几轮如果步子迈得太大，损失函数会剧烈震荡；而到了后期，需要的是微调而非大幅更新。因此，动态调整学习率才是正道。

YOLOFuse 借助 PyTorch 的调度机制，支持多种先进的学习率策略。其中最推荐的是OneCycleLR，它采用“先升后降”的余弦退火方式，在前期快速收敛，后期精细优化。配合 warmup 阶段使用，效果尤为显著。

举个例子，在 LLVIP 数据集上的实验表明，启用 3 个 epoch 的 warmup 后，loss 曲线从一开始就平稳下降，几乎没有出现过波动。相比之下，不加 warmup 的版本在第 1~2 轮 loss 可能飙升到十几甚至更高，严重影响后续收敛。

具体参数配置如下：

参数	推荐值	说明
`lr0`	0.01	初始学习率，适合 SGD 优化器
`lrf`	0.01	最终学习率为初始的 1%，即 0.0001
`warmup_epochs`	3	前 3 个 epoch 线性增长至目标值
`warmup_momentum`	0.8	动量渐进式恢复，避免早期冲过头

这些数值不是拍脑袋来的。我们分析了大量 YOLOFuse 实验日志发现，当warmup_epochs < 2时仍有一定震荡风险；超过 4 则浪费训练时间。3 是一个性价比极高的折中点。

from ultralytics.utils.torch_utils import one_cycle import torch # 构建 OneCycle 学习率衰减函数 lf = one_cycle(1, 0.1, 0.00048) # (final_epoch_ratio, div_factor, final_div) scheduler = torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda=lf)

这段代码里的one_cycle函数来自 Ultralytics 工具库，内部实现了完整的 warmup + cosine annealing 流程。你不需要手动写调度逻辑，只需传入关键参数即可生成平滑的学习率曲线。

值得一提的是，虽然 Adam 对学习率相对鲁棒，但在双流结构中我们更推荐使用SGD + momentum (0.937)。原因在于 SGD 更利于泛化，且两个分支的梯度更容易保持平衡。若某一模态（如 IR）信噪比较低，过快的自适应更新可能导致其被压制，影响融合效果。

Batch Size 不只是越大越好

说到 batch size，很多人的第一反应是“越大越好”，因为大 batch 提供更稳定的梯度估计。这话没错，但前提是你的 GPU 能扛得住。

以输入尺寸 640×640 的双流输入为例，每张图包含一对[RGB, IR]，内存占用几乎是单模态的两倍。在 Tesla T4（16GB）上，纯 fp32 训练最大只能跑到batch=16；若强行增大，立刻 OOM。

那是不是就放弃大 batch 的优势了？当然不是。

YOLOFuse 支持梯度累积（Gradient Accumulation），这是解决小显存设备训练问题的核心技巧之一。原理很简单：我不一次性处理 64 张图，而是每次处理 16 张，连续做 4 次前向+反向传播，累积梯度后再统一更新一次参数。这样等效 batch 就达到了 64。

results = model.train( data='llvip.yaml', epochs=100, imgsz=640, batch=16, # 实际每批加载数量 amp=True, # 启用自动混合精度 accumulate=4 # 每4步更新一次 → effective batch = 64 )

这里还启用了 AMP（Automatic Mixed Precision），进一步将显存占用降低约 40%。两者结合，使得原本需要 A100 才能运行的大 batch 训练任务，现在一块 T4 也能轻松应对。

不过要注意，增大 effective batch 后，学习率也得相应调整。经验法则是遵循线性缩放规则（Linear Scaling Rule）：

$$
\text{new_lr} = \text{base_lr} \times \frac{\text{new_batch}}{\text{base_batch}}
$$

例如原配置为lr=0.01 @ batch=16，现在用了accumulate=4，相当于batch=64，那么新的学习率应设为：

$$
0.01 \times \frac{64}{16} = 0.04
$$

如果不调学习率，梯度平均后变小，等同于整体学习率下降，会导致收敛变慢甚至停滞。

另外，根据我们在 LLVIP 上的测试，mAP@50 在batch ≥ 32后提升趋于饱和，继续增大对精度帮助有限，反而增加训练时间。因此对于大多数应用场景，建议将 effective batch 控制在 32~64 之间，兼顾效率与收益。

多模态训练中的特殊考量

双流融合不同于普通单模态训练，有几个细节特别容易踩坑。

1. 梯度不平衡问题

RGB 图像通常质量高、边缘清晰，而 IR 图像噪声多、对比度低。如果不加干预，Backbone 中 RGB 分支的梯度幅值可能远高于 IR 分支，导致模型“偏科”。

解决方案有两个方向：
-权重层面：在融合前对两路特征加可学习的 attention 权重，让模型自己调节重要性；
-训练层面：使用更大的 IR 数据增强（如更强的随机裁剪、模糊），人为提高其信息密度。

YOLOFuse 当前采用的是中期融合结构，在 CSP 层后引入轻量级门控机制，参数仅增加 2.61MB，却能在 LLVIP 上达到 94.7% mAP@50，远超单一模态极限。

2. 数据配对与加载效率

由于每张图像必须成对读取（RGB + IR），数据加载器的设计尤为关键。若处理不当，I/O 可能成为瓶颈。

YOLOFuse 使用Paired Dataset结构，确保两个目录（images/和imagesIR/）中的文件名严格对应。同时启用多进程 worker（推荐workers=4~8），并开启持久化 dataloader 缓存，大幅提升吞吐量。

3. 多卡训练如何配置？

如果你有多个 GPU，强烈建议启用 DDP（Distributed Data Parallel）。这时batch参数表示总批量，框架会自动均分到各卡。

例如：

torchrun --nproc_per_node=4 train_dual.py --batch 64

相当于每卡处理 16 张，总 effective batch 仍为 64。注意此时梯度累积仍可叠加，但需谨慎避免总 batch 过大导致过拟合。

不同硬件条件下的最佳实践

面对不同的开发环境，灵活调整策略才能最大化资源利用率。

场景	推荐配置
单卡 T4 / RTX 3090（24GB以下）	`batch=8~16`,`accumulate=2~4`,`amp=True`,`lr=0.02~0.04`
追求最高精度（A100/A800）	`batch=32~64`, 关闭 accumulate，使用`OneCycleLR + cosine`衰减
快速验证原型	固定`lr=0.01`,`step decay`,`batch=16`,`imgsz=320`加速迭代
边缘端微调	冻结主干网络，只训 fusion head，`lr=1e-4`,`batch=8`即可