YOLOFuse 多模态目标检测 - 社区镜像使用指南
在复杂环境下的目标检测任务中，单一视觉模态往往力不从心。比如夜间、烟雾或强光场景下，RGB 图像容易失效，而红外（IR）图像恰好能捕捉热辐射信息，补足感知盲区。正是基于这一需求，YOLOFuse应运而生——一个专为双模态融合设计的高效目标检测框架。
该社区镜像已完整集成 PyTorch、Ultralytics YOLO 等核心依赖，无需手动配置 CUDA 或处理版本冲突，真正实现“开箱即用”。项目代码位于/root/YOLOFuse，所有训练与推理流程均已封装就绪，您只需关注数据和模型调优即可快速上手。
核心特性一览
- ⚡️ 零配置启动：PyTorch + Ultralytics 环境全预装，避免繁琐的 pip 安装和兼容性问题。
- 🛠 多种融合策略支持：涵盖决策级、早期特征融合、中期特征融合等多种方式，灵活适配不同硬件条件与精度要求。
- 📊 显著提升复杂场景性能：相比单模态模型，在低光照、遮挡等条件下 mAP 提升明显，尤其适用于安防监控、自动驾驶夜视系统等实际应用。
项目结构说明
进入容器后，主要工作目录为/root/YOLOFuse，其关键文件与路径如下：
| 路径/文件 | 功能描述 |
|---|---|
/root/YOLOFuse/ | 项目根目录，包含全部源码 |
train_dual.py | 双流融合训练主脚本 |
infer_dual.py | 推理脚本，用于测试模型效果 |
runs/fuse | 训练输出目录，保存权重.pt文件及日志图表 |
runs/predict/exp | 推理结果可视化图片存储位置 |
建议首次使用前先浏览一遍目录结构，熟悉各模块职责。
快速体验：三步跑通全流程
第一步：修复 Python 软链接（仅首次需要）
部分环境中可能存在python命令未指向python3的情况。若执行python --version报错，请运行以下命令建立软链接：
ln -sf /usr/bin/python3 /usr/bin/python此后即可正常使用python命令。
第二步：运行推理 Demo 查看效果
想立刻看到融合检测的实际表现？直接执行：
cd /root/YOLOFuse python infer_dual.py脚本将加载预训练模型，并对内置示例图像进行推理。完成后，前往/root/YOLOFuse/runs/predict/exp目录查看生成的检测图，每张图都会标注出检测框与类别，直观展示 RGB 和 IR 信息是如何被协同利用的。
💡 小技巧：可以尝试修改
infer_dual.py中的输入路径，传入自定义图像对（需成对命名），实时验证模型泛化能力。
第三步：启动默认训练任务
使用 LLVIP 数据集作为基准，运行以下命令开始训练：
cd /root/YOLOFuse python train_dual.py训练过程中会自动记录 loss 曲线、mAP 指标变化以及最佳权重文件，最终结果统一保存在runs/fuse子目录中。根据 GPU 性能不同，一轮完整训练通常耗时 1~2 小时。
如何训练自己的数据集？
虽然镜像已内置 LLVIP 数据供快速验证，但更多时候我们需要适配私有场景。以下是接入自有数据的标准流程。
1. 数据组织格式
YOLOFuse 要求提供成对的可见光与红外图像，且文件名严格一致。推荐将数据存放于/root/YOLOFuse/datasets/your_dataset_name下，结构如下：
your_dataset_name/ ├── images/ # RGB 图像 │ └── 001.jpg ├── imagesIR/ # 对应红外图像 │ └── 001.jpg # 必须与 RGB 同名！ └── labels/ # YOLO 格式标注文件（txt） └── 001.txt # 坐标基于 RGB 图像标注，系统会自动复用到 IR 分支⚠️ 注意事项：
- 所有图像必须一一对应，否则会导致数据加载失败；
- label 文件采用标准 YOLOv8 格式（归一化中心坐标 + 宽高）；
- 不需要单独为红外图像制作标签。
2. 修改数据配置文件
找到项目中的数据配置文件（如data/llvip.yaml或新建custom.yaml），内容大致如下：
path: /root/YOLOFuse/datasets/your_dataset_name train: - images val: - images names: 0: person 1: car # 其他类别...请根据实际情况更新path字段，并确保names类别顺序与你的标注一致。然后在train_dual.py中加载此配置文件即可。
3. 开始定制化训练
确认配置无误后，再次运行训练命令：
python train_dual.py --data data/custom.yaml你也可以通过添加参数进一步控制训练行为，例如：
python train_dual.py \ --data data/custom.yaml \ --epochs 100 \ --imgsz 640 \ --batch-size 16 \ --fuse-mode mid # 指定融合策略：early/mid/later常见参数说明：
---fuse-mode：选择融合阶段，mid表示中期特征融合，兼顾效率与精度；
---device：指定 GPU 编号，如0或0,1多卡并行；
---workers：数据加载线程数，建议设置为4~8。
不同融合策略性能对比（基于 LLVIP 测试）
为了帮助用户做出权衡，我们对几种主流融合方式进行实测评估，结果如下表所示：
| 融合策略 | mAP@50 | 模型大小 | 特点分析 |
|---|---|---|---|
| 中期特征融合 | 94.7% | 2.61 MB | ✅ 推荐首选！参数最少，推理速度快，适合边缘部署 |
| 早期特征融合 | 95.5% | 5.20 MB | 在浅层融合，保留更多原始细节，对小目标更敏感 |
| 决策级融合 | 95.5% | 8.80 MB | 两路独立推理后再融合结果，鲁棒性强但延迟较高 |
| DEYOLO | 95.2% | 11.85 MB | 基于最新论文实现，结构复杂，显存占用大 |
📌 实践建议：
- 若追求轻量化部署（如 Jetson 平台），优先选用中期融合；
- 若应用场景中小物体较多（如夜间行人检测），可尝试早期融合；
- 对稳定性要求极高但资源充足的场景，可考虑决策级融合。
常见问题解答（FAQ）
❓ 终端提示/usr/bin/python: No such file or directory怎么办？
这是由于系统未创建python到python3的符号链接所致。只需执行一次修复命令即可：
ln -sf /usr/bin/python3 /usr/bin/python之后所有 Python 相关命令均可正常调用。
❓ 我只有 RGB 图像，没有红外数据能用吗？
YOLOFuse 是专为双模态融合设计的框架，无法真正发挥优势于单模态输入。如果你仅有 RGB 数据，建议改用原生 YOLOv8 进行训练。
不过，若仅用于调试流程，可临时复制一份 RGB 图像到imagesIR目录下“冒充”红外图（保持同名）。虽然失去了融合意义，但至少能验证代码通路是否畅通。
❓ 推理后的检测图保存在哪里？
每次运行infer_dual.py后，结果图片会自动保存至：
/root/YOLOFuse/runs/predict/exp如果已有同名实验目录，系统会自动生成exp2,exp3等递增编号以避免覆盖。
可通过文件管理器直接下载查看，或使用 OpenCV 展示图像进行二次分析。
❓ 如何切换不同的骨干网络或调整模型深度？
目前train_dual.py默认基于轻量级主干（如 CSPDarknet-Tiny 或 Small），若需更换为更大模型（如 Medium/Large），需修改模型定义部分的backbone参数，并同步调整通道融合逻辑。
未来版本计划引入 YAML 配置驱动，支持更灵活的模型组合。
结语：让多模态检测变得更简单
YOLOFuse 的设计理念是“简化双流融合的技术门槛”，使研究者和开发者能够专注于数据质量和应用创新，而非陷入底层工程泥潭。无论是学术探索还是工业落地，它都提供了一个稳定、高效的起点。
该项目持续开源维护中，欢迎访问 GitHub 主页获取最新进展：
https://github.com/WangQvQ/YOLOFuse
如果你觉得这个项目对你有帮助，不妨顺手点个 Star ⭐ 支持一下作者！
