无人机RGBT双模态小目标行人检测：数据集+YOLOv8融合方案
概述g
针对无人机低空安防、应急搜救等场景中小目标行人检测难、夜间/弱光鲁棒性差的问题，本文开源DroneRGBT-Pedestrian数据集，并提供基于YOLOv8的RGBT双模态融合检测方案，支持快速训练与部署，适配全天候复杂环境。
📊 数据集核心亮点（DroneRGBT-Pedestrian）
- ✅采集规格：无人机50–80m高度、45°–60°俯视角，搭载RGBT双光相机同步采集
- ✅数据规模：6,125对RGB-红外图像（4,900train/1,225test），分辨率640×512，含70,880个行人实例
- ✅目标特性：以＜32×32像素小目标为主，涵盖遮挡、密集、夜间/低照度场景，RGB与红外像素级对齐
- ✅标注兼容：支持YOLO/COCO/VOC格式，适配主流检测模型
- ✅适用场景：低空安防、应急搜救、智慧城市、边境巡检、夜间监控
🚀 技术方案（YOLOv8早期融合，无代码实现）
1. 双模态融合策略
采用早期融合：将RGB（3通道）与红外（1通道）拼接为4通道输入，保留双模态原始信息，适配YOLOv8输入结构。
2. 模型适配与训练
- 自定义YOLOv8s架构，首层卷积自动适配4通道输入
- 重写数据加载器，支持4通道.npy文件读取，匹配YOLO标签格式
- 训练配置：imgsz=512、batch=16、epochs=100，单GPU即可运行
3. 推理与部署
- 输入单对RGB-红外图像，拼接为4通道后模型推理，结果叠加至RGB图可视化
- 部署选项：科研用.npy格式，工程用4通道TIFF/PNG，加速可导出ONNX转TensorRT
💡 核心价值
- 提供首个无人机RGBT小目标行人检测基准数据集，填补领域空白
- 给出开箱即用的YOLOv8融合方案，低成本实现双模态互补，显著提升夜间/弱光检测精度
- 支持多模态融合研究、跨模态对齐与迁移学习，为无人机全天候感知提供技术支撑
文章标签
#无人机目标检测 #RGBT双模态 #小目标检测 #YOLOv8 #红外可见光融合 #低空安防 #应急搜救
