YOLOv8 训练FLIR自动驾驶数据集 RGB与红外两种模态 红外可见光多模态车辆行人检测数据集 YOLOV8模型如何训练 自动驾驶多模态感知，研究 红外与可见光融合检测，提升系统在低光照、恶劣天

FLIR自动驾驶数据集，包含RGB与红外两种模态

该数据集为配准版本，包含4113对训练图像，514对验证图像，515对测试图像
含“bicycle”,“car”,“person”三种类别。

标签为yolo格式，可直接用于yolo目标检测模型训练

1

以下是FLIR 自动驾驶多模态数据集（配准版）的结构化信息表格：

📁 博主推荐目录结构（用于 YOLO 训练）

flir_dataset/ ├── images/ │ ├── train/ │ │ ├── rgb/ # RGB 图像（.jpg） │ │ └── thermal/ # 红外图像（.jpg） │ ├── val/ │ │ ├── rgb/ │ │ └── thermal/ │ └── test/ │ ├── rgb/ │ └── thermal/ └── labels/ ├── train/ # YOLO .txt 标签（通常基于红外图标注） ├── val/ └── test/

💡注意：

• 官方 FLIR 数据集的 YOLO 标签通常以红外图像为基准生成（因热成像目标更清晰）；
• 若需在RGB 图上使用相同标签，需确保图像已配准（本数据集已满足）。

✅ 支持的训练方式

📊 性能预期（YOLOv8n，红外模态）

🔍总结：该数据集是自动驾驶多模态感知的优质资源，特别适合研究红外与可见光融合检测，提升系统在低光照、恶劣天气下的鲁棒性。标签为标准 YOLO 格式，可“开箱即用”进行模型训练。

以上文字及代码仅供参考

FLIR 自动驾驶多模态数据集（含 RGB + 红外图像，YOLO 格式标签），提供完整、 YOLOv8 训练方案，包含数据准备、模型配置和代码。

✅ 一、前提条件

• 数据集结构如下（假设你已解压并整理好）：

  flir_dataset/ ├── images/ │ ├── train/ # 包含 rgb/ 和 thermal/ 子目录 │ ├── val/ │ └── test/ └── labels/ ├── train/ ├── val/ └── test/

• 标签为 YOLO 格式（.txt），基于红外图像尺寸（640×512）归一化。
• 安装环境：

  pipinstallultralytics opencv-python numpy matplotlib tqdm

🎯 二、训练策略选择

💡建议初学者先从策略1（红外单模态）开始，效果稳定且无需修改模型。

🔧 三、方案1：单模态训练（红外图像）

步骤 1：创建data.yaml

# flir_thermal.yamlpath:./flir_datasettrain:images/train/thermalval:images/val/thermaltest:images/test/thermalnc:3names:['person','bicycle','car']

📌 注意：YOLO 标签必须与thermal/图像一一对应（文件名相同）。

步骤 2：训练脚本（train_thermal.py）

# train_thermal.pyfromultralyticsimportYOLO# 加载预训练模型model=YOLO('yolov8n.pt')# 或 yolov8s.pt# 开始训练results=model.train(data='flir_thermal.yaml',epochs=100,imgsz=640,# 与红外图高度匹配（640x512 → 自动填充为640x640）batch=16,name='flir_thermal_yolov8n',device=0,patience=20,hsv_h=0.01,hsv_s=0.5,hsv_v=0.3,degrees=5.0,mosaic=0.8)print("✅ 红外单模态训练完成！")

✅优势：红外图像不受光照影响，行人/车辆热信号清晰，mAP 通常更高。

🌈 四、方案2：单模态训练（RGB图像）

⚠️ 前提：确保 RGB 图像已下采样并配准到 640×512，否则标签坐标不匹配！

修改data.yaml：

# flir_rgb.yamlpath:./flir_datasettrain:images/train/rgbval:images/val/rgbtest:images/test/rgbnc:3names:['person','bicycle','car']

🔧 若原始 RGB 是 1280×1024，需先预处理为 640×512（保持标签有效）：

# resize_rgb.py（一次性预处理）importcv2frompathlibimportPath rgb_dir=Path("flir_dataset/images/train/rgb")out_dir=Path("flir_dataset/images/train/rgb_640")out_dir.mkdir(parents=True,exist_ok=True)forimg_pathinrgb_dir.glob("*.jpg"):img=cv2.imread(str(img_path))resized=cv2.resize(img,(640,512))# 注意：FLIR 红外是 640x512cv2.imwrite(str(out_dir/img_path.name),resized)

然后将train/rgb_640用于训练。

🔀 五、方案3：双模态融合训练（进阶）

YOLOv8 原生不支持四通道输入（RGB + 红外 = 4通道），需自定义模型头。

方法：将红外图作为第4通道拼接到RGB

步骤 1：构建四通道图像（预处理）

# merge_rgb_thermal.pyimportcv2importnumpyasnpfrompathlibimportPathdefmerge_modalities(rgb_dir,thermal_dir,output_dir):output_dir=Path(output_dir)output_dir.mkdir(parents=True,exist_ok=True)forrgb_pathinPath(rgb_dir).glob("*.jpg"):thermal_path=Path(thermal_dir)/rgb_path.nameifnotthermal_path.exists():continuergb=cv2.imread(str(rgb_path))# (512, 640, 3)thermal=cv2.imread(str(thermal_path),0)# (512, 640) 灰度# 将 thermal 扩展为3通道 or 直接拼成4通道thermal_3ch=np.stack([thermal]*3,axis=-1)# 可选：复制为3通道# 或者保留为1通道：merged = np.dstack([rgb, thermal]) → (512,640,4)# 这里我们简单拼成4通道merged=np.dstack([rgb,thermal])# (H, W, 4)np.save(output_dir/(rgb_path.stem+".npy"),merged)# 示例merge_modalities("flir_dataset/images/train/rgb_640","flir_dataset/images/train/thermal","flir_dataset/images/train/fused")

步骤 2：修改 YOLOv8 模型输入层（需自定义）

超出标准 YOLOv8 范围，建议使用Ultralytics 的自定义模型功能或改用MMDetection/Detectron2。

📌简化替代方案：
训练两个单模态模型（RGB + 红外），推理时融合检测结果（如 NMS 融合）。

🔍 六、推理与评估

# detect_thermal.pyfromultralyticsimportYOLO model=YOLO('runs/detect/flir_thermal_yolov8n/weights/best.pt')# 检测红外图像results=model('flir_dataset/images/val/thermal/00001.jpg')results[0].show()# 显示结果# 评估 mAPmetrics=model.val(data='flir_thermal.yaml')print(f"mAP50:{metrics.box.map50:.3f}")

📊 七、预期性能（红外模态，YOLOv8n）