暴雪天气下的自动驾驶视觉困境：事件相机能否改善去雪效果？

背景与问题

在暴雪等恶劣天气条件下，自动驾驶系统的视觉感知能力显著下降。雪花的快速移动和密集遮挡会在摄像头图像中形成高亮点、拖影或随机噪声，使道路、车辆及行人信息受损。

传统单帧图像去雪方法仅依赖空间特征，容易产生伪影；而基于视频的去雪方法虽然利用时间信息，但对高帧率和帧间对齐要求极高，在车辆自运动及雪花随机运动的实际驾驶场景中容易出现对齐错误，同时对相机参数及场景泛化能力敏感。

因此，雪天视觉退化问题不仅受算法能力限制，更受传感器信息本身局限的影响。

事件相机方法概述

为缓解雪天视觉退化问题，苏黎世大学 Robotics and Perception Group 提出利用事件相机的方法。事件相机不按固定帧率采集图像，而是在像素亮度发生变化时生成事件，时间分辨率可达亚毫秒级。

雪花在事件流中形成连续的时空条纹，而背景结构变化相对缓慢，为区分雪花与场景提供了新的信息线索。

研究团队设计了结合注意力机制的网络模块，从事件数据中识别雪花遮挡区域，并在这些区域降低对原始图像的信任度，通过时空上下文恢复被遮挡背景，实现高质量图像重建。

数据集与实验

为了验证方法有效性，团队构建了 DSEC-Snow 数据集。该数据集通过绿幕技术将真实雪景叠加至原 DSEC 自动驾驶数据中，同时生成同步的图像、事件流和精确真值。

实验结果显示，该方法在图像重建 PSNR 上较现有最优方法提升约 3 dB，在深度估计和光流等下游任务中性能提升约 20%。此外，该方法在高密度雪花遮挡场景中表现出更稳定的性能和细节保留能力，相较传统图像或视频去雪方法具有明显优势。

方法局限与讨论

尽管事件相机在雪天视觉感知中展现潜在改善效果，但其作用为辅助性质，并非根本性解决方案。事件相机无法替代激光雷达或毫米波雷达在极端天气下的可靠感知能力，其性能依赖于多传感器融合体系。

在实际自动驾驶系统中，事件相机提供的高时间分辨率信息可增强系统在雪密、遮挡严重条件下的视觉稳健性，但仍需结合其他传感器实现全天候可靠感知。

最后

综上所述，该研究表明，事件相机为雪天视觉感知提供了新的信息维度。通过深度融合事件与图像数据，该方法在去雪质量、细节保留及场景鲁棒性方面表现优异，为自动驾驶系统在恶劣天气下维持视觉感知提供可行辅助策略，同时为多模态感知和全天候可靠性研究提供重要参考。

因此，ShiMetaPi基于锐思智芯技术打造的事件相机产品——灵光1号及其他EVS系列产品，有望推动该技术在自动驾驶系统中的落地应用，为暴雪及复杂天气条件下的视觉感知提供高性能硬件支撑。

声明：本文仅为技术探讨与分析，文中信息仅供参考，作者及发布方不对其准确性、完整性或使用结果承担责任。

原论文下载：

链接: https://pan.baidu.com/s/1BNkZGSbx7PbUBnNX-6GAJw

提取码: krtg

灵光1号事件相机：https://forum.shimetapi.cn/wiki/zh/evs-camera/CF-NRS1/introduction/ch01-About-CF-NRS1.html