路侧感知之「道路抛洒物检测」

有着巨大的应用潜力和研究价值

1 前言

抛洒物，如石头、掉落货物、饮料瓶、废纸箱、废旧轮胎，甚至遮雨布等时常会被抛洒或丢弃在高速公路路面上。此类抛洒物一直是引发交通事故的原因之一，严重威胁着道路上的行车安全，甚至会导致重大的人员伤亡。

特别是在高速公路上(如图1所示)，车辆在高速行驶中，当驾驶员发现前方的抛洒物时，由于车速太快，驾驶员反应时间短，只能采取紧急避让措施，极易发生追尾、撞护栏，甚至翻车的交通事故，而且还会引起二次事故的发生，严重影响道路的整体通行能力和运营效率。

因此，及时、准确地检测出道路抛洒物是视频交通监控类的交通事件检测之一，交通事件检测与确认是公路管理系统的基础与核心，对解决道路交通问题具有重要的意义。

2 抛洒物定义及检测技术路线

抛洒物一般描述为[1]，在监控视频中，从运动目标上分离，逐渐静止到场景中，并融入背景的物体。在公路上的抛洒物是从车辆目标上分离的，且抛洒物一般较小（与车辆相比）。根据抛洒物的定义，对其检测的技术路线分为以下三步。

1)检测出目标，包括车辆目标和抛洒物（在运动阶段的时候）。

2)根据抛洒物与车辆目标的差异，分离出车辆目标。

3)从除去车辆目标的剩余目标中，根据抛洒物的静止特征，用静态前景物检测方法。很多用于遗留物体检测和滞留与偷窃物检测等算法均属静态前景物检测算法范畴。

3 面临的挑战

道路抛洒物检测尽管是可行的，但是，依然面临很多问题大体上可以分为两类：一类是抛洒物自身引入的相关问题；另一类是以目标检测为核心的抛洒物检测算法的自身缺陷。

抛洒物相关属性(如：大小、颜色和形状等)具有很大的不确定性。例如，在高速公路上，小到玻璃渣、铁钉、石子和砖头，大到轮胎、布卷、钢卷和货箱，都可归类为抛洒物，都会对车辆驾驶安全产生威胁。

同时，对于不同尺寸和材质的抛洒物，有些是允许车辆压过去的，有些是必须绕行的。这些导致抛洒物检测是一个开放式的问题，非常不利于检测算法的设计。

道路环境属于室外环境，复杂多变，场景在一天中随时间的变化而变化（光线变化），并受季节和天气（阴、晴、雾等）的影响。

基于视频图像进行抛洒物检测时，不可避免的也受如下因素的影响：光照、阴影、遮挡、相机抖动、对比度低、前景与背景相似、背景动态变化和图像模糊等。静态前景物检测算法[2]，这类算法大都需要基于一张可靠、真实的背景。

相比室内环境应用（如遗留物体检测算法、滞留与偷窃物体检测算法等），如何在这复杂多变的室外道路场景下提取具有较强鲁棒性的背景，是非常具有挑战的事情。

当背景不进行更新或更新速率较慢时，光照变化和路面上的阴影都有可能导致误检，而且如果背景中含有目标时，则还可能产生“鬼影”。当背景更新频繁时，就有可能将静态的抛洒物更新进背景中而导致漏检。

再如，为了缓解光照变化带来的影响，引入了基于目标边缘轮廓的打分函数。尽管在一定程度上缓解了光照变化带来的影响，但是当光照变化比较快，如在中午大热天时，目标的边缘轮廓的碎片化程度也会随之改变，从而有可能导致漏检。

再如，为了缓解路面阴影所产生的影响，在筛选操作后加入了跟踪器，虽然一定程度上解决了车身阴影对路面抛洒物遮挡而导致无法正常检测的影响，但一旦误检目标输入到跟踪器，有可能会一直误检。

此外，在引入深度学习的方法进行抛洒物检测时，抛洒物的训练样本是比较稀缺的，一般需要研究人员自己收集和标注，这对人力物力是一个严峻的挑战。同时，抛洒物类别的不确定性，不可避免的会带来对类别范围之外的抛洒物漏检。

4 基于视频图像的抛洒物检测方法

抛洒物检测可以看作是静态前景检测的一种应用，提出的大多数方法都是对监控摄像机拍摄的视频图像进行处理，而且都是将抛洒物作为路面上突然出现的异常物体且会持续存在一段时间的异常事件进行检测。一般采用的检测算法流程图大致可以归纳如下：

1)图像预处理

常采用的方法为图像滤波，对比度增强等操作。目的是为了凸显出感兴趣的静态前景目标。

2)提取候选静态目标前景

基于视频图像的静态目标前景提取方法大致可以分为三类：①传统目标检测方法；②基于深度学习的目标检测方法；③传统检测方法与深度学习方法相结合。

◼ 传统目标检测方法

针对监控摄像机，最普遍使用方法的就是通过背景差分来提取目标前景。这在提取候选静态目标前景的场景下也是最普遍使用的方法。

根据应用场景的复杂程度不同，背景建模和背景更新的方式也有差异。常见的背景建模方法有：单高斯背景模型[3]、GMM[4]、帧间均值滤波[5]、改进后的 WU-PAWCS[6] 和边缘背景模型[7]等。

为了消除动态前景的干扰和光线噪声，背景差分方法也会与帧间差分方法[4]、边缘统计[8]等方法相结合，以获取稳定的候选静止目标前景。同时，为了防止静态前景被更新进背景中，有学者采用了长短期双背景模型[9]。

也有学者对前景与背景区域分别采用不同的更新策略，如：前景区域不更新，背景区域实时更新等[10]。此外，也有学者[11]基于前景与背景相互独立的假设，直接利用ICA(independent component analysis)来获取候选目标前景。

◼ 基于深度学习的目标检测方法

随着深度学习的推广与普及，yolo系列[12]，RetinaNet[13]和CenterMask[14]等深度学习网络被用于抛洒物检测，直接输出抛洒物的类别和位置。上述深度学习网络一般只能输出固定类别的抛洒物，对于在其类别范围之外的抛洒物则无能为力。

为了应对抛洒物类别的不确定性，有学者[15]提出基于孪生网络对比当前帧与历史帧之间的外观特征(深度学习特征)差异，从而确定候选静态目标前景的方法。

◼ 传统检测方法与深度学习方法相结合

比较常见的是先利用背景差分确定候选目标前景，然后利用深度学习网络的强大检测能力去除掉车、人等常见的交通参与者的干扰，从而获得稳定的候选静态目标前景[16]。

3)筛选

主要是对上述获取的候选静态前景进行筛选，以获得真实的感兴趣的静态前景目标。常用的筛选方法有：

①基于抛洒物外观特征，如位置、宽高比、面积和3D大小等几何信息与颜色等特征进行简单筛选。

②通过SVM等分类器或者深度学习网络来筛选。

③基于时间统计的方式来筛选，即判别候选静态前景对应的目标区域是否一段时间内持续处于静止状态。

④ 通过打分函数来进行筛选，如通过对候选静态前景区域的边缘轮廓的碎片化程度和凸性来进行打分，从而判别该区域是否存在静止的目标。

⑤上面几种方法之间的组合。

4)结果输出

除了将上述筛选后的结果进行直接输出外，也存在将筛选后的结果输出给跟踪器，待进一步处理后再进行结果输出。这样做的好处是：可以一定程度上缓解阴影和遮挡等因素的影响，同时在一定程度上也可起到加速检测的目的。

5 基于激光雷达的抛洒物检测方法

随着技术的不断发展，一些新的传感器，如激光雷达，也被广泛应用在目标感知中，以弥补视觉感知的不足，形成优势互补。

激光雷达由发射系统、接收系统、扫描系统和信息处理系统四部分组成，在自动驾驶、机器人、无人机、测绘等领域有着广泛的应用。

其工作原理是激光发射器发射激光束，扫描系统调整激光束的方向，将激光束发射到周围环境中，接收器接收到经过周围环境中目标物反射的回波，并将其转换为电信号，信息处理系统对电信号进行分析，便可获取目标的相关信息，例如，目标距离、方位、高度、速度、姿态等参数，从而对目标进行探测、跟踪和识别。

激光雷达用于抛洒物检测时，主要是对周围环境进行三维建模，在经过ROI区域划分、地面分割、点云聚类后，就可以完成道路上抛洒物的3D检测。它具有如下优点：

①可以24小时全天后对道路上的抛洒物进行检测。激光雷达是通过向周围环境中主动发射激光束来感知周围目标的，不受外界光照变化等因素的影响，可以更好的适用复杂的室外环境；

②可以获得抛洒物的3D结构信息，不仅可以缓解因抛洒物相关属性(如形状和大小等)不确定所导致的问题，而且还可以判断抛洒物是否对车辆驾驶产生危险；

③可以用于抛洒物整个运动过程(从远离运动目标，到运动一段时间，再到静止)的检测。因为激光雷达可以提供准确的目标深度信息，相比于相机，它提供的位置更准确。

6 展望

道路抛洒物检测是智能交通系统交通事件检测的一个重要组成部分。交通强国建设要求大力推进新一代信息技术与交通运输的深度融合，积极引入人工智能等新型路侧感知技术和手段，逐步实现事件信息从人工监控到自动识别的转变，已成为未来发展趋势及行业需求热点。

做好路侧感知技术是道路安全畅通运行的重要保障，对于交通隐患的预防，交通环境的维护以及交通事件的记录报警等有着重要的作用。

此外，基于路侧感知的抛洒物检测还可拓展到其它领域，包括自动驾驶、车路协同驾驶、公路智能养护、公共场所的安全检测，及物品的失窃遗失报警等，有着巨大的应用潜力和研究价值。

参考文献：

[1]理勤辉. 公路抛洒物视频检测方法研究[D]. 陕西:西安电子科技大学,2011

[2]Cuevas C, Martínez R, García N. Detection of stationary foreground objects: A survey[J]. Computer Vision and Image Understanding,2016(152):41-57.

[3]汪贵平,马力旺,郭璐等.高速公路抛洒物事件图像检测算法[J].长安大学学报(自然科学版),2017,37(05):81-88.

[4]S. Saluky, S. H. Supangkat, I. B. Nugraha. Abandoned Object Detection Method Using Convolutional Neural Network[C]. 2020 International Conference on ICT for Smart Society (ICISS), Bandung, Indonesia, 2020, pp. 1-4.

[5]R. K. Tripathi, A. S. Jalal, C. Bhatnagar. A framework for abandoned object detection from video surveillance[C]. 2013 Fourth National Conference on Computer Vision, Pattern Recognition, Image Processing and Graphics (NCVPRIPG), Jodhpur, https://gitee.com/open-v2x/docs/blob/master/src/v2x-algorithm-Fusion.mdIndia, 2013, pp. 1-4.

[6]杨陆星. 高速公路场景下基于路侧相机的抛洒物检测算法研究[D].湖南大学,2021.

[7]DAHI I, MEZOUAR E C M, TALEB N, et al. An edge-based method for effective abandoned luggage detection in complex surveillance videos[J]. Computer Vision and Image Understanding, 2017(158): 141–151.

[8]交通监控中机动车辆抛洒遗漏事件检测[D].北京邮电大学,2011.

[9]Shet-Talathi K , Khobragade S V . A real time abandoned object detection hardware approach[C]. 2017 ICECDS:1225-1230.

[10]欧阳聪宇. 基于背景分离混合高斯模型的高速公路小目标抛洒物检测[D].浙江大学,2020.

[11]Bhinge S , Levin-Schwartz Y , Fu G S ,et al. A Data-Driven Solution for Abandoned Object Detection: Advantages of Multiple Types of Diversity[C]. 2015 IEEE Global Conference on Signal and Information Processing (GlobalSIP), Orlando, FL, USA, 2015, pp. 1347-1351.

[12]G. Wang, M. Zhou, X. Wei and G. Yang. Vehicular Abandoned Object Detection Based on VANET and Edge AI in Road Scenes[J]. in IEEE Transactions on Intelligent Transportation Systems

[13]A F. Amin, A. Mondal, J. Mathew. A Large Dataset With a New Framework for Abandoned Object Detection in Complex Scenarios[J]. in IEEE MultiMedia,2021, 28(3):75-87.

[14]章悦,张亮,谢非等.基于实例分割模型优化的道路抛洒物检测算法[J].计算机应用,2021,41(11):3228-3233.

[15]郭恩强,符锌砂.基于特征相似性学习的抛洒物检测方法[J].华南理工大学学报(自然科学版),2023,51(06):30-41.

[16]叶锐智. 基于背景模型的高速公路抛洒物检测算法[D].华南理工大学,2022.