应用现状、痛点及未来发展趋势展望

赛文交通网 智能交通 毫米波雷达 雷视一体机

编者按：2023年9月6日，在赛文交通网联合交通安全行为科学实验室举办的“雷达（雷视）实战应用效果线上交流会”上，黎明瑞达总经理、上海无线电设备研究所研究员王磊磊作了关于《双目雷视一体机在路口及高速场景下的应用》报告。

报告首先从用户侧和厂商侧两个角度分析了当前交通毫米波雷达应用现状及痛点，接着详细说明了双目雷视一体机的产品外观、组成、功能和雷视融合关键技术，并比较了双目雷视、单目雷视、分体式方案在系统组成、工程安装、功能拆解等角度的优劣势，介绍了双目雷视一体机在路口和高速场景的应用情况，最后提出交通雷视一体机未来的6个发展趋势。

一、交通毫米波雷达应用现状及痛点

根据赛文交通网统计，近三年来毫米波雷达的应用，不管是路口还是高速上都呈现增长趋势，在这个过程中，从用户侧还是从厂商侧，都积累了较多痛点。

用户侧普遍认为雷达厂商技术指标在吹牛。

第一是虚标严重，一下雨，距离严重缩水，不论是总机用户还是设备集成商，产品纸面设计与实际应用不一致，导致用户意见较大。

第二是在路口场景，如产品表明排队长度预测准确率大于90%或95%，实际上若应用到稍微复杂的路口，特别是上下班高峰期的路口，排队长度预测极其不准确。

第三是雷达事件检测不准，高速停车虚警多、判据加严后漏报多，主要针对高速，如单把雷达的事件检测数据报出来，客户会觉得停车的虚警多，让雷达厂商修改，判据加延后漏报数据增多，大家在使用雷达的过程中也不停发现雷达并没有想象中那么完美。

第四是弯道的效果差；第五是车型分类准确率不高，误判严重，雷达具有车型分配、分辨、分类的能力，准确率达90%甚至95%，但实际上应用场景中的车型分类准确率不高，或产生严重误判，甚至对行人、非机动车的检测也十分不准确。

厂商侧则认为用户不懂我。

第一是雷达指标是理想场景下的测试数据，甚至有些数据是在按时情况下测试，不论是角分辨率或是精度，都是针对一个点目标的测试数据，而在实际场景中针对的是车辆目标，它往往是个体目标，不能使用理想下点目标的检测数据来衡量这套体系或标准。

第二是多车拥堵排队、低速缓行对于现阶段雷达来讲还属于一个行业难题。

第三是客户认为体积大小与雷达散射截面积不同，是否能做一个区别和分类？实际上体积大小和雷达散射截面积的概念不同，如有的非机动车或是三轮机动车，其截面积有可能会比小轿车甚至中巴车都大。

第四是军工雷达中最难的地方在于“低小慢”，即高度低、雷达散射截面积小和目标运行速度慢，在交通场景下的难点在于它和大地已经融为一体，难以在一大片静止目标中检测一个移动的目标，并且因为散截面积小和运行速度慢，测人的距离与测车的距离差别较大，此外，对于“密小慢”，对应的是多车拥堵、排队和低速缓行等难点。

第五是大车遮挡，目前单从检测上看，大车遮挡是一个无法解决的永恒难题，所以业内有些厂商进行了许多检测，最终发现从检测器的置信度和可靠性上看，还是传统线圈最可靠，这是因为线圈是单点检测，与车辆的相对位置关系较为固定，但对于雷达来讲，几百米的范围之内都有检测目标，如果前面有大车遮挡，从原理上就解决不了问题。

 二、双目雷视一体机方案的技术特点

双目雷视一体机的纵向高度为340毫米，较为小巧，它实现了多传感器，包括两个双目摄像机和一个500米雷达的数据融合，构建了一个车路协同交通态势感知系统。产品的外观经历了5个月的研发和设计，仅外观方案就推倒了3次，最后从6个外观方案中，最终选定了一款（如下图）。

从产品组成上，双目雷视一体机包括两个摄像头，1颗长焦摄像头和1颗短焦摄像头，对于长焦摄像头，如果应用场景为高速公路，则采用50毫米，若是用于入口，则采用35毫米、800万像素，可覆盖100米到500米区间。对于短焦摄像头，同样也是800万像素，可以覆盖15米到150米的区间，焦距是12毫米。

此外一体机中集成了1个广域大场景的毫米波雷达，覆盖范围为20米到500米，覆盖10个车道，同时还有1颗AI智能芯片支持智能计算，算力为4个T，这是硬件组成部分。

从核心技术上，包括国产化低成本大场景广域雷达探测技术、双目视觉的识别和跟踪的技术、毫米波雷达和双目视觉的融合算法、高精度的交通信息统计和交通事件识别技术以及雷视融合一体机产业化技术。

其中较为关键的技术主要有三点：第一是长、短、中距雷达分布式设计及抗干扰技术、毫米波雷达与长短焦双目视觉融合多场景适应性技术以及基于雷视融合的交通事件检测技术。

下图是这款双目雷视一体机的原理性框架图，包含三个雷达模块，采用国产芯片、兼容近距、中距和远距以及宽窄结合的一个方案，也称雷达分布式设计。相机中有两个镜头，均为800万像素，计算芯片采用Hi3559。

在此过程中，数据通过内部网络实时进行数据交互，整个系统中还包含GPS定位模块、高精度陀螺仪以及补光灯。在设计过程中，采用雷达数据、摄像头数据和视频图像数据，实现数据级的底层融合。

从技术指标上，雷达行人探测距离为200米，小汽车为500米，覆盖10个车道。在波束角度中，近束波是一个大角度，可以覆盖到90度，距离为100米，中波束覆盖范围为100米到250米，为24度的波束宽度，远波束的波束宽度是9度，可以从200米到500米范围来进行监控。

基础功能包括一体机全覆盖范围内的双目和雷达的雷视融合，形成雷视轨迹、车牌识别、车辆属性识别，同时支持事件检测的输出。协议要求中轨迹事件为1400协议，视频的推流包括websocket、RTSP和28181协议。

事件功能包括客户交通中常提的拥堵、异常停车、交通事故、逆行、行人检测、倒车，车辆占用应急车道，城市间的占有率、车流量、排队长度等，均可输出。

从算法上看，雷视融合的正确率达到95%以上，横向车道级定位1.5米，纵向达到3.5米精度，全程实现雷视融合，可视条件下车牌识别准确率达到95%以上，事件检测在整个覆盖范围之内至少为95%的准确率，车流量和车道占有率，包括车型识别都有较高的指标。

雷达分布式设计及效果：下图是分布式雷达的设计图，主要是天线的设计图。国内雷达基本上分为几种流派：使用国产芯片、进口芯片或是进口模块，整体上看，国产芯片性价比最高。

下图是单雷达的一个测试，从这个指标上看，500米检测范围的雷达实际上可以测到一公里，但这是理想条件下的检测精度，高速公路上的安装条件以及车辆距离远的平面效应（即车辆遮挡效应）均会影响精度，很难做到一公里布置一台雷达。

从下图可以看到，如果车道上有大货车或大卡车，那么它后面的小汽车可能在一个相当长的范围之内都无法准确识别。

下图展示了雷视一体机在弯道上的效果，单针对弯道测试，通过所有雷达检测的轨迹，形成检测热力图，可以看到其角分辨率较高，在500米的情况下，从检测数据上可以准确的区分多个车道，在调试过程中，通过几分钟的数据形成点击后，调试人员根据感官在一条车道上标记10个点，上位机软件对10个点通过曲线拟合的方式，计算出这段路的数学方程，再拓展车道，总调试时间较短，具有便捷性优势。

对于雷达在路口、高速场景上的常见问题，如单雷达在路口排队的场景，包括有渠化，对雷达厂商来讲，道路路口有渠化或是3变4、道路拓展等不规则的道路变化，在技术上十分复杂，雷达厂商很难进行合理的外推和估计。

但对于雷达来讲，由于其它不是静止目标，雷达可以测试到，但感知不到它是一个有动目标，经过它的运动过程而形成了静止量的目标。

毫米波雷达与长短焦双目视觉融合技术：关于雷视检测和毫米波雷达的基础信息：雷视检测的主要目标对象包括行人、汽车、卡车、自行车和摩托车；视觉范围内的目标具有不同的尺度和长宽比，视觉检测目标之间同时会存在不同的程度的遮挡；由于夜晚、暴雨、大雾、大雪这种条件下，视频的检测外观会模糊，从而导致视觉定位的性能降低；毫米波雷达的检测性能受极端天气的影响相对较小，但对于大雨或暴雨等天气还是会有所影响；毫米波雷达提供准确的测量位置、速度，但无法提供目标的轮廓信息。

基于这些基础认识之上，形成了如下图所示的数据流程图。首先是单传感器，包括雷达检测、长焦图像检测、短焦图像检测以及滤波。

视觉中采用YOLO算法进行图像检测，使用匈牙利或视觉跟踪滤波算法进行跟踪研究，计算完基础数据后，因长短焦相机存在约50米范围内的重合区域，为此需要进行双视觉的同步检测匹配和去重，通过三个传感器进行空时同步，即时间和空间同步。

这套流程不光是在雷视一体机中采用，在雷视分体式的方案中也有应用。接着是坐标系的标定或转化。在上述工作完成后，进行雷达的特征识别、图像ROI生成，将每一个传感器的优势特点提取出来。

最后在融合层面，将数据层融合、决策层融合和特征融合进行选择，提出一个判决机制，来判断不同情况下适合采取的融合方案，如在车牌识别中，识别效果不稳定，而雷视融合会基于特征融合将车辆类型定义为一个车辆。

目前视频图像识别结果中，目标车辆基本上能够与雷达检测方框进行融合，但后续还有大量工作，实际中有上下坡、起伏、弯道等复杂场景，在坐标系的标定上需要花费大量功夫，如今还处于离线标定，未来将致力于探索实时标定方法。

双目雷视与其他方案的比较。除双目雷视一体机外，还有雷视分体式的组合和单目雷视一体机组合两种方案。

从组成上看，雷视分体式组合要想实现较好效果，除了毫米波雷达，还需要长短焦相机和大型边缘服务器，对于车牌的视频检测，都是在大型边缘服务器中计算，因此需要相当高的算力。

对于单目雷视一体机方案，节省了一个短焦相机，M12镜头是一个小镜头，短焦相机，因此需要一个长焦镜头做补充，比如在事件检测中，需要相机来辅助雷达进行二次校验，此外，M12镜头面较小，抗灰尘的能力较弱。如果采用双目雷视一体机，只需要安装一个设备，并且后续调试工作量减少。

在数据流程上，雷视分体式的组合数据流中，两路视频数据和一路雷达数据需要到交换机，再到边缘融合之后再给交换机，最后传输到中心平台，单目雷视一体机也是类似过程，也需要在边缘服务器中重复图像融合和匹配步骤。

而对于双目雷视一体机来说，在雷达侧即产品侧就已经完成了双目雷达的数据融合，从功能上来看，双目雷视一体机代替了部分边缘服务器的功能，如双目检测、雷视融合、事件检测、结构化数据生成等，但根据客户的需求还会配一个小型边缘服务器，进行数据的存储管理，许多项目中会存在很多事件，但在100个事件中客户可能只关注2个事件，剩余事件不需要回传，只需存在本地，存在边缘侧，待需要时再传回。

此外，边缘服务器还有一些用户定制化功能，比如施工监测、抛洒物检测等。

在安装时间上，双目雷视一体机方案比雷视分体式组合安装方案节约1小时/套，比M2单目雷视一体机方案节省0.5小时/套。时延性方面，双目雷视一体机方案数据时间同步性高、雷视融合处理延时低。

雷视分体式组合方案要从视频产生、视频编码、打包传输、视频解码、视频检测再到雷视融合，整个时延有300毫秒左右，而双目雷视一体机方案整体是通过底层数据进行融合，在80毫秒之内就可以完成一阵。

 三、双目雷视在路口和高速场景的应用

双目雷视一体机在路口和高速场景下的应用，首先存在两个优点：第一是有效识别机非混行，下图左上方图片是长焦相机识别的非机动车，中间是短焦相机识别的非机动车，右边是雷视融合之后对非机动车的标记。

第二是有效识别行人，双目雷视一体机可将雷达的性能和优势同摄像头的优势完美结合。

双目雷视检测可以准确识别拥堵路段场景下的车辆，还可以区分在车道中非机动车穿行的情况，并且在高速公路上，结合了双目雷视车牌提取的功能，包括短焦和长焦相机都具有车牌提取能力，可以输出车牌信息、点位信息、位置信息、车流量信息、事件信息以及视频信息等，具备较大优势。

四、交通雷视一体机发展趋势

◼ 雷达增加更多的收发通道数、更高的测角分辨率；

◼ 增加俯仰角度分辨率，实现4D探测效果；

◼ 应用GLOBLE SENSOR技术；

◼ 增加夜视功能；

◼ 成本进一步降低；

◼ 在全息路口、车路协同等场景应用更加广泛。