北京白癜风治疗的专科医院 http://www.xftobacco.com/该技术还能自动生成带标注的雷达数据集。
作者
科斯加
编辑
文靓
近年来，科学家们一直致力于开发强泛化性系统，希望能将其用于物体检测、导航功能，以及眼下大热的自动驾驶汽车赛道。
对于自动驾驶汽车来说，传感器融合已成为自动驾驶领域不可逆转的技术趋势，但从整体上来看，用于训练机器学习模型的数据集大多为图像数据集，鲜有基于雷达传感器收集的数据集。
不过，这一现状或许很快就会迎来转机——随着异构传感器在感知方面的互补优势，基于传感器融合和深度神经网络来实现对象感知/跟踪方面的研究已经取得了长足进展。
据新智驾了解，美国亚利桑那大学的研究人员已经开发出一种新方法，可以自动生成有标签的雷达数据以及摄像头图像数据的数据集。而且，即使在光学传感器偶尔失效的情况下也能在帧中标记雷达数据。
图注：论文截图，这项研究已获得索尼研究奖计划的认可。
Sengupta表示，他们利用具有噪声的基于密度的聚类方法（Density-BasedSpatialClusteringofApplicationswithNoise，DBSCAN）检测和消除噪声/杂散雷达回波，再将雷达回波分离成簇以区分不同的物体。
最后，用帧内和帧间匈牙利算法关联。帧内匈牙利算法将YOLO预测与给定帧内的协同标定雷达簇相关联，而帧间HA在连续帧中关联与同一目标相关的雷达簇，以便即使在光学传感器偶尔失效的情况下也能在帧中标记雷达数据。
超群拔萃=YOLOv3+Hungarianalgorithm
研究人员首先对雷达及摄像头进行联合校准，通过摄像头图像流上（YOLO）的高精度目标检测算法和关联技术（匈牙利算法，Hungarianalgorithm）来标记雷达点云，生成标记的雷达图像和唯雷达数据集。
YOLO是“YouOnlyLookOnce”的简称，虽然它不是最精确的算法，但作为精确度和速度间的折中之选，也有着相当出色的效果。
YOLOv3就是在YOLOv1和YOLOv2的基础上形成的。它不但拥有YOLO家族的速度优势，检测精度也大幅提升，对于小物体的检测能力更是“傲视群雄”。
图注：YOLOv3的结构图
YOLOv3算法在图像上只需一个单独神经网络，便可将图像划分多个区域，并预测边界框。
图注：YOLOv3目标检测
作为行业共识，基于雷达传感器的深度学习应用需要大量标记训练数据。而标记雷达数据是既费力又费时的密集型劳动过程，通常需要昂贵的人力成本才能将其与获取的图像数据流进行比对。
因此，论文作者ArindamSengupta博士提出，“如果相机和雷达同时间查看一个物体，我们是不是可以利用基于图像的物体检测框架（YOLO）自动地标记雷达数据，而不需要手动逐一查看图像。”
视频：亚利桑那州图森的交通路口，自动标记算法在摄像机雷达数据上的工作实况。
这个方法有三大理论背景：
1.雷达信号处理链(RadarSignalProcessingChain)
激光雷达信号链是从原始3-D雷达数据立方体开始。
首先，沿雷达的快时间轴执行快速傅里叶变换（fastFouriertransform），其中拍频与发收信号间的时间延迟成正比，这能帮助在(ρ)范围确定目标距离(s)。沿慢时间轴的快速傅里叶变换可以用于确定多普勒频率，用于计算目标的径向速度(v)。
移动目标指示器（MovingTargetIndicator）通过延迟线将所需目标与静态杂波隔离开。为了做到更可靠地检测，恒定误报率（ConstantFalseAlarmRate）会测算目标周围的本底噪声，并通过设置检测信噪比（Signal-to-NoiseRatio,SNR）阈值避检测失误。
最后，沿通道维度的快速傅里叶检测可些帮助确定目标的方位角(θ)和仰角(φ)。从而得到雷达信号处理链的输出结果为
，然后将球坐标转换为
笛卡尔雷达点云（Cartesianradarpointcloud）。
2.校准
从单个传感器的角度出发，校准本质上是指点到世界坐标系(WCS)到传感器坐标系的映射。
这种映射是通过分别计算内在和外在变换矩阵
和
来实现的。传感器的内在参数取决于传感器的内部参数，例如相机的焦距、光学中心和偏斜系数。
外部参数取决于传感器相对于世界坐标系的物理位置（3-Dtranslation）和方向（3-Drotation）。在多传感器系统中，校准是指将单个传感器的坐标映射到统一的参考系。
研究人员的目标是转换
从毫米波雷达到相机的
传感器坐标，将它作为统一参考系，主要用于图像数据的视觉检查、推断和注释相，方法相对简单。
3.聚类与关联
每帧中的雷达点云库数据由物体的雷达回波集合和噪声组成，识别和分组与特定物体对应的雷达点需要额外的处理。
研究人员使用匈牙利算法完成将雷达数据分离到与每帧中不同对象相关的集群之外等任务。
包括模拟退火和粒子群算法在内的几种启发式方法，实际操作中会面临计算复杂和随机搜索种子不能保证收敛的挑战。
而匈牙利算法是一种解析多项式时间组合优化算法，可以确保收敛到最优分配解决方案。
高枕无忧：自动生成数据集
基于传感器融合的目标识别方案一般有四个阶段：数据采集和预处理、传感器之间的协同校准和关联、高/低级传感器融合特征表示（SFFR）和分类网络。
图注：自动多传感器数据集生成的典型用例和动机，协助基于传感器融合的分类。
如上图所示，雷达和相机数据使用共同校准的变换矩阵关联。然后对每个对应雷达图像对进行特征转换和融合，从而产生SFFR，再将它用于识别检测到的对象的类别。但在单个传感器故障情况下，不相关的雷达和摄像头数据可能会受到传感器特定后备网络的影响。
对此，ArindamSengupta等人提出的标记雷达图像对的自动生成方法（用于基于传感器融合的分类），和仅使用雷达数据标记的数据集（用于识别目标）。
1.雷达和相机协同校准
实验中相机的内在参数
是通过张正友的标定算法获得的。研究人员将雷达1和雷达2数据投影到同一张相机图像上，从而检查协同校准精度，定义为雷达检测的目标感兴趣区域，再与总检测量相比。
所有帧的协同校准精度的平均值为85%，中值为92%，众数则为%。
图注：实验的数据采集设置
2.ROS管道（ROSPipeline）
ROS（RobotOperatingSystem）是面向机器人的开源的元操作系统（meta-operatingsystem）。
雷达和摄像头的数据是用ROS管道获取的，有三个主要包：mmWave_radar、usb_webcam和darknet_ros。
mmWave_radar包将啁啾配置加载到雷达上，缓冲来自雷达的处理数据，并将它发布到/radar_scan主题上。
usb_webcam包从相机（30fps）读取原始图像，并使用估计的相机固有参数来校正和不失真图像，作为压缩消息/image_rect/
