*本文翻译自Juan R. Pimental所著Safety of the Intended Functionality (SOTIF) Book 3 - Automated Vehicle Safety Series，中文版权归轩辕实验室所有

本文描述了一个适用于检测和跟踪行人和自行车的测试算法、具有一个自动驾驶车辆传感器套件的多传感器数据集。该数据集可用于评估融合感知算法的优点，并提供行人、骑自行车者和其他车辆的地面真实轨迹，用于客观评估轨道精度。感知和感知算法开发的主要难点之一是根据地面真实数据评估跟踪算法的能力。地面真实是指在复杂的操作环境中对目标的位置、大小、速度、航向和类别的独立知识。我们的目标是在一个城市测试轨道上执行一个数据收集活动，在该轨道上使用辅助仪器测量感兴趣的移动对象的轨迹，并与几个配备完整传感器套件的雷达、激光雷达和相机的自动驾驶车辆(自动驾驶汽车)相结合。多辆自动驾驶汽车在各种各样的场景中收集了测量数据，这些场景旨在整合现实世界中车辆与骑车人和行人的交互作用。一组骑自行车和骑自行车的人的轨迹数据是通过不同的方法收集的。在大多数情况下，骑自行车的人和行人身上的实时动能接收器实现RTK (实时运动)-定点或RTK-浮点精度，误差分别为几厘米或几分米;仪表化的相互作用车辆的位置精度约为10厘米。我们描述了密歇根大学Mcity联网车辆和自动化车辆测试设施的数据收集活动、交互场景和测试条件，并将展示测试的一些可视化结果以及初始评估结果。这些数据将作为一个全球框架、多传感器/多参与者的典型数据集，可用于开发和评估自动驾驶车辆的扩展目标跟踪算法。

1 简介

由于行人检测、识别和跟踪在汽车安全、机器人和监控领域的重要性，这些问题在过去几十年里引起了人们极大的兴趣。近年来，已经收集了大量的数据集，并公开供研究使用。然而，这些数据集的重点并没有涉及传感器融合和跟踪精度的评估。特别是，这些数据集是纯光学的，不支持雷达和激光雷达的研究。此外，现有的数据集没有独立的行人位置集合，因此没有办法评估由测试中的算法开发的轨道的准确性。为了扩展现有的研究数据集，包括激光雷达和雷达，并提供独立收集的地面真相，以评估跟踪误差，同时收集相机、激光雷达和雷达的测量数据，以及在现实的交通场景中RTK纠正行人和骑自行车者的位置。廉价的RTK系统已经被证明可以提供从几厘米到几分米的位置估计。该数据集的用途是为验证跟踪和传感器融合算法提供城市环境中被跟踪对象的三维位置的外部测量验证。在二维图像分割的意义上标记七架机载自动驾驶车辆摄像机的输出将在未来的工作中得到解决。

位置：

这些测试于2017年5月23日至25日和9月21日至22日在密歇根大学(University of Michigan)位于密歇根州安娜堡(Ann Arbor)的Mcity联网和自动化车辆测试设施进行。这条封闭的测试轨道包括几个街区的店面(模拟城市闭塞)，可配置的交通信号灯，环形路和非结构化的交叉路口，人行道和十字路口，活跃的人行横道，自行车道，隧道，模拟树叶覆盖，和一个短的高速公路/合并路段。这些场景主要在城市区域，在State和Main的交叉点，State和Liberty的交叉点进行，如图1所示。

图1 密歇根大学Mcity联网和自动化车辆测试设施;图中是设施的一个子集，它包含了研究行人交互作用的城市交叉口。

2 实验设计

集合的设计是为了合并自动车辆的传感器套件，在其他车辆、骑自行车者和行人聚集的环境中运行，其中所有车辆、骑自行车者和行人的时间顺序位置是独立确定的。按时间顺序排序的位置用协调世界时(UTC)记录。这些独立的测量构成了地面真值，通过这些真值，可以对作用于传感器测量的估计算法进行评估。

场景的设计是为了跨越一组测试条件，这些测试条件可以在Mcity的微型城市环境中通过有限数量的受控参与者来实现。我们希望测试以下场景:

•传感器范围;轨迹起始范围

•轨迹分割的鲁棒性

•传感器融合性能

•与交通阻塞相关的挑战性动作，如无保护的左转弯(LTAT)

•行人跟踪，包括聚类/分割

•捕捉自然行人的行为

•激光雷达照明分集条件下的边界盒稳定性(视场、照明角度)

•传感器范围和传感器融合性能

•自行车跟踪

2017年9月的第二场活动更关注行人、车辆和十字路口基础设施之间的有机自然互动。实验分为动作、场景和取景镜头。这有助于通过与“Acts”相同的宏设置分组实验来辅助实验的执行(例如，重新配置任何停放的车辆或使用不同的交叉路口作为“场景中心”)。场景是指从一组简单的动作开始，逐步发展到更复杂的编排的场景。这允许参与者和驱动程序在任何特定场景的执行中建立能力。最后，每个场景都有两个或多个“场景”，既可以解决任何数据收集系统问题或编排问题，也可以增加在任何给定场景中收集的数据集的数量，以保证完整性。

为了一致性和易于收集，每次“拍摄”持续5分钟，测试协调员通过通用无线电频道将拍摄的开始和结束时间调至最近的UTC秒。这个过程是无价的，在收集后整理定量日志膝关节与实验分类法。这在实践中是通过记录来自每个传感器和动作、场景的日志碎片的关联，并接收一个称为“数据字典”的主电子表格来实现的。这个数据字典还可以用来自动处理和转换各种数据文件的bactch(坐标帧和时间基)。

2.1 自动驾驶汽车的传感器

自动驾驶汽车第2代研究车队上的传感器由一组7个机器视觉级摄像机(Flea3)、4个威力登HL32激光雷达传感器和2个汽车中长扫描雷达组成。传感器及其视场的物理布局如下图2所示。不过请注意，视场表示不是按比例缩放的。图3和图4显示了使用来自传感器套件的组合返回的示例可视化。

图2 自动驾驶汽车传感器覆盖图（范围不按比例）

图3 自动驾驶汽车传感器数据可视化示例——行人在前立体声摄像机以及激光雷达和雷达中很明显(顶部图像中接近行人点云“脚”处的深蓝色圆形图标)。

图4 从更复杂的场景中可视化自动驾驶汽车传感器数据的例子：人行道上有行人，车道上有自行车。

相机

相机数据直接以LSHM(一个专有的共享内存框架)本机格式存储。从本地的LSHM图像数据中可以生成经过整流的PNG(便携式网络图形)文件，每个屋顶架相机的有效速率为25fps(工作频率为30赫兹，但由于处理和相机之间的帧对，会有一些损失)，高分辨率中心相机的有效速率为5.3 Hz(工作频率为6赫兹)文件名对应于每组相机图像的触发信号的时间。

雷达

福特开发自动驾驶汽车配备了前向和后向ESR自动雷达，具有远程(174米)和中程(60米)模式。雷达数据以每50ms扫描64个航迹的速度在车辆的本地参考帧的本地轻量级通信和编组(LCM)日志文件中收集。LCM是一种用于消息传递和数据编组的协议，适用于高带宽、低延迟的实时应用程序。

激光雷达

数据也被收集与4个威力登HDL32激光雷达单位收集10转每秒。这些数据在本地unix时间戳中显示，并投射到车辆本地帧中。

这些多感官可视化的屏幕捕获影片也将在开放源代码数据集中提供。

2.2 地面实况收集-自动车辆轨道

每辆车都配备了一个Applanix GPS/IMU，外加一个由7个机器视觉摄像头、4个威力登雷达和2个自动雷达组成的传感器套件。对于名义上的自主操作，只使用IMU来估计姿态，然后使用激光雷达扫描和之前生成的先验图之间的强度匹配来校正。在这个练习中，全球定位系统被用在偏差校正模式中，在全球参考系中提供车辆轨迹。使用由密歇根大学操作的Mcity以东400米的本地连续运行参考站(CORS)单元，弹道不断更新。它使用NTRIP (利用Internet协议实现RTCTM的网络化传输)WGS84(世界大地测量系统)基准的RTCM（RTCTM通过Internet协议的网络传输）2.3和3.1改正。因此，基于强度的定位也可以用高精度的差分GPS进行验证。

地面实况收集-行人和自行车轨道

行人和骑自行车的人都配备了由Emlid提供的RTK装置。RTK数据可以通过一套算法进行校正，以实现整数(也称为固定值)或模糊度解析的准确性。整数模糊度分辨率提供小于10厘米的标准偏差，而浮点模糊度分辨率标准偏差通常为10到45厘米。可获得的校正质量取决于大气传播信道的特性，并受到多种因素的影响，包括云层覆盖、卫星能见度和环境中的多径衰落。

每个流动单元(漫游者)以及一个附加的固定单元(基站)的数据都被记录下来，如图5所示，该固定单元用作差异校正的基站。这个基站的位置显示为图11中的参考点。RTK单元的位置以人类可读的ASCII格式记录为临时数据，其中每一行记录一个时间数据样本。更新频率通常为5到10赫兹。这些列包含时间和位置信息，以及质量指标，如下所示:

•时间(UTC)

•位置:纬度(度)，经度(度)，相对海平面高度(米)

•校正质量度量:Q Q∈[1,……,6]，其中1:固定，2:foat，3:SBAS，4:DGPS，5:单点，6:PPP

•接收到的卫星数量

•测量协方差:本地坐标的标准偏差，北，东，上，东北，东，北，米

•漫游者与基站数据纪元(称为age)之间的时间差，以秒为单位;

•用于验证校正方法选择的比率因子

为使RTK装置获得尽可能高的精度，将天线安装在导电板上以减轻地面反射并提高定位精度。天线被放置在衬箔的衣服或帽子上，如图6所示。需要注意的是，许多行人检测和跟踪算法依赖于通过训练样本行人的机器学习；因此，尽可能表现得“标准”是很重要的(即没有明显的或大型的工具)。电源包和处理器非常小，可以不显眼地放在口袋里或衣服下面，而天线本身则安装在帽子、垫肩、背包等上面。

图5 采用单个RTK单元作为基台进行差向校正。天线在前景的铜板上。

图6 参与的行人手持RTK装置照片。RTK装置与电池组和天线相连。电池组装在参与者的口袋里，天线被固定在参与者的帽子上。

2.3 交通灯阶段数据

对于一些场景，我们感兴趣的是基于交通灯状态的行人决策，以及十字路口或附近车辆的存在。交通灯状态的记录是在9月份的收集期间存储的，数据的图表如图7所示。

图7 毫秒分辨率的交通灯(以及行人的通行权)状态也与UTC时间协调，允许在基础设施状态的上下文中研究交互。

2.4 空中观测

除了车辆传感器和漫游者单元进行的定量测量外，还有一部分场景是从一个静止的旋翼无人机上记录的，高度在80到120米之间。图像提供了数据集的背景，以及车辆和行人轨迹的交叉验证。图8显示了来自视频的一个框架，其中有三辆测试车辆，以及多个行人。虽然在静态图像中很难直观的定位行人，但是在视频中却很明显。在图1中，交叉点被标记为A和B。

图8 无人机拍摄的视频画面显示了在Mcity收集期间的多辆车辆和行人。视野包括Main和Liberty与St的交叉口。

2.5 关于坐标系的注意事项

Ford 自动驾驶汽车传感器数据收集在传感器框架中，并在转换(使用外部校准参数)后以本地LCM消息格式存储到线性化的全局框架中，如图9所示，即车辆和任务防御。这里描述的数据集的公共域版本将包含通用全局框架中的传感器数据，以及允许UTC引用时间的时间戳键。

这些数据从LCM日志中提取，并以更新姿态消息的频率(~ 5ms或200hz)作为逗号分隔的文本文件导出。由于导出的序列化激光雷达数据的大尺寸，我们将探索其他格式，如LAS。

提取了相应的GPS时间和车辆在全球GPS和局部坐标系下的姿态。车辆传感器数据记录为GPS时间，RTK漫游车记录为UTC时间。将GPS时间转换为UTC。所有数据的公共域版本将使用UTC时间戳。

图9 车辆传感器数据采集在传感器框架内，并存储在局部框架内；每一次测量的全局到局部的转换是由高精度的GPS或允许传感器数据转换成通用GPS框架的定位算法导出的。

3 总结

应用程序的自动驾驶汽车传感器和准确,内存占用较小的GPS探测车已经用于Mcity收集异常结合高分辨率相机数据的数据集,车辆位置数据,传感器数据(激光雷达,雷达),以及探测器通过独立的不同位置文件修正测量,构成一个独特的数据集验证。这些数据可以用于从感知、感知、检测、跟踪、预测和分类的评估算法。

在图10中，一个来自第二幕第二场的例子轨迹显示了参与者之间的交互作用的多样性。这为评估检测、跟踪和分类算法的准确性提供了许多机会。

在浮动质量(误差小于1米)和整数质量(误差小于10厘米)下，RTK单元的固定或浮动质量校正优于99%或65%到85%的时间。在某些情况下，图11中的一个示例显示了一个轨迹，其大部分校正精度小于10厘米。

图10 多个参与者(包括Ego车辆)和多个骑自行车者和行人的位置被绘制出来，以显示数据集中所表示的各种交互。

图11 第二幕，第二场，第二幕，第四幕中，探测器4的位置估计值被绘制在一块来自谷歌地球的瓦片上。绿色图标用于满足整数(固定)歧义解决的估计，而黄色图标用于浮点数。参考位置，也就是基站的位置，在上图的正中央。