详解特斯拉超级硬件优势和全摄像头自动驾驶方式
感觉Tesla China可能有点小麻烦。不过还是祝他好运，浪子回头金不换，尽早摆脱泥潭走上正轨。
本篇文章不会针对Tesla China在国内陷入的麻烦展开讨论了，我们还是顺着Autopilot和HW3.0（FSD）硬件能力做一些技术分析。
1.特斯拉超级硬件的优势简析
2019年Q3的投资人通气会上，Elon Musk曾经说：“Now weneed to work on solving the intermediate portion which is traffic lights andstop signs, and navigating through … windy narrow roads in suburbanneighborhoods。”（现在我们的重点是如何能够解决那些位于中间地带且之前无法克服的难题了，比如如何提升识别交通信号灯、各种停止线的能力，以及可以在郊区狭窄的路面上自由通过。）从这句话看，Musk其实已经在关注在全新的HW3.0 FSD硬件平台上如何扩展Autopilot能力并修正之前一贯的技术短板了。总结成前一段时间各色媒体的惊悚话题就是“Tesla正在从底层重写Autopilot系统！”从更深的角度和更细致的层面去解释，其实可以这么理解：Tesla在具备了全新的FSD超级硬件之后，正在着手重写在自动驾驶技术领域核心的3D-Labeling功能，从而构建出全新的“规划-感知-视觉识别”能力，从而大幅度超越之前基于Nvidia硬件的单摄像头帧捕捉和标签的能力范围。虽然HW2.0在高速公路等特定场景工作得还算不错，但进入狭窄且复杂的城市道路，则力不从心。
具体举一个例子，根据Tesla行车的实录数据，现有的Autopilot在多风的（不知为何和风力相关）、狭窄的开放道路上，Tesla的车辆前向主摄像头往往无法捕捉到有效的道路边界信息；而且在很多场景下，当车辆在停车线前停下时，位于路口的交通灯和各种通行标识也往往从主摄像头上捕捉不到，或者捕捉到了也无法识别。（关于主摄像头的安装位置，应该就是在前风挡内部中央位置的那部双目，摄像范围参见下图）
实际的测试记录可以参见下图：（关于这个摄像组合，从左到右为：Left Pillar，Fisheye，Right Pillar/第一排，Left Repeater，Main，Right Repeater/第二排）
其中Left Pillar左侧A柱（抱歉小编没有Tesla，没实地考察过），而Fisheye为前视宽视角摄像头。可以在上图明确看到，如果严重依赖第二排中间的Main主摄像头，因为视角关系，在转弯的时候非常容易跟丢车道从而做出误判（可以看到虽然在绿色的可行驶区域上但Main并未给出黄色行驶线路建议）。但与此同时在第一排中间的Fisheye摄像头视角下，它记录并阅读除了车头前部地面更大的区间，从而给出了黄色建议行驶路线。这是非常关键的区别。 但在Tesla车辆行驶在直行线路上的时候，Main主摄像头又因为拥有较深的视野，从而更具优势。在这个状态下，车辆的行驶预判将会以Main为主，而不再是Fisheye宽视角前向摄像头。如下：（第二排的中间视角为Main摄像头）
如果从定量的角度来分析，FSD更是可以为全新的3D-Labeling能力提供更加强劲的计算力。我们引用我们在上一篇文章中的数据：
1 基于HW2.0硬件平台的Autopilot自动驾驶系统，在做出判定时，由于受到硬件处理能力的限制，在每秒处理99帧视觉信号时（包括主摄像头和周边摄像头），需要消耗整体硬件90%以上的计算资源；
2 如果是采用HW3.0硬件平台即FSD硬件，在于前述一样的视觉信号采样频率之下，则只消耗5%的计算资源；
3 进一步，如果需要提供更加高速的视觉信号采样速度水平，FSD硬件平台也仅仅消耗14%的计算机资源。在FSD硬件平台上，如果车辆是以每小时100Km的时速前进，FSD的高速采样可以提供比HW2.0更好的效果，体现在距离上，是大概3米。这意味着FSD可以协助Autopilot在更远的距离上提供更高帧率的视觉识别和3D-Labeling动作，让FSD能更早更快地发现各种危险和障碍。 FSD的另外一个好处是，FSD的计算能力足够强大，可以支撑同时对多个摄像头输入数据的联合处理和3D-Labeling，从而避免误判和漏判。在一些日常行车的场景下，可能会出现Pillar摄像机捕捉并标识完毕的目标，并未出现在相邻的其他摄像机视野之内（比如Fisheye），如果系统是独立评判并单独标定每一个单独的视野的数据内容，就会在最后整合各摄像头送来的语义数据上，让CPU面临对于矛盾语义信息的取舍问题，这对于再往后的路径规划等一系列动作都是严重的冲击。 这也是为什么现有的Autopilot/HW2.0，只能以一个摄像头为主做3D-Labeling和后续操作的主要原因。
2.特斯拉全摄像头自动驾驶方式
针对上一张我们介绍的关于Autopilot在FSD硬件的支持下，可以按照实际的任务需求无差别调用车身每一台摄像机视频信号的好处，是不言而喻的。但实际上这个实际使用场景可能不是特别好理解。因此可以举例如下：
上图是Tesla车辆的八个摄像头（可能新的Model 3有更多的摄像头）中的四个，从上到下从左到右分别是：Left Pillar（左前摄像头）、Fisheye（中部鱼眼摄像头）、Left Repeater（左后摄像头）、Main（中部主摄像头）。 上图中的场景是车辆正在左转进入车道的场景（应该是英联邦国家左侧行驶）。有几个特点应该关注：第一是Fisheye摄像头的场景更大，向下对于地面标识捕捉面积大；而对应的是Main摄像头的场景小，但是向前的目标信息拍摄细节更丰富。两个摄像头有明显的互补作用（其实还有一个前向Narrow摄像头是捕捉更远距离的信息）。第二个是Left Pillar摄像头和Fisheye摄像头构成左右互补的结构，再加上图中未出现的Right Pillar摄像头，三个角度的摄像头可以构成横跨整个车头前部的所有空间的视频信息。 为了突出细节，我们把第一排的Left Pillar和Fisheye拿出来单独看，如下：
1 黄色框部分显示：在左侧的Left Pillar摄像头中，黄色框位置指示出ID29的Bus目标，目标距离本车距离为5.8m；在中部的Fisheye鱼眼摄像头中，这个Bus目标丢失了，中部摄像头捕捉的内容经由CNN神经网络处理之后未能识别出来。因此如果不同摄像头在交叠区域发现同一个目标，那么后台的CNN就不仅仅是个目标识别和分类/测距的功能需求，还需要独立的软件功能对不同的内容（有冲突的判别结果）进行权衡；
2 橙色框部分显示：在左侧的Left Pillar摄像头中，橙色框位置指示出ID2的L.Truck目标，目标距离本车距离不详，车道为左侧相邻车道；在中部的Fisheye鱼眼摄像头中，这个L.Truck目标被识别为独立的新目标，ID为21的另外一个L.Truck目标，而且车道判读为本车道。基于这种状况，如果多摄像头分别进行识别任务，Autopilot系统所面临的就不仅仅是识别问题，还是一个甄别/判断的问题。
因此，现有的Autopilot在HW2.0上运行的自动驾驶系统，仅能针对单一的前向摄像头（main camera）所采集的信息进行利用（在某一功能下，比如path prediction）。这种限制极大抑制了Autopilot的自动驾驶能力，这也是目前Tesla实地数据再多，利用率也不会太高的原因之一。 可能在高速道路上，目前的对于前视摄像头采集数据实现部分自动驾驶是足够的，但是一旦车辆进入路况复杂，标识杂乱的城区道路/小路，Autopilot系统必须要做出改变。 Tesla给出的答案就是我们之前提到的“All CameraAutopilot”解决方案。基于FSD强大的硬件处理能力，Autopilot可以根据不同的识别功能需求，任意调用符合需求的摄像头数据，并基于此进行CNN处理后，根据视觉信号处理结果进行各种自动驾驶的动作决策。
上图为Tesla自动驾驶算法部门总监Karpathy在ICML会议上的演讲资料，其中提到了Autopilot打算如何在FSD上部署所谓的“multi taskslearning”系统，充分利用车身四周的8个摄像头能力，统一交由FSD进行处理。在上文中我们提到的不同的识别功能，可以被大致分为：
1 目标识别，包括动态目标识别和静态目标识别；
2 交通信号识别，包括各种道路信号和标识的识别；
3 特别地，还包括交通灯识别。
以上图为例，如果Autopilot系统需要执行“道路预测”功能，Autopilot需要调用Main摄像头进行traffic light交通灯的识别动作，同时还需要调用侧向摄像头和鱼眼摄像头的进行道路标识的识别，并基于两者的识别结果，进行综合的“预测”动作。 这种对于不同摄像头上传图像数据的识别，有共性的部分也有差异化的部分。我们相信Tesla的“Data pipeline”专利在其中发挥了桥梁作用。
备注：
1 题图来自于互联网搜索，；
2 图1/2来自于Reddit网站的https://preview.redd.it/z03juk7l3yf41.jpg?width=2240&format=pjpg&auto=webp&s=2983ccfd493730bc4c20e384c7f486c7f8c596033
图3/4来自于slideslive.com网站的https://slideslive.com/38917690/multitask-learning-in-the-wilderness；
- 用户评论
