自动驾驶系统应如何设计以满足功能安全 ISO26262 的要求？
链接：https://www.zhihu.com/question/291705719/answer/536958574
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
这个问题比较大，很难详细回答，传统的ECU开发，系统设计与ISO26262之间的关系/应用相对清晰。但题主提到了人工智能算法的应用，也确实，在自动驾驶系统的发展中，肯定是离不开AI (machine learning, deep learning...)的应用，这段时间正好听了几个相关报告，这里聊下AI与功能安全的话题。
以下图片均来自于两篇报告：
- Is ISO26262 ready for Machine Learning? Florian Bogenberger, Exida, Safetronic, 2018.
- Applying Functional Safety to Artificial Intelligence. Michael Wagner, Edge Case Research, Safetronic, 2018
AI算法广泛且越来越多用于整个自动驾驶算法中，包括Perception，Motion Planning，甚至Motion Execution中。
Application of AI for AD
根据ISO 26262-1:2018的定义，功能安全Functional Safety的定义是：
Absence of unreasonable risk due to hazards caused by malfunctioning behavior of E/E systems
简单理解，就是要降低由于电子电器系统失效而导致的风险至一个可以接受的程度。通过一套ISO26262这个几百页的文件中所规定的流程/方法/理论来实现。但对于AI来说，在ISO 26262 2018 (2nd)中，并未提到任何相关关键词。
很多ISO26262中的方法对于AI并不适用：
举个例子，设想以下情景：比较Engine torque和Accelerator pedal position，两者需要match系统才可以运行，否则要关闭系统。
传统方法：
机器学习方法：
但基于机器学习的训练/验证方法，由于无法覆盖全部的validation set，通过部分training data得到了错误的rule时，很难被发现。
那么问题来了：
- 基于ML的原理，面对不确定性，如何做相应的Validation？
- 在Neural Network系统中，出现了fault，比如错误learning rate, 错误的NN topology，由于这些导致了一些错误output的failure，从而进一步导致错误的转向/加速/制动等而产生hazard，如何来应对呢？
- ISO26262中没有任何相关AI ML介绍，且很多方法已经不再适用，那该如何做呢？
报告提出了一个思路：
构建一个CHECKER和DOER，DOER中用于实现ML的算法功能，CHECKER中用更高级别的ASIL，传统算法，模型来进行对DOER的safety相关的检查。
这个方案对motion planning有一定帮助，但对于一些perception，其实也是无能为力的。
同时，报告也提出了ISO26262也需要进一步完善：
所以说，这些问题的答案很多都还是未知的。。。自动驾驶路上，伴随着AI算法的应用，如何真正意义上的保证安全，其实还有很长的路要走。。
- 用户评论
